[AnonimoweMirkoWyznania]

#anonimowemirkowyznania
Jak wycenilibyście takie zlecenie:
- regularne scrapowanie danych ze strony X (100 tys produktów, każda strona produktu wygląda tak samo więc nie ma utrudnień)
- wrzucanie wszystkiego do bazy danych
- ładna prezentacja outputu z bazy danych na frontendzie czyli sortujemy produkty np po ilości sprzedanych, volumenie sprzedaży per producent, najlepiej sprzedające sie produkty z danej kategorii itp.

Pewnie jakiś flask/django + react/vue albo odpowiednik w nodejs/express. Do tego ogarnięcie tematu scrapowania danych ze strony.

Wiem, że skąpe to info, ale może ktoś rzuci widełki cenowe ile coś takiego może kosztować?
#programowanie #programista15k

---
Kliknij tutaj, aby odpowiedzieć w tym wątku anonimowo
Kliknij tutaj, aby wysłać OPowi anonimową wiadomość prywatną
ID: #62ee7251d9c77d8d278a8d89
Post dodany za pomocą skryptu AnonimoweMirkoWyznania ( https://mirkowyznania.eu ) Zaakceptował: Eugeniusz_Zua
Roczny koszt utrzymania Anonimowych Mirko Wyznań wynosi 235zł. Wesprzyj projekt

[c.....t]

@AnonimoweMirkoWyznania takie się robi za darmo to CV.
ZMYKAM temat.

[ivall]

@AnonimoweMirkoWyznania: oszacuj ile ci to zajmie i pomnóż przez stawkę godzinową

[mccloud]

@AnonimoweMirkoWyznania: Czy ty właśnie prosisz aby ktoś wycenił Twoją prace?
Skad mamy wiedzieć czy będziesz robić to przez 1 dzień czy przez tydzień?

Rzucam losowe widełki 200zł (panie czemu tak drogo) - 15k (bo programista15k)

[FocentDiutt]

@AnonimoweMirkoWyznania: 3 dni roboty. To z 4k będzie.

[WaveCreator]

regularne scrapowanie danych ze strony X (100 tys produktów, każda strona produktu wygląda tak samo więc nie ma utrudnień)

@AnonimoweMirkoWyznania: Regularne scrapowanie 100 tys. podstron - good luck w nie #!$%@? serwisu lub nie trafieniu z IP swojego serwera na blacklistę danej strony (czy jakiegoś CloudFlare'a za którym pewnie stoi) xD

[mk321]

@AnonimoweMirkoWyznania: powodzenia xD Takie projekty to gruba sprawa. To na kilka tygodni/miesięcy się wycenia, a stawki wiesz jakie są.

No o ile to ma działać, a nie tylko udawać, że działa i się zatrzymać po 20 stronach xD

[PiesLat2230]

- regularne scrapowanie danych ze strony X (100 tys produktów, każda strona produktu wygląda tak samo więc nie ma utrudnień)

@AnonimoweMirkoWyznania: grubo xD
najbardziej bym to widział w sposób -> odpalanie 10k azure functions w jednym momencie które to scrapują, każda po 10 stron bo kazde function chyba ma własny ip, ktoś z #azure może mnie poprawić jak się mylę
ale #!$%@? serwis, chyba że to amazon albo allegro
generalnie gruby

[uzytkownik_wykop_pl]

@AnonimoweMirkoWyznania 5 dni pod warunkiem że nie obchodzi mnie problem z blokowaniem IP itd. Cena? Powiedzmy że 4k netto po znajomości ( ͡º ͜ʖ͡º)

[PiesLat2230]

Powiedzmy że 4k po znajomości ( ͡º ͜ʖ͡º)

@uzytkownik_wykop_pl: za dzień to spoko stawka ( ͡° ͜ʖ ͡°)

[bin-bash]

@AnonimoweMirkoWyznania: 150zl

[sz__po]

@AnonimoweMirkoWyznania: odezwij sie na pm, need more data ;)

[Wykopek_wykopek]

@PiesLat2230 Nie wiem jak Azure functions, ale AWS lambda ma przydzielony IP pod wersje lambdy, więc zakładam że tu jest podobnie

[L.....3]

@AnonimoweMirkoWyznania: azure functions i nie czytaj komentarzy tych patałachów w związku z zajechanie serwera. Nie po to takie usług istnieją by je 100k dziennie zawiesiło xD

[kafapre]

@AnonimoweMirkoWyznania: regularne scrapowanie 100k produktów - ciężki temat

[WaveCreator]

Nie po to takie usług istnieją by je 100k dziennie zawiesiło xD

@Leman123: Ale my tu nie mówimy o zajechaniu usługi odpytującej, tylko odpytywanej strony. "Regularnie" sugeruje, że OP pewnie chce scrapować jakieś dane o dużej zmienności w czasie (ceny?) więc jak będzie chciał takie scrapy klepać codziennie to może mieć problem bo nie wiemy ani jaką ilość danych będzie przetwarzał, ani jaki strona, którą będzie odpytywał, ma ruch i czy

[Whiskeyjack29]

@FocentDiutt: ( ͡° ͜ʖ ͡°)( ͡° ͜ʖ ͡°) 3 dni xD

[BoKoR]

@AnonimoweMirkoWyznania:
Ja coś podobnego robiłem, ale tam sprawdzałem ceny dla 30 produktów z jednej strony raz dziennie.
Po miesiącu wrzucili mi bana i tyle było z zabawy. Wtedy to już tylko na telefonie z mobilnego telefonu mogłem wejść na tą stronę (a to był większy sklep z ubraniami).
Także życzę powodzenia.
A są strona nie udostępnia jakiegoś API?

[AnonimoweMirkoWyznania]

OP: @WaveCreator Żeby trafić ze swojego IP na blackliste trzeba być half-brain. Regularnie, sugeruje że w jakimś interwale czasowym (w typ wypadku miałem na myśli co tydzień). Zauważ że w poście mówiłem o sortowaniu po popularności, volumenie sprzedaży itp. Nie ma nic o cenach więc no nie trafiłeS ( ͡° ͜ʖ ͡°). Jak "zaje**" stronę taką aktywnością (scrapowaniem), tzn że patałach ją robił (sorry, taka prawda,

[BoKoR]

@AnonimoweMirkoWyznania:

wygogluj rotating proxy (do kupienia za kilkanaście USD miesiecznie), albo raspberry PI z modemem usb 4g i restartowanie modemu co ileś requestów.

Ja to wiem (nauczony doświadczeniem). Ale OP może nie wiedzieć.

[WaveCreator]

Generalnie dzięki Mirki, myślałem że jestem cienki bolek. Po komentarzach widzę że niezły ze mnie bydlak ( ͡° ͜ʖ ͡°).

@AnonimoweMirkoWyznania: Może i niezły, ale za nisko się cenisz ( ͡° ͜ʖ ͡°)