[wafel93]

#programowanie #programista15k #webdev
Powiedzcie mi, jak to jest z legalnością "web scrapingu"? Jeśli bym chciał na przykład zrobić apkę, która korzysta z danych na trip advisorze, ale to ich api jest dramatem jeśli chodzi o dostępność (max 10k zapytań dziennie i to po weryfikacji), to trafię do kicia za parsowanie strony?

[b.....e]

@wafel93: Komercyjnie tego nie użyjesz, bo dostaniesz pozwem ( ͡° ͜ʖ ͡°) API jest po to by z niego korzystać. Jak potrzebujesz większej ilości zapytań to na pewno przygotują Ci ofertę

[d.....z]

@wafel93: możesz mieć problemy, jeśli Twoja apka będzie korzystać "na żywca" z ich danych (danych zwłaszcza dla nich charakterystycznych) i będzie to do udowodnienia, że bierzesz sobie ich dane bez wiedzy i zgody i dalej to odsprzedajesz

[Ghard_Lage]

@wafel93: z web scrappingiem jest jak z piractwem. Generalnie większość firm się zabezpiecza i w regulaminach zakazuje pobierania w taki sposób danych. Jednakże tak CDA ma content piracki i nikt z tym nic nie robi to są firmy które scrapuja i kosza hajsy na danych.

[temokkor]

@wafel93 trochę to dziwne co piszą ludzie wyżej ale zapewne mają rację. No a jakbyś wynajął ludzi którzy by to przepisywali to już by było git z punktu widzenia prawa? Czy nie można tego robić nawet jak dane są dostępne publicznie bez żadnego logowania?

[Ostrzewtlumie]

@temokkor: takie scrappowanie moze tez z-----c server ( ͡° ͜ʖ ͡°) ale to by bylo trzeba duzo zadan wysylac.

[temokkor]

@Ostrzewtlumie ale zakładając że będzie np 1 pobranie 10mb danych dziennie, czyli praktycznie zerowe obciążenie dla serwera, to imo nie powinno być z tego problemów. Ale to że nie powinno nie znaczy że nie będzie.

[d.....z]

@ElGovanni: to bardziej skomplikowana sprawa, możesz robotowi Google "zakazać" indeksowania i/lub wnioskować o usunięcie już zaindeksowanych treści. Natomiast, nawet jakby założyć, że Google robi niewłaściwie, to i tak Google to Google a OP to chyba nie ma tylu prawników na batalie z innymi firmami, więc nie sugerowałbym się przykładem takiej firmy.

[E.....i]

@devopsiarz: to nie było zwykle indeksowanie do wyników wyszukiwania. Tylko uzupełnianie treści ich systemu.

[fataler]

@wafel93 zależy czy komuś tym naciśniesz na odcisk ( ͡º ͜ʖ͡º) w praktyce nigdy nie słyszałem o pozwie, a jestem w branży od kilkunastu juz lat. Zajebują i mali i duzi i komercyjnie za spore hajsy i hobbystycznie. Jedyne co słyszałem to case chłopaka który scrapowal stronę PKP i dane używał w apce lepszej niż wszystkie i za free. Mocno im sie to nie podobało bo