Pierwszy w życiu zrobiony #webscraping i humor gituwa

Pokaż spoiler

#anonimowemirkowyznania
Cześć, z góry zaznaczam, że nie mam konta na wykopie i nie mam się kogo poradzić. Od razu podam tagi #programowanie #naukaprogramowania #python #scraping #webscraping

Wymyśliłem sobie taki plan. Zapytacie się jaki? Kurna sprytny.( ͡° ͜ʖ ͡°) Chciałbym scrapować nazwy produktów+ceny tych produktów. Słabo się znam na programowaniu, ale myślę, że ogarnę na podstawie filmików na yt i nauczęPokaż całość

Strona nie pozwala na prostego requesta html, komunikat "Please turn on Javascript". Czy da się to jakos obejsc?
Sprawdziłem w devtoolsach i wszystkie dane które potrzebuje są na stronie statycznie bez wywoływania żadnego skryptu.
#python #programowanie #webscraping #webdev

Potrzebowalbym narzedzie, ktore weszloby mi na strone i pobralo html z kilkuset podstron, plus od czasu do czasu rozwiazalo captche v2. Zrobilem maly research i nie znalazlem nic rozsadnego/darmowego, serio wymagam tak wiele?
Nie siedze w ogole w webdevie, wiec pisanie jakis skryptow srednio widze.

#webdev #informatyka #webscraping

Mirki wiecie jak wyciągnąć datę stworzenia ogłoszenia na otomoto? Data pod zdjęciem to oczywiście data odświeżenia, szukałem po requestach ale nie widzę nigdzie.
#otomoto #programowanie #webscraping #scraping

Jest coś jak #ceneo tylko z API, żebym mógł po nazwie / url produktu znalezc najniższą cene w innych sklepach?

#programowanie #webscraping #scraping #api

Pytanie do ogarniętych w temacie #webdev #webscraping

Cięzko będzie napisać scraper sprawdzający OLX pod kątem jakiegoś towaru, ile kosztuje w danym województwie?
Możliwe, że jest coś co pozwoli mi nie wynajdować koła na nowo, stąd moje pytanie.

Zna ktoś jakieś materiały dobre (może być płatny) do scrapingu mobile app? Dane z geo-lokatorów, różne informacje, która dana apka pokazuje etc. Interesuje mnie też pojęcie web traffic dla mobile app - istnieje coś takiego? Chyba tak - dla zwykłych stron jest (worthofweb, similar web). Jak nie przeciążyć serwera no i tez nie zostać wyłapanym jako "bot". Docenię też luźne wskazówki. #programowanie #webscraping

#machinelearning #deeplearning #webscraping #datascience #prawo
Mirki, czy wiecie jak obecnie w Polsce wygląda dokładnie prawo autorskie w kontekście gromadzenia treści na potrzeby naukowe? Mam konkretnie na myśli czy tworząc bazę danych obrazów (i ją nieodpłatnie udostępniając) w celu przetrenowania sieci nie łamię prawa? Czy na potrzeby akademickie jest to legalne? Co jeżeli bym gromadził zdjęcia z wyszukiwarek? Badał ktoś ostatnio taką kwestię?

Pany pytanie odnosnie #webscraping.
Mam problem ze scrapingiem strony, która używa lazy-load flex.
Gdy otwieram ją w przeglądarce wyniki się ładują (tzn. jest kółeczko ale w ulamku sek wyswietla), gdy robię to za pomocą powiedzmy, że bota lub rozszerzenia przeglądarki to odczytuje brak wyników dla wskazanego selectora (wystarczy, że przełączę się na tą zakładkę i wyniki się pojawiają).
Jakiś pomysł jak to ominąć?
Probowałem dorzucić skrypt z:Pokaż całość

Potrzebuje zrobić skrypt do parsowania pewnej strony internetowej. Z pewnego źródła wiem że zablokują mnie jak tylko ogarną że leci jakiś skrypt.
Jedyną opcje widzę w tym że musiałbym użyć jakiś darmowych proxi żeby nie zaliczyć bana.

Teraz moje pytanie. Jakie zagrożenia na mnie czekają przy używaniu darmowych serwerów z poziomu kodu?
W requestach nie podaję żadnych wrażliwych danych, jedynie pobieram stronę i później sobie ją obrabiam.

#proxy #securityPokaż całość

#python #programowanie

Potrzebuje napisać dla siebie taki skrypt, żeby sprawdzał dostępność jakiegoś produktu w sklepie IKEA co np 1h i wysyłał do mnie powiadomienie np. emailem. Czy w pythonie będę mógł to zrobić i gdzie szukać informacji? #webscraping

Jak z #webscraping jest prawnie?

Mam sobie napisany prosty scraper do strony Auchan, ściągający ceny paliw. Chciałbym go sobie wrzucić do portfolio, jednak pytanie - jak jest z legalnością tego? Czy mogę go udostępnić bez "linku" w środku, żeby nikt się nie przyczepił?

#python #selenium

Zachęcam wszystkich zainteresowanych do nowych filmów z cyklu automatyzacji pracy z rejestrem #bdo:

Automatyczne tworzenie wpisów do KEO z Excela:
https://www.youtube.com/watch?v=u3cernA7mKY&t=7s

Eksport danych z dowolnej karty KPO doPokaż całość

Siemanko Mireczki i Brukselki.

Problem w Pythonie:
Mam taką zagwozdkę - normalnie by odnaleźć/kliknąć/cokolwiek dany obiekt w przeglądarce, robi się inspekcję tego obiektu, potem po tagach się go nawiguje, ładuje się selenium i tyle.

Natomiast co należy zrobić, jeżeli taka strona ma obiekty (guziki), których nie da się kliknąć prawym przyciskiem myszy i dać inspekcji? Najczęściej się to zdarza, jak jakaś aplikacja jest po prostu wyświetlana przez przeglądarkę (w pracy).Pokaż całość

Ma ktoś może url do JSONa ze wszystkimi produktami na Media Expert lub Media Markt?
#webscraping

#python #request #webscraping #programowanie

Mam problem....

Pobieram w Pythonie za pomocą biblioteki requests kod strony (serwis nie udostępnia API), później z kodu strony wyszukuje dane których potrzebuje (bez bs4).

ŚwietniePokaż całość

Co zrobic jak nazwa klasy zaczyna sie od spacji?

driver.findelementbyclassname('css-nazwaKlasy')
daje blad:
NoSuchElementException: Message: Unable toPokaż całość

Miruny spod #python #html #webscraping:
jak wyciągnąć z tej stronki samą tabelę drużyn?

http://www.90minut.pl/liga/1/liga10751.html

Tu mam przykładowy, wstępnyPokaż całość

Mirki,

znów #python i troszkę #webscraping

d.add(31,28,'GEN 3.3-0','aippliki/EP_GEN_3_3-0_en.pdf','Teren Górzysty w FIR Warszawa\nMountainous Areas within FIR Warszawa','','','','');
Jest to część javascriptu, potrzebuję z tegoPokaż całość