Mam jakieś 1k linków do aukcji konkurencji (docelowo pewnie bym chciał do 10k aukcji) z których chcę pobierać dane do raportu w PowerBI, dokładnie cenę i ilość (albo prosto do PowerBi albo przez skrypt pythona i wtedy do PowerBI).

Nie interesuje mnie moment pobrania tych 1k-10 aukcji, bardziej interesuje mnie kwestia odświeżania danych, czyli ceny oraz ilości.

Czy allegro szybko wyłapują takie ruchy przy takiej ilości? Jakiś sposób na obejście, sprawdzone metody?Pokaż całość

#scraping #webscraping #selenium

czy ktoś używał z was serwisów typu zenrows do scrapowania danych? Zazwyczaj radziłem sobie ze zmianą headerów, ewentualnie mniejsze batche, jakieś darmowe proxy. Teraz problem jest taki, że wystarczy otworzyć 5 kart z danej strony i już jest podejrzenie bycia botem :P dlatego rozkminiam nawet takie portale.

#anonimowemirkowyznania
Cześć, z góry zaznaczam, że nie mam konta na wykopie i nie mam się kogo poradzić. Od razu podam tagi #programowanie #naukaprogramowania #python #scraping #webscraping

Wymyśliłem sobie taki plan. Zapytacie się jaki? Kurna sprytny.( ͡° ͜ʖ ͡°) Chciałbym scrapować nazwy produktów+ceny tych produktów. Słabo się znam na programowaniu, ale myślę, że ogarnę na podstawie filmików na yt i nauczę się czegoś przydatnego. Chodzi o inną kwestię, wyczytałemPokaż całość

Mirki wiecie jak wyciągnąć datę stworzenia ogłoszenia na otomoto? Data pod zdjęciem to oczywiście data odświeżenia, szukałem po requestach ale nie widzę nigdzie.
#otomoto #programowanie #webscraping #scraping

Jest coś jak #ceneo tylko z API, żebym mógł po nazwie / url produktu znalezc najniższą cene w innych sklepach?

#programowanie #webscraping #scraping #api

Zna ktoś działający sposób na unikanie wykrycia na Allegro? Używam Selenium w pythonie i selenium-stealth
#scraping #allegro #python

Ma ktoś scraper do mieszkań na olx?
#scraping #olx

Scrapował może ktoś ostatnio dane ze stooq/money.pl? Potrzebuję danych daily dotyczących wszystkich opcji notowanych na polskiej giełdzie, ale mam problem z sensownym zescrapowaniem tego. Dotychczas leciałem pandasem po bankier.pl i śmigało, na stooq i money już nie ma tak łatwo. Stooq zupełnie nie ładuje się przez request, a money nie przechowuje interesujących mnie danych w htmlowej tabeli, ale w jakichś klasach do których nie mam pojęcia jak się dorwać xD Będę bardzoPokaż całość

Jakby ktoś potrzebował listę prawie wszystkich procesorów, kart graficznych, płyt głównych to proszę:
https://github.com/Pawikoski/PC-Components

Własnie zescrapowałem i moze sie komus przyda
#procesory: https://github.com/Pawikoski/PC-Components/blob/main/processors.json
#kartygraficzne: https://github.com/Pawikoski/PC-Components/blob/main/graphic_cards.json
płyty główne: https://github.com/Pawikoski/PC-Components/blob/main/motherboards.json

#scraping #programowanie #komputery #skladamkomputer #informatyka #komputer

Cześć Mirki,

Chciałbym przeprowadzić badanie na podstawie bazy danych na stronie EUvsDisinfo (https://euvsdisinfo.eu/disinformation-cases/). Zastanawiam się, w jaki sposób mógłbym napisać skrypt tak, żeby przy użyciu biblioteki do scrapowanie (np. request) móc pobierać i ładować do beautifulsoup kolejne strony bazy danych. Stron jest od 1 - 1337.

Uprzedzam, że nie mam żadnego wykształcenia programistycznego i znam tylko podstawy podstaw Pythona.

#python #scraping #naukaprogramowania

Istnieje jakiś skrypt do web scrapingu wykopu? Chciałbym się za to zabrać, ale może nie muszę wynajdywać koła od nowa. Zależy mi głównie na pobieraniu tytułów znalezisk z jakimś if'em dotyczącym tego ile razy wykopano dane znalezisko - i to zapisywać w .txt
#scraping #python

@szacowny_korbiarz: Czy wie ktoś jak mógłbym pobrać sobie na dysk archiwum gadu-gadu? Boję się, że gg spotka za jakiś czas los nk i chciałbym zachować dla potomnych moje stare wiadomości. Problem jest taki, że gg nie oferuje opcji zapisania archiwum, a ręcznie to mordęga bo każda osobna konwersacja to osobna strona/zakładka, a takich konwersacji to i ze 100 można było mieć z jedną osobą. Poza tym ich śmieszna wyszukiwarka wiadomości praktyczniePokaż całość

Jak scrapować whoscored.com? Chciałbym pobrać sobie np. listę wszystkich podań i ich współrzędnych z danego meczu (pic related - kropki). Jak się za to zabrać? Dane z innych stron często są łatwo w jsonie lub źródle strony, a tu nie. Wszędzie w internecie czytam że scrapowanie tego jest trudne, a potem widzę jak prawie każdy na tt to robi, ale nie chce ujawniać kodu.

link do przykładowego meczu: https://www.whoscored.com/Matches/1464189/Live/France-Ligue-1-2020-2021-Marseille-Lyon

#python
#scraping

#python #scraping #ocr

Czy jest możliwe dokładne pobieranie danych z pdfu, który wygląda jak np. gazetka Biedronki?
Potrzebuję zebrać sporo danych historycznych i m.in. takie pdfy są znakomitym źródłem informacji jednak próbowałem różnych programów ocr i efekt jest słaby. Z kolei ręczne wklepywanie kilkuset pdf też wygląda słabo.

Znacie jakieś programy ocr, sposoby jak to zrobić?

Dzięki za pomoc

Czy scrapując filmweb klasyczną metodą python+requests+BeautifulSoup mogę się narazić na bana ip? Jeśli tak, to co zrobić żeby się nie narazić poza ustawieniem delayu w requestach?

#python
#scraping

Eh :( i znowu coś zmienili na #otodom i znowu kod trzeba dostosować

#scrapy
#python
#scraping

Mirki umiace dobrze w komputer jest sprawa. Chcialbym pobierac z googla informacje na temat fryzjerow. Konkretnie z tej zakladki mapy gdzie sa listy firm dodanyxh do google. Jest jakas inna droga niz scrapowanie? Bo pewnie google sid lrzed tym jakos zabezpiecza.
Wiem ze jest tez cos takiego jak places API, ale platne, a tp tylko hobbystyczny projekt
Najlepeiej jakby byl w C# ale bez znaczenia, chodzi mo o sama idee.
#scraping #Pokaż całość

#python #scraping
#programowanie

Mam za zadania ściągać dane z amazona dla produktów które użytkownik wybierze. Zawsze mam wybrać najtańszą opcję(najtańsza opcja łącznie z dostawą). Niestety wyszukiwarka amazona działa dziwnie i nie pokazuje wyników takie jak bym chciał. Przykład może być: szukam tv wyskakują uchwyty pod tv, szukam jakieś elektorniki to wyskakują części zamienne. Nie wiem jak sobie z tym poradzić i wyszukiwać na amazonie poprawnie.

pomógłby ktoś scrapnąć tutaj żeby się logowało jednym linkiem? pls ( ͡° ͜ʖ ͡°)
https://trucksbook.eu/
https://trucksbook.eu/components/notlogged/login.php?go= mam tu coś

#php #programowanie #scraping

Uczyłem się ostatnio trochę webscrapingu. Jakie ciekawe i unikatowe dane mogę ściągnąć żeby poćwiczyć?
Zależy mi, żeby takie dane można było potem w ciekawy sposób analizować, a najlepiej jeszcze zrobić na ich podstawie jakiś model uczenia maszynowego.
Wymyśliłem sobie ściąganie informacji i cen używanych aut oraz mieszkań. Udało mi się już to zrobić, ale takie dane są lekko oklepane. Co jeszcze ciekawego zostało z najlepiej polskich stron internetowych?
#scraping #datascience #python