#python #scraping
#programowanie

Mam za zadania ściągać dane z amazona dla produktów które użytkownik wybierze. Zawsze mam wybrać najtańszą opcję(najtańsza opcja łącznie z dostawą). Niestety wyszukiwarka amazona działa dziwnie i nie pokazuje wyników takie jak bym chciał. Przykład może być: szukam tv wyskakują uchwyty pod tv, szukam jakieś elektorniki to wyskakują części zamienne. Nie wiem jak sobie z tym poradzić i wyszukiwać na amazonie poprawnie.

pomógłby ktoś scrapnąć tutaj żeby się logowało jednym linkiem? pls ( ͡° ͜ʖ ͡°)
https://trucksbook.eu/
https://trucksbook.eu/components/notlogged/login.php?go= mam tu coś

#php #programowanie #scraping

Uczyłem się ostatnio trochę webscrapingu. Jakie ciekawe i unikatowe dane mogę ściągnąć żeby poćwiczyć?
Zależy mi, żeby takie dane można było potem w ciekawy sposób analizować, a najlepiej jeszcze zrobić na ich podstawie jakiś model uczenia maszynowego.
Wymyśliłem sobie ściąganie informacji i cen używanych aut oraz mieszkań. Udało mi się już to zrobić, ale takie dane są lekko oklepane. Co jeszcze ciekawego zostało z najlepiej polskich stron internetowych?
#scraping #Pokaż całość

Hej wszyscy #programista15k kodujący w #python , pomożecie? Mam #pytanie:

czy istnieje jakaś biblioteka, która w łatwy sposób pozwalałaby pobrać listę list, która zawierałaby n ostatnich znalezisk dodanych do wykopaliska, z linkiem, tagami, tytułem, autorem itp.? Coś jak pages generatory z pywikibot, tylko dla wypoka...

Z góry dziękuję!

#programowanie #scraping #webdev #wykop

Mirki ma ktoś scrappera do olx pobierającego cenę i powierzchnię mieszkania, albo chciałby zrobić lub pomóc mi zrobić? (Ogarnę na tyle że ściągnę te dane z linku z ogłoszeniem, ale nie ogarnę jak zrobić to tak by 'wbijalo' na każde ogłoszenie i stamtąd ściągało dane. )

#programowanie #scraping #python #scrapy #webdev

Da się przez api facebook-a pobierać wszystko ze swojej grupy? Tak aby umieszczać na stronie www jako kontent do pozycjonowania. Jeśli tak, jak to jest w przypadku kiedy nie jesteśmy jej właścicielem? Narusza to jakoś prawa autorskie właściciela innej grupy? Facebook moża jakoś zablokować tą treść?

Czy łatwiej zescrapować treść? Jakiś kod/sposób, który polecacie?

Widzieliście żeby ktoś coś takiego robił?

#facebook #seo #scraping

Jest tutaj ktoś kto siedzi w #scraping ? #python

#programowanie #python #scraping #beautifulsoup

Siemka, jest sprawa - dobiłem do ściany i potrzebuję żeby ktoś wskazał kierunek :/.

SEDNO: oglądam tutoriale i próbuję nauczyć się przy pomocy pythona i bs4/ scrapy zebrać dane z giełdy kryptowalut i za cholerę nie umiem - poradniki zawsze omawiają na bazie stosunkowo prostych stron i z tym nie mam problemu, ale jak przychodzi do real-life zazwyczaj dostaję [ ]...

MORE:Pokaż całość

Siemka Mirki,
Pytanie z tych banalnych, chciałbym zrobić stronkę, która na żywo tłumaczy słówko po jego naciśnięciu. Jak to wygląda przy scrapowaniu danych ze słowników np. translatica czy babla. Np w babla znalazłem w robots.txt (User-agent: * Disallow: /*&filter Disallow: /*page= Disallow: /*PHPSESSID Disallow: /*profile_show.php* Disallow: /tools/ Disallow: /widgets/ Disallow: /partner/ Disallow: /sounds/ Disallow: /bt.php Disallow: /r/ Disallow: /*verify.php? Disallow: /x/ Disallow: /ax/)
To nie jest wykorzystywanie autorskich dzieł, przynajmniej tak miPokaż całość

Pisał ktoś scrapera na lubimy czytać?
Mam taki plan, żeby to zrobić, bo brakuje mi u nich sortowania po ocenie.
Tzn taki ranking coś jak na filmwebie.

Mają 350k tytułów, 10 książek na stronę, tzn 35k requestów.
Zakładając 1r/s to by było 3600 na godzinę = 10h do zeskanowania wszystkiego o ile by mnie jakiś rate limiter nie dopadł i zbanował.Pokaż całość

Jakiś gotowy scraper do goldenline?

#crawler #scraping #programowanie

#programujzwykopem #r #scraping

Bry wieczór.
Scrapera w R sobie piszę, i mam problem z pętlą for, która przekaże wartość do linku.
Za pierwszym razem powinno pójść 1, a później wielokrotność counter (251, 501, 751, itd).

ChcęPokaż całość

Szanowi Rezydenci Płci Każdej Miejsca W Internecie Wykopem Zwanego!
Zna ktos metode #scraping w #R żeby wydobyc numer telefonu na #otodom ? Bo nie ogarniam :(
#programowanie

Siema,
Chce zbierać dane o sprzedawanych samochodach osobowych.
Warto się przez te ich rest api podpinac czy mają jakieś limity?
Czy napisać coś swojego w pythonie?

#crawler #scraping #webdev #rest

#scraping #programowanie #frontend #backend

Siema, piszę sobie scrapera pod oferty pracy OLX i natrafiłem na coś ciekawego.
Scraper biega sobie po każdej kategorii, ściąga dane, zapisuje do bazy, klika następną stronę i tak w kółko...
Zauważyłem, że np. w kategorii Administracja Biurowa po pierwszych 50 stronach baza danych zaczyna mi wypluwać exceptiony związane z tym, że klucz główny (adres www oferty) już istnieje w bazie danych.
"No spoko"Pokaż całość

Miałem bota, który pobierał strony po wypełnieniu formularza.
Formularz był zabezpieczony recaptcha v2. Captcha była wypełniana ręcznie.
Jednak, zaktualizowali do v3. Da sie to jakos obejsc, zeby przechodziło, czy z v3 botom mówimy papa?

#programowanie #selenium #scraping #datamining #captcha

Mirki, pomóżcie! Gdzie znajdę dobrą bazę danych książek, która dałaby się przeszukiwać po ISBN?

Cel: napisać skrypt, który wciągnie listę ISBN zczytaną z kodów kreskowych moich książek, a następnie pobierze z netu i zapisze podstawowe dane - tytuł, autora, a mile widziane także: data wydania, wydawnictwo, liczba stron itp.

Problem: nie mogę znaleźć sensownego źródła; na razie napisałem napisałem to sobie na bazie Arosa (mają sporą i solidnie uzupełnioną bazę,Pokaż całość

Dzisiaj Python Web Scraping - Second Edition (May 2017)

https://www.packtpub.com/packt/offers/free-learning

#packtpubfreelearning #python #webdev #scraping

jak testujecie spidery (scrapy)? Korzystacie z kaset, np vcrpy?

#python #scrapy #scraping #tdd #programowanie

Python Web Scraping - Second Edition (May 2017)

https://www.packtpub.com/packt/offers/free-learning

#packtpubfreelearning #python #scraping