Szukam osoby która ma doświadczenie w webscrapingu i potrafi zbudować program/projekt od podstaw. Robota odpłatna. Potrzebuje programu ktory bedzie zbieral dane w czasie rzeczywistym i je przetwarzał.
#it #webscraping #programista15k #programowanie #python

Darmowe warsztaty z web scrapingu i analizy danych – Warszawa, lipiec 2025

Cześć Wykopowicze 👋

Jeśli interesujecie się web scrapingiem, automatyzacją zbierania danych lub analizą danych z sieci, to mamy coś dla Was!

FirmaPokaż całość

#prawo #informatyka #it #cyberbezpieczenstwo #webscraping
Mam scrapper który zbiera publicznie dostępne dane (dostępne bez żadnej autoryzacji). Jednak strona internetowa, z której pochodzą te dane, zabrania w regulaminie korzystania z botów do ściągania danych. Dodatkowo, udostępnia płatne API na te dane.
Czy w świetle prawa korzystanie z tego scrappera do ściągania danych, które potem są wykorzystywane w celach komercyjnych jest nielegalne?

Macie jakiś działający sposób na wyciąganie oceny filmów z filmweba?
Python i Grok/DeepSeek się poddają, tzn. skrypt czasem ściągnie czasem nie, nie wiem od czego to zależy. Stąd pytam, może już jest jakaś pancerna biliblioteka ;)

Może problem też jest w szukaniu filmu, tj. mam search bar, podpowiada tytuły na bazie IMDB (tytuł i rok), i chyba ciężko czasem to dopasować pod filmweb.

#python #programowanie #webscrapingPokaż całość

Wie ktoś może, w jaki sposób działają aplikacje/strony z gazetkami sklepowymi? Chodzi mi o takie jak Blix, Goodie, gazetki.pl, które wyświetlają gazetki reklamowe z różnych sklepów, wraz z datą obowiązywania promocji, czy nawet wyciągając konkretne promocje osobno, żeby można było je sobie zapisać.

Mają udostępnione niepubliczne API? Web scrapping ze stron sklepów? Wyciąganie danych z obrazów OCR-em?
Nie wydaje mi się, żeby ktoś ręcznie to wyciągał, wpisywał i oznaczał, bo jest tegoPokaż całość

Staram się poduczyć trochę o programowaniu, no a zawsze się mówi, że najlepiej gdy ma się jakiś projekt. Wymyśliłem sobie, że zliczę sobie łączny czas jaki poświęciłem, na obejrzenie filmów i seriali jakie mam zapisane w bazie Filmwebu. Jako że nie wyciągnę tych informacji z ich danych (nawet nie o to by mi chodziło w tym projekcie), chciałbym zrozumieć jak mogę zautomatyzować proces ściągania tych danych, po prostu korzystając z tych informacjiPokaż całość

Robię apkę w pythonie, która scrapuje jedną ze stron. Za zgodą admina, ale rzucił we mnie reCAPTCHA i napisał, żebym ograniczył liczbę logowań i korzystał z ciasteczka, które jest ważne przez godzinę.
Do logowania i poruszania się po stronie używam Mechanize. Wyczytałem, że Mechanize automatycznie przechowuje ciasteczka. Apkę mam napisaną obiektowo i rzeczywiście w każdej klasie oddzielnie inicjowałem mechanize.browser() logując się ponownie. Wymyśliłem, że zaloguję się raz, a potem będę starał się utrzymaćPokaż całość

Jak wyciagnąć link ze strony po kliknięciu w pewien przycisk który wyswietla zmienioną listę na tej stronie? Link caly czas jest ten sam do konsoli a zmiana dziala jakoś z poziomu javascriptu... To jakbyś wszedł na pogodę na wp.pl i zamiast wp.pl/pogoda masz caly czas wp.pl #scrapping #python #javascript #html #webdev #php #webscraping

Czy działał ktoś kiedyś ze scrapingem danych jeśli chodzi o utwory muzyczne? Potrzebuje wyciągnąć daty premier ok. 500 polskich piosenek. Próbowałem z pythonowym "Spotipy", ale Spotify ma miks w tym przypadku, czasem daty się zgadzają, a czasem są to daty jakieś re-edycji lub po prostu dodania do serwisu. ChatGPT też nie działa - wygląda jakby rzucał pierwszą datą znalezioną w google i tutaj ma się to podobnie jak Spotify, przy wyrywkowym sprawdzaniu,Pokaż całość

Mirki, czy i jak można za pomocą node robić web scraping strony, która wymaga logowania?
Dla przykładu załóżmy, że chcę pobierać statystyki oferty ze strony otomoto.
(Załóżmy oczywiście, że strona nie udostępnia takich informacji poprzez API)

#webscraping #nodejs #programowanie #programista15k

Mam jakieś 1k linków do aukcji konkurencji (docelowo pewnie bym chciał do 10k aukcji) z których chcę pobierać dane do raportu w PowerBI, dokładnie cenę i ilość (albo prosto do PowerBi albo przez skrypt pythona i wtedy do PowerBI).

Nie interesuje mnie moment pobrania tych 1k-10 aukcji, bardziej interesuje mnie kwestia odświeżania danych, czyli ceny oraz ilości.

Czy allegro szybko wyłapują takie ruchy przy takiej ilości? Jakiś sposób na obejście, sprawdzone metody? CzyPokaż całość

#scraping #webscraping #selenium

czy ktoś używał z was serwisów typu zenrows do scrapowania danych? Zazwyczaj radziłem sobie ze zmianą headerów, ewentualnie mniejsze batche, jakieś darmowe proxy. Teraz problem jest taki, że wystarczy otworzyć 5 kart z danej strony i już jest podejrzenie bycia botem :P dlatego rozkminiam nawet takie portale.

dlaczego klasy CSS na allegro mają tak dziwne nazwy
czy zmieniają się co jakiś czas czy są stałe

#programowanie #webscraping

jest jakiś sposób żeby allegro nie wykrywało bota napisanego w js i #puppeteer ?

#programowanie #javascript #webscraping

#paywall #chatgpt #piractwo #webscraping

Podobno ChatGPT mógł obejść paywalle.
Jak?

Czy jest jakiś sposób, żeby dostać się do treści ze strony? Jeśli tak, to jak?Pokaż całość

Hejka #programowanie #webdev #hacking #kiciochpyta #pytaniedoeksperta

Szukam #webscraping który wygeneruje linki do wszystkich treści publikowanych na moim profilu. Linki mogą sobie być zapisane jako adresy url w formacie txt, obojętne. Wystarczą same linki.

TEN WPIS NIE MA ŻADNEGO ZWIĄZKU Z Usunięcie twoich WSZYSTKICH publikowanych treści na wykop.pl ANI Z ARTYLKUŁEM NA telegra.ph.

#niebezpiecznik @niebezpiecznik-pl

Dzień dobry, szukam biblioteki do webscrapingu, najważniejszym parametrem jest chyba szybkość. popróbowałem requests plus bs4, problem jednak w tym że jest wolno. Chce ten kod wsadzić do programu okienkowego, więc najchętniej bym przyspieszył jakoś dostęp do danych, by poprawić płynność.
#python #webscraping

#webscraping

Hej, jak teraz uniknąć 403 na OLX używając scrapy?
Useragent nic nie daje.