Web scraping - techniki pisania web crawlerów w Pythonie - WordPress, SEO, Marke

Web crawler, czy web scraper może okazać się wyjątkowo przydatnym skryptem nie tylko w Twojej pracy, ale także w codziennym życiu. Web scraping może pomóc Ci

[Radaka]

W dzisiejszych czasach gdy mamy SPA lub kawałki strony jest renderowana po stronie przeglądarki to podobne rozwiązania w pythonie są bezużyteczne, jeśli dojdzie do tego np cloud flare to i nawet np puppeteer nie da sobie rady

[Radaka]

@emitar: no wszystko co korzysta przez normalna przeglądarką która renderuje stronę to nie będzie problemu, jednak CF się ostro wycwanił ostatnim czasy, do puppeteer była przez jakiś czas biblioteka która pozwalała oszukać CF =>

https://www.npmjs.com/package/puppeteer-extra-plugin-stealth

Jednak od jakiegoś czasu CF blokuje

[SpotMikki]

o wszystko co korzysta przez normalna przeglądarką która renderuje stronę to nie będzie problemu, jednak CF się ostro wycwanił ostatnim czasy, do puppeteer była przez jakiś czas biblioteka która pozwalała osz

@Radaka: To zależy od strony. Pamiętajmy też, że mamy seleniu, jak już zostało napisane, a nie wszystkie strony przecież to SPA. Powiedziałbym raczej, że aplikacje tworzy się w ten sposób.Do tego przecież mamy masę blogów na WordPress, które też