malostkowy
  • 2
Hejka,uczę się pisania web crawlerów i mam problem z #beautifulsoup, a dokładnie z tym by zaciągnąć większą ilość danych gdy są one na stronie pobierane w tle (ajax?) tak jak w przypadku wykopu.
Gdy zaciągam źródło strony ładowane jest 50 pierwszych znalezisk dla danego tagu,więcej ładuje się po zescrollowaniu strony.
Co zrobić żeby załadować więcej znalezisk ? Do pobrania zawartości używam freamworka #requests

krótki kod tego co nabazgrałem: https://pastebin.pl/view/1677c573
bądźcie wyrozumiali,
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
malostkowy
  • 0
@Wakun: @brakslow: właśnie panowie problem polega na tym że na wykopie kolejne dane są pobierane requestem o url z generowanym unikalnym hashem
np.

[https://www.wykop.pl/ajax2/tag/znaleziska/programowanie/next/link-4552139//hash/15a7b185e9f1f235b7c088ed04d316e9-1548765862?_=1548765861495](https://www.wykop.pl/ajax2/tag/znaleziska/programowanie/next/link-4552139//hash/15a7b185e9f1f235b7c088ed04d316e9-1548765862?_=1548765861495)
Nie chciałbym używać selenium bo to znacząco wpłynie na czas pracy skryptu i zasoby maszyny bo trzeba uruchomić przegladarke(nawet w trybie headless będzie działać dużo wolniej)
  • Odpowiedz
malostkowy
  • 1
Hej ,mam problem z wielojęzycznoscia strony,używam motywu Hestia w darmowej wersji dostaje komunikat że w tej wersji licencji nie wspiera ona multilanguage. Czy są jakieś sposoby żeby przetłumaczyć stronę główną na tym motywie ? Nie uśmiecha mi się wydawać 86 funtów :/
P.s. przy aktywacji wtyczki polylang motyw przestaje działać :/ nie wiem może coś robię źle
#wordpress #webdev
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
malostkowy
  • 3
Hej mirki ,kojarzy ktoś jak wygląda rynek testowania w UK ? Można jakieś normalne pieniądze wyciągnąć z manualnego? Muszę się przeprowadzić ze względów rodzinnych a chciałbym pozostać w branży. Automatyzacja ogranicza się u mnie do podstaw Java selenium + webdriver , zresztą mam tylko pół roku doświadczenia ,istqb i w sumie tle :/ #testowanieoprogramowania #uk
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
malostkowy
  • 1
@WujaAndzej a ja sądzę że to tylko forma samokrytyki,taka próba ujednolicenia zbioru negatywnych cech, która jest zajebiście ważna bo jak przemilcza się w społeczeństwie jego problemy to może to prowadzić do przyzwolenia na takie zachowania
  • Odpowiedz
malostkowy
  • 0
Co by nie mówić to ten model to złoto, raz ojciec przejechał go jednym kołem na szutrowej/kamiennej drodze a na telefonie tylko kilka małych wgnieceń od krawędzi kamieni na metalowej klapce baterii.
  • Odpowiedz
Dwadziescia_jeden
  • 572
Ricardo Kapuściński w opisywał w "Cesarzu" mechanizm tzw. "fetaszy" występujący w Etiopii po obaleniu rządów Hajle Selasje, czyli proces ciągłego zatrzymywania podróżnych w poszukiwaniu w sumie to niewiadomo do końca czego (prawdopodobnie dowodów na współpracę z dworem cesarza).

Co ciekawe, w pewnym sensie zjawisko to zachowało się do dzisiaj. Szczególnie podróżując z terenów przygranicznych Sudanu i Somalii musimy liczyć się z ciągłymi zatrzymaniami w celu rewizji. Przewalanie bagaży, legitymowanie, sprawdzanie. Przeszukiwanie, obmacywanie, obściskiwanie.
Dwadziescia_jeden - Ricardo Kapuściński w opisywał w "Cesarzu" mechanizm tzw. "fetasz...

źródło: comment_Se5QZA7SB6E4NFOGofJBPSCa8v7OI7En.jpg

Pobierz
  • 30
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
malostkowy
  • 0
@Dwadziescia_jeden: tak na marginesie polecam nie brać za pewnik tego na napisał kapuściński w cesarzu,sam po latach przyznal że większość tego co tam opisał było na zlecenie państwa komunistycznego,sam określił gatunek swojego tworu jako "reportaż fikcyjny" ( ͡º ͜ʖ͡º)
  • Odpowiedz

Osiągnięcia