Wpis z mikrobloga

Potrzebuje zescrapowac 7000 linków, obecnie jsoup w Java robi to w tempie 140 linków na minutę. Każdy link po prostu muszę sprawdzić sobie co jakiś czas, da się to zrobić w jakimś pythonie szybciej?
Próbowałem użyć wielowątkowości to przelatuje przez wszystkie linki ale w ogóle ich nie sprawdza (za pierwszym/drugim razem sprawdził tylko w 80proc dobrze) ale też nie jestem w wielowatkowosc jakiś turbo dobry a ja po prostu potrzebuje odczytać link i z niego wziac tylko tekst
#prrogramowanie #programista15k #pracait
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 1
@razdwatrzy55: cos zle piszesz, nie pamietam jak w python, ale w perlu jak by cos takiego zrobic, to trzeba ogarnac jak chcesz zwrocic rezultat do procesu nadrzednego, lub jak zapisac do logu ogarniajac blokowanie.
  • Odpowiedz