[3Vw7GkZLSZ46OrVi]

siema elo #python i #programowanie (chyba nie zabijecie za ten tag, nie?)
robilem sobie tutoriala na udacity, jakieś pisanie web crawlera i inne takie, no ale chciałem samemu coś spróbować to odpuściłem sobie tutka w połowie jakoś i postanowiłem napisać to samemu.
No ale jakoś po 460 pętlach mi się wsio zawiesza, w zależności od strony. Domyślam się że program trafia na jakiegoś urla którego nie umie ogarnąć czy coś, ale ciężko mi to przeanalizować samemu, dopiero zaczynam.
Zerknie ktoś na kod i mnie naprowadzi plus minus o co chodzi?
http://codepad.org/UyoKvzC8
dodałem komentarze prawie każdej linijki łamanym angielskim więc powinno być łatwiej
btw jak ktoś sie chce #!$%@?ć do składni i innych takich to zapraszam bo w sumie nie wiem jakie są zwyczaje w nazywaniu rzeczy itd.

[visez]

@3Vw7GkZLSZ46OrVi: moze dodaj wewnatrz petli try-catch i bedziesz wiedzial co sie dzieje.

[3Vw7GkZLSZ46OrVi]

@visez: o proszę, szukałem właśnie czegoś o logach i innych takich, ale #!$%@? znalazłem, zaraz pogoogluje.

[3Vw7GkZLSZ46OrVi]

@visez: moment, to ma być coś takiego?

try:
 print(crawl("[http://facebook.com](http://facebook.com)")) # crawls facebook page.
except(no i właśnie, co tutaj?):
 jakieś coś printujące errora

cobrze myślę?

[visez]

@3Vw7GkZLSZ46OrVi: mozesz dac pusty i wewnatrz except cos sobie wypisac albo zrzucic do loga

[tfbeen]

@3Vw7GkZLSZ46OrVi: request.get(url, allowredirects=True, verify=False), verify=0 "usuwa" problem z SSL, czasami jak strona wymusza bezpieczne połączenie, to zwróci nagłówek 302 i przekieruje z http://o2.pl na https://o2.pl - do tego używaj allowredirects.
Czasami wyskoczy Ci informacja o braku certa, więc strzelasz:

from requests.packages.urllib3.exceptions import InsecureRequestWarning

requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

[3Vw7GkZLSZ46OrVi]

@tfbeen: zaraz zapuszczę i zobacze czy śmignie. A tak z ciekawości- skąd wiesz? debugowałeś to jakoś czy z doświadczenia? a jak debugowałeś to plus minus jak?

[piotrb]

W PyCharmie masz całe okienko do określania warunków (picrel), można to też zrobić podobnie jak Ty, czyli wypisywać coś dla konkretnej wartości pętli. Z ciekawszych rzeczy z debugowania, to w PyCharmie masz wchodzenie do kodu modułów (F11) i tam można zobaczyć co się dzieje w środku.

[3Vw7GkZLSZ46OrVi]

@piotrb: zajebiście, akurat pycharma używam, tego szukałem, dzięki <3

btw dalej nie działa, wyjebuje się na linkach od googla w stylu http://google.com/cośtam?coś=https://, widocznie faktycznie wymusza ssla, będę grzebał dalej samemu, dzięki za naprowadzenie