scrapowanie przeszlo pomyslnie, 2793 strony głównej z wykopaliskami, komentarzami, odpowiedziami do komentarzy + hashtagi, zawołania, nawet kolor nicka udało się wyciągnąć - łącznie jakieś 3,5gb danych do analizy ( ͡°͜ʖ͡°)
teraz pora na oczyszczenie danych i text mining komentarzy na wykopie ( ͡°͜ʖ͡°)
@Kajakiem_przez_Tybet: @RobotKuchenny9000: coś koło tego, nawet bym powiedział, że coś koło doby (odpaliłem w piątek wieczorem, a w sobotę wieczorem już wszystko miałem ściągnięte). Część znalezisk to reklamy, więc liczba 139650 też jest przybliżona.
@Bouncer: tak, po raz pierwszy miałem z nimi styczność w C#, jak parsowałem strone z rozkładami jazdy pociągów skm, bo chciałem mieć aplikacje na windowsphone, która by wyświetlała rozkłady jazdy z najbliższej stacji. Kolejny raz jak zaczynałem ogarniac xpathy, to w momencie, gdy zaczynałem pisać swoja pracę magisterską, a potrzebowałem pobrać sporo danych giełdowych - napisałem parser (też w C#), który scrapuje dane historyczne kursów giełdowych.
Śmierdzi mi to strasznie, że te bitki za chwilę się rozleją na większe terytorium. W skrócie śmierdzi na kilometr wojną światową, nie chce być złym prorokiem, ale następny rok będzie bombowy. #wojna #izrael #ukraina #palestyna
teraz pora na oczyszczenie danych i text mining komentarzy na wykopie ( ͡° ͜ʖ ͡°)
#dataisbeautiful #machinelearning #statystyka #python #apachespark #bigdata
jak tak przejrzałem Twoje wpisy to temat xpathów pojawia się w nich już od dłuższego czasu ( ͡° ͜ʖ ͡°)
Także, tak - xpath nad