[kodi1911]

scrapowanie przeszlo pomyslnie, 2793 strony głównej z wykopaliskami, komentarzami, odpowiedziami do komentarzy + hashtagi, zawołania, nawet kolor nicka udało się wyciągnąć - łącznie jakieś 3,5gb danych do analizy ( ͡° ͜ʖ ͡°)

teraz pora na oczyszczenie danych i text mining komentarzy na wykopie ( ͡° ͜ʖ ͡°)

#dataisbeautiful #machinelearning #statystyka #python #apachespark #bigdata

[gorush]

@kodi1911: pochwal sie potem co z tego wyjdzie:D

[morsik]

@kodi1911: API Wykopu tego wszystkiego nie wystawia? O.o

[kodi1911]

@morsik: wystawia, ale chciałem pobrać wszystko za jednym zamachem, zeby to wrzucić później do sparka
@gorush: całkiem niedawno analizowałem treści artykułów wyborczej, naszego dziennika i super expressu - łącznie jakieś 50 tys. artykułów, zrobiłem aplikację z podsumowaniem wyników tej analizy
http://104.154.23.20:3838/PolishMedia/

[morsik]

@kodi1911: no ja wiem, ale zrobienie pętli do API to chyba nie taki problem, a zdecydowanie łatwiej się potem czyta te dane niż zabawa w wyciąganie z DOM ( ͡° ͜ʖ ͡°)

[information_retriever]

@kodi1911: jak wziąłeś dane? scrapy?

[kodi1911]

@morsik: ogarniecie xpathów zajelo mi jakies 2h, kolejne 2h poswiecilem na napisanie crawlera w scrapym, wiec całkiem łatwo to poszło ( ͡° ͜ʖ ͡°)

[kodi1911]

@information_retriever: tak, crawlera zrobiłem w scrapym

[morsik]

@information_retriever: napisał w pierwszym słowie. „scrapowanie” ( ͡° ͜ʖ ͡°)

@kodi1911: chyba bym się pochlastał. Tym bardziej, że używając API pewnie byś to w pół godziny ogarnął :D

[tusiatko]

@kodi1911: czego używasz do text mining?

[information_retriever]

@kodi1911: dlaczego xpathy, a nie css?

[information_retriever]

@morsik: to jest ogólne pojęcie przecież, a nie nazwa narzędzia ( ͡° ͜ʖ ͡°)

[kodi1911]

@tusiatko: do algorytmów - pyspark, do preprocessingu R, ale moze spróbuję to wszystko zrobić w pythonie

[Kajakiem_przez_Tybet]

@morsik: No raczej nie. Skończyłby Ci się limit, poza tym API nie udostępnia wszystkiego, co jest na stronie

[morsik]

@information_retriever: spytałeś jak wziął dane (ja rozumiem jako „jaką techniką”), a nie jakiego narzędzia użył ( ͡° ͜ʖ ͡°)

@Kajakiem_przez_Tybet: myślę, że z limitem nie byłoby problemu jakby się z @m__b dogadał ;)
No ale drugi argument oczywiście sensowny; a i ja nie siedzę z API wykopowym. No ale niby aplikacje na Androida o niego są oparte, więc chyba wystarczająco dużo dostarcza…

[kodi1911]

@information_retriever: bo nie próbowałem nigdy za pomocą css, wiec wybrałem to co umiem, czyli xpath ( ͡° ͜ʖ ͡°)

[tusiatko]

@kodi1911: jak byś kiedyś potrzebował to zrobić na szybko, to wypróbuj rapidminer. W ogóle dużo jest tam funkcji, nie tylko do text miningu. No i darmowe :)

[kodi1911]

@information_retriever: włącz odbieranie ode mnie wiadomosci, jesli chcesz bym Ci coś odpisał ( ͡° ͜ʖ ͡°)

[information_retriever]

@kodi1911: ok :D

[r.....t]

@kodi1911: daj kod na github

[kodi1911]

@rzet: https://github.com/konraddroptable/wykop-crawler