[marahin]

hej miruny. rozpocząłem prosty eksperyment, jesli ktoś chciałby pomóc przetrenować dane, to zachęcam :) https://tvpropaganda.info/train

#tvp #polityka #propaganda #pis

[A.....5]

@marahin: Jakiś opis danych?

[marahin]

@AlBundy95: lista artykułów z tvp.info. Indeksuje się co godzine i dorzuca nowe, unikatowo po tytule. Zbieram głosy czy coś jest propagandowe, czy nie.
W pełni anonimowo można zagłosować (co oznacza tez, że można oszukiwać ;)) ale jest to eksperyment for fun. Samo indeksowanie artykułów już zwróciło moją uwagę na ciekawe zabiegi ze strony redakcji

[marahin]

@AlBundy95:

[marahin]

@marahin: i chwilę później już Radna, a nie internautka :)

[A.....5]

@marahin:
jest jakieś API do zaciągnięcia?
w jaki sposób indeksujesz (i w sumie w jakim celu)?
planujesz automatyczną klasyfikację propagandowych fake'ów TVP?

[A.....5]

@marahin: liczyłeś jak często artykuł (id w linku) zmienia tytuł?

[marahin]

@AlBundy95:

jest jakieś API do zaciągnięcia?

Kiedyś będzie do zaciągnięcia całej bazy, na ten moment możesz sobie podejrzeć jak wyglądają requesty jak odpalisz stronę, i pewnie możesz z tego skorzystać, o ile Cloudflare Cie nie wytnie.

w jaki sposób indeksujesz (i w sumie w jakim celu)?

W prosty sposób, ale nie chcę dzielić się na ten moment konkretniej. Jest robot który co godzinę zasysa newsy i wkleja tylko te unikatowe względem

[marahin]

@AlBundy95: nie, mało czasu jest na klepanie tego, narazie skupiam się na dojechaniu do ~1k artykułów i ocenieniu 100% z nich, żeby zobaczyć czy już jakieś metody (typu np. naive bayes) dają wyniki, a potem może coś bardziej skomplikowanego, tf hub czy coś.

[A.....5]

@marahin: oks, to czekam na rezultaty.

w NLP polecam korzystać z rozwiązań najlepszych graczy, np zuckerbergowy fasttext powinien dać optymalne rezulaty

[marahin]

@AlBundy95: nie znałem, dodany do listy ;)