Jakoś powoli idzie mi nauka bigdata. Postanowiłem, że przeanalizuję sobie komentarze z reddita. Pobrałem około 30GB komentarzy z jednego miesiąca i przeanalizowałem 10 000 000 z nich. Trochę czasu mieliło na maszynie virtualnej.
Jeden z przykładów:
Nazwa reddita i ile komentarzy dostało gold.
AskReddit;712
hiphopheads;161
pics;156
funny;136
videos;97
Metal;97
AdviceAnimals;97
nfl;86
todayilearned;70
WTF;62
IAmA;61
worldnews;58
CFB;55
news;52
hockey;47
dogecoin;40
explainlikeimfive;38
#bigdata #reddit
Jeden z przykładów:
Nazwa reddita i ile komentarzy dostało gold.
AskReddit;712
hiphopheads;161
pics;156
funny;136
videos;97
Metal;97
AdviceAnimals;97
nfl;86
todayilearned;70
WTF;62
IAmA;61
worldnews;58
CFB;55
news;52
hockey;47
dogecoin;40
explainlikeimfive;38
#bigdata #reddit
@WincyjBroni: reddit udostępnia swoje API. https://www.reddit.com/dev/api/. Jest dużo scraperów dostępnych w oparciu o API
#datascience #bigdata #ai #sztucznainteligencja #nieprogramowanie #ebook