[Malinozaur]

Mirki z #bigdata #datascience
Moglibyście może podrzucić jakiś temat, który by nadawał się na projekt końcowy na podyplomówce z Big Data?
Taki na 2-3 osoby i na kilka tygodni pracy. Może ktoś robił coś ciekawego i podzieli się pomysłem?
Technologicznie to R, Python i SQL, do tego chętnie coś z Hadoopem.
Najchętniej z jakimś dużym, ogólnodostępnym setem danych.
Oglądałem jakieś datasety z R ale jestem bardziej IT niż data engineer i nie bardzo umiem sobie zdefiniować problem do analizy...

[programistalvlhard]

@Malinozaur: Sprawdz na kaggle. Tam masz mase problemow ktore ludzie rozwiazuja więc możesz się "zainspirować" :P

[Malinozaur]

Sprawdz na kaggle.

@programistalvlhard Dzięki, tego nie znałem.

[mrocznapszczola]

Pytanie kto będzie płacił za klaster Hadoopowy ( ͡º ͜ʖ͡º)

[Eragon91]

@Malinozaur: Ja robiłem prace końcowa na podyplomówce big data na zbiorach archiwum stackexchange

[Malinozaur]

Ja robiłem prace końcowa na podyplomówce big data na zbiorach archiwum stackexchange

@Eragon91 Zdradzisz temat? ( ͡° ͜ʖ ͡°)

[Malinozaur]

@mrocznapszczola

Pytanie kto będzie płacił za klaster Hadoopowy ( ͡º ͜ʖ͡º)

Mam 2 mini komputery z i5 6gen i po 32 gb ram, powinno na domowego laba starczyć ( ͡° ͜ʖ ͡°)

[mrocznapszczola]

@Malinozaur: w zasadzie tak, zawsze możesz zrobić lokalny klaster na jednej maszynie z małą próbką danych i później wrzucić finalnych skrypt np. na aws żeby pokazać że "to działa" na duży klaster. Przynajmniej ja bym tak zrobił ( ͡° ͜ʖ ͡°) Pamiętaj tylko Mirku żeby nie używać pythona do przetwarzania danych w spark, tam gdzie to możlwie używaj sql.