[IsambardKingdomBrunel]

#bigdata
#naukaprogramowania
#python

Trochę pouczyłem się webdevu (tj napisałem jakiś tam serwis w django). Jakoś mnie to nie przekonywało i ciężko mi wchodziło z początku, ale mogę powiedzieć że mam podstawowe umiejętności.
Jednak zacząłem uczyć się big data tj. pandas, numpy matplotlib, seaborn etc... i to jest to! Po prostu te zagadnienia są dla mnie mega ciekawe. Krzywa uczenia się jest o wiele większa, niż w przypadku django.
Chciałbym się tym zająć zawodowo, nawet gdybym miał zarabiać tyle co dziś. Mam jednak rozkminę. Kiedy już skończę bawienie się w kursach i sandboxie to chciałbym zrobić dobrą analizę na tyle, żeby ktoś się mną zainteresował. Jak i gdzie się za to zabrać? Nie chcę już szukać pracy po skończeniu kursu na udemy bo i tak bym sobie nie poradził, więc skąd będę wiedział że to już czas? I jak najlepiej poprawiać skilla? Jak sobie wyznaczać cele?

[legolass]

@IsambardKingdomBrunel: Masz stronę https://www.kaggle.com/ gdzie masz prawdziwe zbiory danych, a także konkursy, gdzie będziesz mógł porównać swoje rozwiązanie z innymi. Myślę, że to jest dobry kolejny krok.

[programistalvlhard]

@IsambardKingdomBrunel: Ok ale kim chcesz zostać. Data analystem, enigneerem czy scientistem ? Z podanego stacku chcesz chyba uprawiać #datascience ?

[IsambardKingdomBrunel]

@programistalvlhard: Wydaje mi się że najniższy próg wejścia jest do data engineer, ale pewnie się mylę.

[programistalvlhard]

@IsambardKingdomBrunel: To nie tak. Data engineer ( sam nim jestem ) zajmuję się głównie obróbką czyszczeniem danych pisaniem aplikacji które surowe dane otrzymane od klienta, dostawcy itp przetworzysz w taki sposób żeby później data scientisci i analysci mogli je analizowac pod kontem prowadzenia biznesu. Predykcje, BI, ML (machine learning ). Ja akurat to lubię dlatego nie chcę iść w kierunku data science :D

[IsambardKingdomBrunel]

@programistalvlhard: Tzn różnice rozumiem. Data analytyst to po prostu analityk danych, przy czym już je dostał i raczej nie bawi się w predykcje, engineer to jak wspomniałeś 'czyściciel' danych, scientyst to taka szlachta analizy danych ( ͡° ͜ʖ ͡°). W twoim odczuciu w co najlepiej iść i dlaczego?

[programistalvlhard]

@IsambardKingdomBrunel: Ważym jest co Cię jara. Data engineer ma dużo wyzwań i ciekawych problemów inżynieryjnych do rozwiązywania, do niestworzonych problemów które masz zagwarantowane dzięki open source ( tutaj stack technologiczny najlepszy i zarazem standardowy stack to scala, spark, kafka, hadoop familiy (hive, hbase, oozie etc) + cloud (AWS,AZURE,GCP). Najlepiej sobie pogoluj i poczytaj. Przykładowy link: https://www.stoodnt.com/blog/data-engineer-vs-data-scientist/

Ja nie za bardzo przepadam za matematyką itp więc z tego tytułu wolę problemy

[IsambardKingdomBrunel]

@programistalvlhard: Czyli to nie jest tak, że data scientist wpierw powinien być data engineer?

[programistalvlhard]

@IsambardKingdomBrunel: Nie :) To są kompletnie 2 różne działki i takie osoby zajmują się kompletnie innymi rzeczami

[mozeskomentuje]

@programistalvlhard: co jest wymagane na początku kariery dla data engineer? Jak tk wyglądało e twoim przypadku, sam python plus opanowane w jakims stopniu pakiety pandas numpy wystarcza?

[programistalvlhard]

@mozeskomentuje: Hmm tak jak napisałem up: scala, spark, kafka, hadoop familiy (hive, hbase, oozie etc) + cloud (AWS,AZURE,GCP). Zamiast scali możesz trzaskać w javie bądź pythonie ale większość ofert powiedział bym 80% to scala dlatego że duża część bibliotek i frameworków jest napisana w scali np spark :P

[newPassword]

@programistalvlhard: Jak zacząłeś swoją karierę z bigdata? To była Twoja pierwsza specjalizacja czy wcześniej byłeś programistą java/python/innej technologii i w wolnym czasie uczyłeś się bigdata?

[PiotrokeJ]

@programistalvlhard: no właśnie jak zacząć karierę z BigData, czego sie uczyłeś, jakieś poradniki? Z webdeveloperka wydaje mi sie że jest łatwiej zacząć