[rozwscieczonyLewak]

Powiedzcie mi kochani jak wygląda to całe #bigdata ? Ile w tym jest programowania ( #java ), ile konfiguracji (hadoopy, #spark, kafki) a ile analizy? Myślałem nad szukaniem pracy w tym kierunku ale boje się, że większość czasu będę konfigurować jakieś klastry zamiast programować. Czy ktoś mógłby opisać jak wyglądają projekty? co trzeba implementować? opisać czym taki programista bigdaty się zajmuję?

Wołam jeszcze #programowanie #naukaprogramowania

[Myzreal]

@rozwscieczonyLewak: Robiłem certyfikat ze Sparka i przygotowując się do niego pisałem kilka małych, próbnych projektów. Nie spodobało mi się generalnie. Z mojej perspektywy: 10% kodowania, 60% konfiguracja i tweakowanie, 30% znalezienie podejścia do problemu i rozwiązania (na sucho).

Ale komercyjnego projektu w tym nie robiłem, więc nie wiem jak to wygląda "na prawdę".

[y.....l]

@rozwscieczonyLewak: Ja pracuje w firmie, która robi komercyjne rozwiązania w sparku. Przede wszystkim nie słyszałem, żeby ktoś programował w javie, głównie robi się w scali.

Polega to na tym, że masz do rozwiązania problem, np. musisz analizować jakieś dane. Najpierw myślisz jak to zrobić na sucho, potem piszesz, potem naprawiasz, żeby było szybko. :) Klastra raczej nie dotykasz, w dobrych firmach masz devopsów, którzy dostarczają wszystko, piszesz apkę, testy i jak

[rozwscieczonyLewak]

@Myzreal @yggdrasil Dzięki za odpowiedzi!

Czyli rozumiem, że umiejętność programowania w Javie (javaEE, javaSE, spring) raczej się nie przyda? Czy można trafić na jakieś projekty gdzie będzie trzeba te technologie jakoś ze sobą połączyć?

[zajety_login]

@rozwscieczonyLewak: Jeżeli chodzi o samego Sparka, to głównie pisze się pod niego w Scali i Pythonie. Java też się zdarza, ale dużo rzadziej. Poza tym jak już posmakujesz API Scalowego, to z niechęcią będziesz patrzył na API Javowe ;) Co do tego ile jest programowania/konfigurowania/tweakowania, to wszystko zależy od firmy i od projektu w jakim jesteś:
a) konfiguracja: happy path to sytuacja w której w firmie jest DevOps - wtedy to

[y.....l]

Czyli rozumiem, że umiejętność programowania w Javie (javaEE, javaSE, spring) raczej się nie przyda? Czy można trafić na jakieś projekty gdzie będzie trzeba te technologie jakoś ze sobą połączyć?

@rozwscieczonyLewak: Ja nie trafiłem, wszystko w sparku i scali. Nawet nie słyszałem, żeby ktoś robił w czymś innym niż scala. Ewentualnie python ale on do machine learningu albo klasyfikacji danych, które zostały już obrobione przez scalę.

[fegwegw]

Niestety jeżeli w firmie nie ma DevOpsa, to cała ta robota spada na kogoś z zespołu.

@zajety_login: to zdanie idealnie podsumowuje jak wiele szkód w umysłach ludzkich wyrządził ten modny przez ostatnie lata bełkot technologiczny pełen mikroserwisów, cloudów, devopsów, itp.

[zajety_login]

@fegwegw: Możesz rozwinąć?

[rozwscieczonyLewak]

@zajety_login dziękuje za tak wyczerpującą odpowiedź! Trochę się obawiam, że będę musiał nauczyć się nowego języka ale twoja wypowiedź jakoś zachęciła mnie do spróbowania swoich sił ;) Zawsze to dodatkowe doświadczenie i wiedza :P