@Suchar_Strasburgera:

Java i SQL to raczej nie narzędzia big data

Dementuję ( ͡° ͜ʖ ͡°)
W Javie piszesz swoje klaski do dużej ilości narzędzi. Co do SQLa to przecież używasz go tyrając Hive czy chociażby Sparka (tak, wiem Scala).

@ronin88666: Na chwilę obecną pojawiają się już stanowiska takie jak Big Data Developer/Hadoop Developer Zwykle wymagane na nie jest Java, Scala lub i Python. W praktyce często
Dlatego bigdata to mit, nazywanie tego co już było inaczej, te same metody tylko na wiele komputerów - skorzystają z tego tylko najwięksi.
Masz zwykłe wczytywanie pliku, a nie bigdata. Czekają cie standardowe problemy jak z plikami csv: kodowanie, braki kolumn, separator występujący w tekście.
Mirki, przede mną trudne zadanie. Może po prostu czasochłonne?

Z racji mojej obecnej pracy powinienem liznąć przynajmniej podstaw #vba, #cpp , #C, i może #pascal.
Jednak zaczęły mnie ostatnio jarać strasznie #siecineuronowe, #machinelearning, i wszystko co związane z #datascience i #bigdata, w związku z tym pewnie powinienem ruszyć również coś w stronę #python.
Podejrzewam, że przede mną ogrom pracy który muszę włożyć w to wszystko, żeby
Powiedzcie mi kochani jak wygląda to całe #bigdata ? Ile w tym jest programowania ( #java ), ile konfiguracji (hadoopy, #spark, kafki) a ile analizy? Myślałem nad szukaniem pracy w tym kierunku ale boje się, że większość czasu będę konfigurować jakieś klastry zamiast programować. Czy ktoś mógłby opisać jak wyglądają projekty? co trzeba implementować? opisać czym taki programista bigdaty się zajmuję?

Wołam jeszcze #programowanie #naukaprogramowania
@rozwscieczonyLewak: Ja pracuje w firmie, która robi komercyjne rozwiązania w sparku. Przede wszystkim nie słyszałem, żeby ktoś programował w javie, głównie robi się w scali.

Polega to na tym, że masz do rozwiązania problem, np. musisz analizować jakieś dane. Najpierw myślisz jak to zrobić na sucho, potem piszesz, potem naprawiasz, żeby było szybko. :) Klastra raczej nie dotykasz, w dobrych firmach masz devopsów, którzy dostarczają wszystko, piszesz apkę, testy i jak
@rozwscieczonyLewak: Jeżeli chodzi o samego Sparka, to głównie pisze się pod niego w Scali i Pythonie. Java też się zdarza, ale dużo rzadziej. Poza tym jak już posmakujesz API Scalowego, to z niechęcią będziesz patrzył na API Javowe ;) Co do tego ile jest programowania/konfigurowania/tweakowania, to wszystko zależy od firmy i od projektu w jakim jesteś:
a) konfiguracja: happy path to sytuacja w której w firmie jest DevOps - wtedy to
Mireczki i Mirkówny. Potrzebny mi ktoś znający się na Big Data, a dokładniej na regresji (grzebietowa, lasso, elastic net). Mam do przeanalizowania stworzony model do pracy magisterskiej i chciałbym, żeby ktoś na to rzucił okiem i powiedział czy jest w porządku i jakie ewentualnie nanieść poprawki. Dla takiej osoby stawiam flaszeczkę (lub jakiś ekwiwalent ( ͡° ͜ʖ ͡°)) oczywiście! Pomożecie?

#bigdata #analizadanych #studbaza #pracamagisterska
Heja.
Robie sobie projekt zwiazany z bigdata, mianowicie chce napisac system, ktory na podstawie komentarzy bedzie sprawdzal czy ktos jest lewakiem czy prawakiem.

Do pelni szczescia potrzebne mi sa dane wejsciowe na podstawie ktorych bede dzielil konta na lewakow i prawakow. Potrzebuje 6 kont, 3 wzorcowych przedstawicieli #neuropa oraz 3 wzorcowych przedstawicieli #4konserwy.
Jak bede mial komentarze napisane przez osoby o pogladach lewicowych i prawicowych to bede mogl przepuscic przez to
Chiny: System oceny „wiarygodności” obywateli ma ruszyć od 2020 roku
Budzący spore kontrowersje Social Credit System (SCS) za pomocą specjalnego algorytmu, przy wykorzystaniu danych z wielkich agregatorów opinii oraz portali społecznościowych, będzie dokonywał oceny obywateli Chin, a towarzyszyć temu będzie system kar i nagród.

https://www.wykop.pl/link/3989207/chiny-system-oceny-wiarygodnosci-obywateli-ma-ruszyc-od-2020-roku/
Czyli wizja Orwella przeradza się w rzeczywistość...
#chiny #bigdata #technologia #propaganda #neuropa #neuropainformuje #4konserwy #swiat
@arct2: ja już się nie zadaję z nikim poniżej 750pkt - bo mi zaniżą! xD

A tak serio, w materiale źródłowym też brak odniesień, poza tym jest niejasność dotycząca SCS a Sesame Credit. To co w końcu ma być wprowadzone? Bo Sesame jest tworem Alibaby, a nie rządowym. Poza tym z tego co widzę, jest jeszcze konkurencja od Tencent. To będą rywalizować czy jak? Artykuł źródłowy wygląda mi na nieco naciągany
Zapraszamy do przeglądu kolejnych nowości z No Fluff Jobs - tym razem z kategorii Business Intelligence, Business Analyst, Support oraz Project Manager.
Znajdziecie tu oferty nie tylko dla #programista15k, ale nawet dla #programista30k ( ͡° ͜ʖ ͡°)

BUSINESS INTELLIGENCE JOBS

- [WAW] SQL Developer @ hrk.pl 10.0k-15.0k
- [WAW] Junior Data Science Engineer @ iiit.pl 5.0k-7.0k
- [WAW] ETL Developer Developer @ infinitedata.com 9.0k-14.0k
- [KRK] Big
Zapraszamy do sprawdzenia najnowszych ofert Mobile/Embedded, Testing i DevOps. Zainteresowani Big Data oraz bazami danych również dzisiaj znajdą coś dla siebie

MOBILE JOBS

- [WAW] iOS Developer @ yougov.com 9.0k-15.0k
- [WAW] Android Developer @ loterity.com 8.0k-13.0k
- [WAW] React Native Developer @ acaisoft.com 8.0k-12.0k
- [WRO] Embedded C Developer @ itkontrakt.pl 14.0k-18.0k
- [WRO] C++ Developer @ sigma.se 8.0k-14.0k
- [WRO] Android/Java Developer @ sigma.se 8.0k-14.0k
- [ŚLĄ] Mid/Senior C/C++ Developer
Uwaga analitycy! Sprawdźcie, jakie ostatnio oferty pojawiły się dla Was na www.nofluffjobs.com :)

BUSINESS ANALYST JOBS

- [WAW] Junior System Analyst @ netia.pl 5.0k-8.0k
- [WAW] Business Analyst @ tuatara.pl 10.0k-15.0k
- [WAW] Senior QA Business Analyst @ xsolve.pl 7.5k-11.0k
- [WRO] Junior System Analyst @ netia.pl 5.0k-8.0k
- [TRÓ] Junior System Analyst @ netia.pl 5.0k-8.0k
- [ŚLĄ] Senior QA Business Analyst @ xsolve.pl 7.5k-11.0k

PROJECT MANAGER JOBS

- [WAW] Scrum Master
Elo mirki i mirabelki, szukam pomocy, dość specyficznej, może ktoś mi coś podpowie albo wskaże drogę.
Chciałbym się trochę rozwinąć w tematach takich jak analiza danych, ale pod kątem różnych analiz geograficznych, przestrzennych itp. Nie wiem w ogóle od czego zacząć, ani nawet jak dobrze to opisać.
Zawsze interesowałem się geografią, urbanistyką, architekturą, miastami, ich rozwojem, przestrzenią miejską itp. Wiem, że są ogromne zbiory danych dostępne publicznie, z których można robić i
@Piotrek00 Tak jak napisał poprzednik R i Python będą najlepsze. To co robi Prokulski (link Przejazdy Veturilo który podałeś) jest zawsze robione w R i myślę że to dość dobry język żeby tworzyć jakieś bardziej zaawansowane analizy przestrzenne. Obiektywny jednak nie jestem bo to w sumie jedyny język programowania który znam dość dobrze :P W każdym razie dość szybko można się go nauczyć i wpółpracuje z programami GIS. Rozwijana jest współpraca z