[printHelloWorld]

Cześć,

Czy ktoś z was miał okazję pracować z technologią hadoop w kontekście zadań związanych z tematyką Machine Learning ? jeśli tak to jak wyglądał proces tworzenia modeli, obróbki danych od początku rozpoczęcia ciągu technicznego ?

Jak rozumiem Hadoop to jest jakby to powiedzieć ogromny magazyn na przechowywanie dosłownie różnych danych z różnych systemów dane te mogą być ustrukturyzowane, nieustrukturyzowane itp. wchodzą oni to jak dobrze rozumiem przestrzeni HDFS na surowo, i jak wiemy w normalnym cyklu ML te surowe dane są jeszcze obrabiane, jak to wygląda w hadoop ?

Czy używając Hadoop używaliście jednocześnie języka wspomagającego analizowane zbiory danych tj. Python, R ? Ja osobiście z Hadoop miałem bardzo mało wspólnego a tak dla samego siebie chciałbym się zagłębić w ten temat.

Z góry dziękuje za odpowiedzi.

#hadoop #analizadanych #bazydanych #pytaniedoeksperta #sql #programowanie #etl #machinelearning #python #jezykr #oracle #pyspark

[WpisujcieMiasta]

@printHelloWorld: masz nakładki na hadoopa i niewiele to się różni od korzystania w źródle z csv albo z bazy Oracle. My korzystamy z impali kudu sparka. A ludzie co robią jakieś cuda na kiju z pythona albo R

[printHelloWorld]

@WpisujcieMiasta: Rozumiem że mówiąć 'nakładki' masz na myśli np.: HDFS, MapReduce, YARN, Spark,Pig, Search itp ?

[Hadzik]

@printHelloWorld: zależy jaki ML, do niektórych klasycznych modeli Spark + Spark MLlib jest wystarczający

[printHelloWorld]

@Hadzik: Cześć, sorki za odpisanie dopiero teraz, zależy na tworzeniu modelu prognozujących pewne sytuację. Czy masz może jakiś fajny diagram opisujący ML w kontekście Hadoop ?