[Trele_Duperele]

#azure #pyspark #scala #dataengineering #programowanie

Czy ktos mi podpowie czemu scala zostala zepchnieta (przynajmniej z tego co czytam i widze w necie) na drugi plan jako jezyk sparka? Przeciez to jego natywny jezyk?

Tu pytanie do osob siedzacych w Azure i robiacych na nim DE:
Czego sie teraz najwiecej uzywa? PySparka? SparkSQL? Jesli tak to dlaczego? W czym piszecie notebooki?

[vorio]

@Trele_Duperele: Co masz na myśli pisząc że została 'zepchnięta' ? Bo chyba nie kolejność na dropdownie?

[Trele_Duperele]

@vorio: Spotykam duzo komentarzy ze Scala w DE jest martwa i kazdy przechodzi na pythona. Ze nie warto jej sie uczyc.

[geringxes]

Wygląda na kolejność alfabetyczną ( ͡° ͜ʖ ͡°)

[Ksiega_dusz]

@geringxes @vorio @Trele_Duperele: Scala jest przekombinowana a żyjemy w szybkich czasach że trzeba mieć wszystko na już. Druga sprawa że w uj ludzi zna Pythona a Scalę nie i przez to projekty w Pythonie łatwiej utrzymać.

[przecietnyczlowiek]

@Trele_Duperele: scala umiera śmiercią naturalną
-python jest bardziej przyjaznym i uniwersalnym językiem od scali, dominującym w ekosystemie AI i data. Ogromna liczba bibliotek pod każdy typowy problem w DE i data analytics sprawia, że deweloperzy wolą pracować z pythonem.
-dla większości zastosowań w data engineeringu i analityce używanie scali nie ma żadnej wartości dodanej albo ma minimalną
-dużo łatwiej wdrożyć kogoś do pysparka. Absolwenci kierunków IT mają np podstawy pythona i pandas

[Trele_Duperele]

@przecietnyczlowiek: dzieki wielkie za konkretna odpowiedz :)