z mojego doświadczenia wynika, że osoby zajmujące się data science, nie są tak dobrze zaznajomione z (Py)Spark, jak z Pandas. W obu przypadkach wykorzystywana jest koncepcja ramek danych, ale API do manipulowania danymi w ramce jest zupełnie inny.
@Bulldogjob: ehhh, dałem się złapać na clickbajtowy tytuł. Argumenty przeciw sparkowi są prawdziwe ale w praktyce należy je pominąć z rozważań. Zwłaszcza argument o syntax pysparka vs pandasa
https://bulldogjob.pl/readme/nie-uzywaj-sparka-do-uczenia-maszynowego
#machinelearning #programowanie #naukaprogramowania #spark
Był Koalas, a teraz już nawet nie trzeba:
https://databricks.com/blog/2021/10/04/pandas-api-on-upcoming-apache-spark-3-2.html#:~:text=We're%20thrilled%20to%20announce,on%20their%20existing%20Spark%20clusters.