[p.....k]

Data Streaming.
Kiedy połączenie streamowania Kafką i streamowania Sparkiem może mieć sens?
Wiem jakie są główne różnice między tymi technologiami, ale na necie znajduję tylko poradniki jak użyć jedno z drugim, a nie mogę znaleźć wytłumaczenia w jakich przypadkach użycie ich obu ma sens i za co kto miałby odpowiadac.
#programowanie

[Saly]

@programista4k: jak używasz sparka. Spark nie był projektowany do obsługi streamowania. Wygodniejszy jest np. flink

[p.....k]

@Saly: kiedy używać flinka a kiedy kafki czy tam storma? W jakich przypadkach 1 bedzie lepszy od 2?

[p.....k]

@Saly: mamy zajęcia ze sparka na studiach, więc ciałem używać sparka do pracy dyplomowej o streamowaniu. Zrobiłbym jakiś system do streamowania wykresów aktywności użytkowników forum i ciałem w nim użyć i kafki i sparka. A jak bez sensu to zrobię 2 systemy: 1 kafką, a 2 sparkiem i porównam.

Ale jak spark do dupy w streamowaniu to mogę też flinkiem czy stormem

[arctickey]

@programista4k możesz kafka przekierować dane do spark streaming i w sparku je jakoś sobie obrobic

[p.....k]

@arctickey: tylko w czym to jest lepsze od przekeriwania danych sparkiem do sparka

[Saly]

@programista4k: kafki używasz jako źródło danych. Np jakieś serwisy pchają jakieś eventy do kafki a potem to idzie do Sparka. Jak nie masz dużej skali to nie warto, więc zaklepane takiego systemu do pracy dyplomowej to sztuka dla sztuki. Z twojej perspektywy to faktycznie nie ma sensu, ale w normalnych przypadku masz problem z ilością danych i te narzędzia pozwalają jakoś ogarnąć się w sytuacji