[s.....u]

Mam serwisy, każdy z nich odbiera coś z serwisu poprzedniego i wrzuca na Kafkę dla serwisu kolejnego.
serwis1 -> kafka -> serwis2 -> kafka -> serwis...N -> kafka

Chcę monitorować jak szybko każdy serwis wrzuca te wiadomości.

Lepiej dodać monitoring grafany w kazdym z serwisów, np. po wysylce do Kafki wrzuca do grafany timestamp czy lepiej zrobić osobny serwis, ktory będzie streamował te wiadomości z kafki i wrzucał do grafany ich timestampy?
Krótka piłka.
#programowanie

[s.....u]

@whoru: monitoring obciąża, będziesz miał mniejszy througput w serwisach, a jak zrobis w osobnym to nie obciaza to tamtych serwisów.
z drugiej strony #!$%@? tego do osobnego robi #!$%@? w kodzie jak np. będziesz chciał sobie podmienić timestampy w headerach kafki na event time to bedziesz musial dodac w headerach timestampy processing time i wyjdzie na to samo, a wiecej #!$%@? z tym

[s.....u]

@whoru: btw. nie wiem jak dziala grafana, co z synchronizacja clocków? Jak z 2 serwisów wrzucę coś do grafany to ona timestamp grafanowy bierze czy z tego serwisu?

[archvile]

@straznik-tagu: append jest tani (jakbyś gdzieś odkładał eventy), poza tym nie musisz wszystkiego logować tylko agregować eventy jakąś funkcją (np. avg) i wysyłać raz na minutę a tak to trzymasz wszystko in memory.

Problem z serwisem agregującym wg mnie jest taki, że dokładasz sobie dodatkową zależność. Tj. każdy update w infrze to musisz pamiętać żeby zbierać dodatkowo z jakiegoś miejsca metryki. A tak to niech każdy serwis martwi się sam za