[Hauleth]

fluentd vs Logstash vs Heka

Ktoś ma jakieś porównanie/odczucia? Planuję użyć stacku E*K, ale jestem mimo wszystko otwarty na propozycje.

#devops #programowanie #webdev

[pilkarskiefakty_com]

@Hauleth: Nie mam doświadczenia w tym temacie, ale bardzo chętnie się dowiem w jakim celu się stosuje takie rozwiązania.

[Hauleth]

@pilkarskiefakty_com: agregacja logów

[f.....d]

@Hauleth: polecam Kibana + Logstash. U nas opędza kilkaset Gb logów dziennie (ʘ‿ʘ)

[f.....d]

@Hauleth: z NXlogiem (jako sink i forwarder) i asynchronicznymi appenderami po stronie aplikacji które coś logują ofcouz :)

[Hauleth]

@fmfd: Tylko Logstash dla mnie ma zasadniczą wadę: JVM. Jak chcę to odpalić w kontenerach Dockera to słabo. Myślałem nad

logstash-forwarder

, ale nie jestem pewien czy nie lepiej od początku używać Heka.

[f.....d]

@Hauleth: a JVM to się w dockerze nie odpala? Od kiedy :P

[Hauleth]

@fmfd: odpala się, ale chodzi by nie walić całego JVMa do kontenera jeśli nie jest potrzebny.

[f.....d]

@Hauleth: Trochę nie rozumiem ale ok :P

[Hauleth]

@fmfd: Nie chcę by powstał mi god-obiekt jakim by był kontener z Logstashem i do którego musiały by się podłączać wszystkie inne, a z drugiej strony nie chcę ładować całego Logstasha do każdego z kontenerów.

[a.....r]

@fmfd: Da się to jakoś pożenić z aws-em? Na przykład trzymanie logów na s3?

[f.....d]

@archlinuxuser: da sie chociaz s3 bedzie nieoptymalne kosztowo

[a.....r]

@fmfd: A jak lepiej - własny vps albo dedykowany sprzęt?

Bo nasze rozwiązania działają głównie na aws-ie.

(Alternatywą są hostowane rozwiązania typu loggly, logentries, itd. ale one są dopiero drogie).

[f.....d]

@archlinuxuser: jak aws to logstash na ebsie. Centralny system do ktorego lokalne nxlogi forwarduja logi z aplikacji. Backup (o ile potrzebny) na s3/glacier

[a.....r]

@fmfd: Będę musiał poczytać, czy da się tego nxloga użyć z aplikacji na heroku. Ale dzięki :)

[f.....d]

@archlinuxuser: da sie. wszystko sie da :P