[Crisu]

Janusz elastica here ( ͡° ͜ʖ ͡°)

Mirki jak ładujecie dane do elastica.
Mam bazę na sql serverze z logami (~15 mln) i chciałbym załadować logi przynajmniej za ostatni miesiąc a następnie ładować je non stop i najlepiej procesem ciągłym (tak aby mi się ładnie cyferki w kibanie zmieniały)

Jak to najlepiej zrobić?. Widzę, że w logstash można podać sql statement ale te logi będą przyrostowe więc gdzie trzymać deltę (np ostatni id)
Czy napisać osobny skrypt który będzie mi te logi przerzucać za pomoc api elastica ? (trochę bezsensowne moim zdaniem)
#sqlserver #elasticsearch #programowanie #devops

[filip_k]

@Crisu: Ja pchałem wszsytko logstashem, czy tam filebeat.
Na 100% jest coś do mysql, ale pewnie filebeat wystarczy. Wskazujesz tylko plik i leci samo po zmianach.

[Crisu]

@filip_k: git ale weźmy taki scenariusz. Logi się ładnie integrują tym logstashem i nagle jeb. Maszyna z elastic pada a logi nadal napływają. Jak po odpaleniu ponownie logstasha/filebeata załadować dane od punktu w którym skończył ładować ?

[filip_k]

@Crisu: Tak.
Bo to filebeat nie dostał info, że log jest odebrany.

[filip_k]

@Crisu: Bardzo dobrze działało to z S3, jak wiele logów do S3 pchaliśmy, a logstash sobie z S3 brał wedle potrzeb.

[Crisu]

@filip_k: thx poczytam

[Cloudziu]

Widzę że kolega wytłumaczył, dorzucę tylko to: https://www.elastic.co/guide/en/beats/filebeat/master/filebeat-module-mssql.html
Moduł exportu z SQL Servera przez Filebeata.