[o.....a]

#linux #sysadmin #splunk
Spotkaliscie sie moze z przypadkami ze np splunkowe logi /var/log/splunk/soc/local.log nie rotuja prawidlowo i rosna bydlaki bardzo szybko i zapelniaja /var ze potem na server nie mozna wbic na roota / ani wykonac sudo(bo nie moze zrobic wpisu w messages/secure)?

Czesto takze jak daje:
lsof /var | grep deleted to widac ze rsyslogd albo splunk-soc trzyma nie usuniety plik nawet 10GB, ukryty bo go ani nie widac w /var/log/splunk/soc/ a miejsce zajete w df -hP /var

Mozna restartowac splunk-soc albo robic strzala -9 na ten proces co trzyma no ale pare razy w miesiacu sytuacja sie powtarza na niektorych serverach mial ktos moze z czyms podobna przygode nie koniecznie z splunkiem?
Moze jakis wpis w syslog.d jest takie cos czesto generuje ale w widzialem ze wiekszosc ma takie same albo bardzo podobne konfiguracje i nie ma problemu z innymi uslugami

system: RHEL 6 i 7

[mmichal]

@open-alpha: nie musisz robić restartu lub ubijać proces, często demony moją reload który zwalnia wszystkie deskryptory.

Poza tym jak już znajdziesz plik skasowany który jest trzymany przez proces to możesz wyzerować deskryptor i miejsce wróci do systemu. Deskryptor jest w /proc//fd/ wystarzczy zrobić "> /proc//fd/" i miejsce wraca, jednak zacznij od sprawdzenia czy w logrotate nie wystarczy dać reload.

[o.....a]

@mmichal: o nie wiedzialem ze takie cos mozna zrobic, ciekawe!