Mam kalster Kafek Kraft, czyli bez zookepera. Musze go atakować locust i "wyrównać" duże obciążenie dysku, żeby pingi były niskie. Udało mi się pozbyć wielu artefaktów (duże pingi i duże obciążenie io serwera) już nie ma regularnego ksztuszenia ani wysokich pingów co kilka minut. Teraz już działa to "płynnie". Jak dla mnie ujdzie.
Pytanie, czy ktoś z was by to jeszcze poprawiał? Jeśli tak to jak? Poniżej parametry,z którymi eksperymentuje. //STANDARDOWE offsets.topic.replication.factor=3 num.network.threads=3 num.io.threads=8
//MOJE message.max.bytes=104857600 replica.fetch.max.bytes=134217728 transaction.max.timeout.ms=7200000 offsets.retention.minutes=4321 log.retention.hours=72 log.roll.hours=72 batch.size=65535 linger.ms=90 //z 50 na 90 rozproszyła "piki", jest ich mniej ale są wyższe max.request.size=134217728 max.message.bytes=134217728 num.partitions=1 default.replication.factor=2 broker.rack=1 acks=1 // zmiana z all na 1 bardzo pomogła w wygładzeniu "pików"
@pyroxar: tak to wygląda na netdata po 1,5 godziny. Z tego co zaczynałem, teraz mogę powiedzieć, ze wygląda to dobrze. A jednak występuję duże obciążenie IO, to różowe, czasem :(
Pytanie, czy ktoś z was by to jeszcze poprawiał? Jeśli tak to jak? Poniżej parametry,z którymi eksperymentuje.
//STANDARDOWE
offsets.topic.replication.factor=3
num.network.threads=3
num.io.threads=8
//MOJE
message.max.bytes=104857600
replica.fetch.max.bytes=134217728
transaction.max.timeout.ms=7200000
offsets.retention.minutes=4321
log.retention.hours=72
log.roll.hours=72
batch.size=65535
linger.ms=90 //z 50 na 90 rozproszyła "piki", jest ich mniej ale są wyższe
max.request.size=134217728
max.message.bytes=134217728
num.partitions=1
default.replication.factor=2
broker.rack=1
acks=1 // zmiana z all na 1 bardzo pomogła w wygładzeniu "pików"
#linux #devops #apache #python #restapi #hacking
źródło: comment_1667314342rp8FqXLKUzsTIQQtesycA3.jpg
Pobierzźródło: comment_1667314439TWKlqe6Hm7jzfwzWTwxCEx.jpg
Pobierz