[decentralizacja]

#networking #sysadmin #linux

jest tu jakiś fachowiec od sprzętu sieciowego pod linux?

Jak ktoś powie sposób który zadziała na Linux/Debian (bez wymiany sprzętu) to na p--o 100 zł jako #bitcoin.

Karta sieciowa ma 2 wkładki SPF, system widzi ją jako 2 karty (i lspci pokazuje też jako dwa urządzenia), producent pisze wyraźnie iż karta wspiera 20 Gbps jako full duplex. Wkładki są 10 Gbps.

Posyłanie przez wkładkę 1 (np TCP, UDP, cokolwiek) daje około 10 Gbps. Przez wkładkę nr 2 - tak samo.

Problem: ale jak się posyła naraz przez obie to nie jest 10+10, lecz około 6+6 Gbps.

Co NIE pomogło:

mtu na 9000 oczywiście jest ustawione
firmware zamknięty jest wgrany i system go ładuje na starcie
ethtool -g ustawienie tx ring (i tak był maksymalny)
ethtool -K różne opcje łączenia przerwań - nie pomagają ani mniejsze ani większe -frames ani -usecs
lspci mówi iż stan połączenia to 5 Giga transakcje na sec i szyna to x8 więc powinno być chyba dobrze

przy okazji, karta jest w stanie równocześnie odbierać 6+6 tak samo jak wysyła 6+6 więc to nie jest np za słabe CPU albo zapchanie szyny PCIe (chyba że PCIe ma osobny ruch w obie strony, to może ruch w górę jest zapchany?).

[b.....s]

@decentralizacja: jeszcze jedno pytanie: robiłeś jakiś tuning sysctlek, czy masz jakieś wartości domyślne tam?
Pogooglaj, czy dla Twojego modelu producent nie zaleca jakiejś innej konfiguracji?
Dla przykładu - Mellanox ma swoje narzędzia, które zmieniają sporo.

[houk]

@decentralizacja: Może problem szyny jakiś. PCIe nie zapchane czymś innym? Za czasów zwykłego PCI wyłożyłem się kiedyś na zapchaniu szyny między mostkiem północnym, a południowym i to ograniczało transfer. Ale to była jakaś szrotowa płyta z zwykłego pcta, a nie serwerowa.

[ManamanaTuriruriru]

@decentralizacja ehhhh. Zrób bonda, load ballancer round robin i będziesz miał co chcesz. Chodzi o kolejność wysyłania pakietów, rr olewa to i wali na wszystkie karty. Jeśli jest bez switch to rr z drugiej strony sobie poradzi z poskładaniem pakietów. Przechodziłem przez to co ty jakoś 2 lata temu. Sama agregacja nic nie da, zwłaszcza z lacp.

[decentralizacja]

Może problem szyny jakiś. PCIe nie zapchane czymś innym?

@houk: nie sądzę, PCI 5 GT/s, x8

[decentralizacja]

robiłeś jakiś tuning sysctlek, czy masz jakieś wartości domyślne tam?

@blues: bawiłem się tymi wszystkimi opcjami z write/read memory max itd, nic

[r0k0]

@decentralizacja: a jak z IO na dysku?

[decentralizacja]

@maniac777: program jest ok, tak samo pokazuje iperf; po prostu otwiera socket i wali pakietami

[decentralizacja]

@decentralizacja: a jak z IO na dysku?

@r0k0: dysk tu nie jest używany, oraz ogólnie komputer nie używa dysku podczas testów (tzn ma wolne IO, wolne CPU, wolny RAM

[dexters84]

A czy przypadkiem to nie kolejna tania karta 10 Gbit z układem, którego wydajności kończy się właśnie w okolicy 12 Gbit?
Na pcb masz pewnie jakiegoś Marvella albo inny Broadcom, I może ten układ więcej nie obróci?

[decentralizacja]

@decentralizacja: https://www.andrisoft.com/support/portal/kb/article/os-level-optimisations tutaj masz mniej wiecej rozpisane jak to powinno wygladac. Masz 8 rdzeni i 8 irq, tylko odpowidnio sobie dobierz irq

Nizej masz tez sugestie co do zwiekszenia buforów systemowych - tez mozesz podzialac.

@koob:

ciekawe, ale

[decentralizacja]

@koob:

wie ktoś co to dokłądnie ten eth[1] eth[2] .. to są jakieś pod-kolejki w karcie? niektóre IRQ są na 0 łącznie na każdym rdzeniu, ciekawe co to.

Ta karta chyba nie jest wielo-kanałowa,

[decentralizacja]

printf "%s" 40 > /proc/irq/94/smpaffinity

printf "%s" 80 > /proc/irq/95/smpaffinity

@koob ej dobra zamieniłem to na 01 i 02 bo tam nie ma tylu rdzeni xdddd

Ale ciągle nic, żadnej poprawy.

[koob]

@decentralizacja: jaka tam dokladnie karta siedzi ?

[decentralizacja]

A czy przypadkiem to nie kolejna tania karta 10 Gbit z układem, którego wydajności kończy się właśnie w okolicy 12 Gbit?

@dexters84: niby HP i w karcie produktu mówią że ma być 2 (fullduplex) * 2 porty * 10 Gbit = 40 gbit

Tylko nie wiem w jakich warunkach.

Może założe RedHata Enterprise jak zalecają i zobaczę tam.. hmm

[dexters84]

@decentralizacja To że piszą że 2 x 10 Gbit oznacza, że masz 2 interfejsy na 10 Gbit a nie ze karta tyle wyciągnie w pełnym obciążeniu.
Zanim zaczniesz stawiać kolejne systemy to obadaj datasheet

[m.....n]

@ManamanaTuriruriru: IMO jeśli karta nie radzi sobie z natywnym ruchem L2 per interfejs to sama agregacja tu nie pomoże ale spróbować warto.
@dexters84: W datasheecie podana jest wartość 40 gbit/s więc teoretycznie powinna tyle wyciągnąć. Czyli 10 gbit w dwie strony na jednym i drugim interfejsie.

Według mnie karta jest floodowana za bardzo małymi datagramami UDP, i jakiś bufor nie wyrabia. Nie jestem za bardzo w temacie samego działania hardware-u kart sieciowych ale według mnie porządna karta powinna przy obciążeniu wirespeed nie obciążać za bardzo CPU tylko obrabiać ruch w swoim układzie ASIC.

Ja