netio 0 byte Tx + Rx

kira12

Well-Known Member
Hallo Leute,

ich habe heute mal mit netio gespielt. Beides sind intel CPU ab 8 Kernen mit intel 10Gb Nix (ix-Treiber) und mehr als 64Gb RAM, aktuell sind beide mit Freebsd12-p8 installiert. Ich habe alle Einstellungen auf Standart gelassen und ab 32k Paket kommt nix mehr an. Wenn ich anders herum teste kommt: No buffer Space available.
Code:
ifconfig ix0: 
ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=e53fbb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,WOL_UCAST,WOL_MCAST,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
    ether 00:1b:21:xx:yy:zz
    inet 192.168.1.x netmask 0xffffff00 broadcast 192.168.1.255 
    media: Ethernet autoselect (10Gbase-SR <full-duplex,rxpause,txpause>)
    status: active
    nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
 
Der gute ix Treiber... :) Probiere mal dem Kernel deutlich größere Buffer zum Zwischenspeichern der Pakete zu geben. Die Standardwerte waren für ic schon immer etwas niedrig, was solche Effekte nach sich ziehen kann: kern.ipc.nmbclusters="131068" Ich glaube, es muss durch die /boot/loader.conf gesetzt werden.
 
Okay, dann hat ein kluger Kopf die Defaults mal hochgedreht. Ignoriert mich. :)
 
Hallo Leute,

danke für eure Hilfe, nmbclusters ist bei den Servern 4083374 und 6130754. logfiles sagen nix, netstat -m sagt:
Code:
21610/110075/131685 mbufs in use (current/cache/total)
21430/24204/45634/6130754 mbuf clusters in use (current/cache/total/max)
1/4806 mbuf+clusters out of packet secondary zone in use (current/cache)
27/1192/1219/3065377 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/908259 9k jumbo clusters in use (current/cache/total/max)
0/0/0/510896 16k jumbo clusters in use (current/cache/total/max)
48370K/80694K/129065K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 sendfile syscalls
0 sendfile syscalls completed without I/O request
0 requests for I/O initiated by sendfile
0 pages read by sendfile as part of a request
0 pages were valid at time of a sendfile request
0 pages were valid and substituted to bogus page
0 pages were requested for read ahead by applications
0 pages were read ahead by sendfile
0 times sendfile encountered an already busy page
0 requests for sfbufs denied
0 requests for sfbufs delayed
und
Code:
2067/150243/152310 mbufs in use (current/cache/total)
2048/136046/138094/4083374 mbuf clusters in use (current/cache/total/max)
0/7337 mbuf+clusters out of packet secondary zone in use (current/cache)
0/7424/7424/2041687 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/604944 9k jumbo clusters in use (current/cache/total/max)
0/0/0/340281 16k jumbo clusters in use (current/cache/total/max)
4612K/339348K/343961K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 sendfile syscalls
0 sendfile syscalls completed without I/O request
0 requests for I/O initiated by sendfile
0 pages read by sendfile as part of a request
0 pages were valid at time of a sendfile request
0 pages were valid and substituted to bogus page
0 pages were requested for read ahead by applications
0 pages were read ahead by sendfile
0 times sendfile encountered an already busy page
0 requests for sfbufs denied
0 requests for sfbufs delayed

jeweils im Ruhezustand.

Gruß ré
 
Hallo,

das ist die ausgabe von vmstat wärend iperf3 läuft:

Code:
procs  memory       page                    disks     faults         cpu
r b w  avm   fre   flt  re  pi  po    fr   sr da0 cd0   in    sy    cs us sy id
0 0 0 348M   54G     8   0   0   0    11    2   0   0    9   267   216  0  0 100
0 0 0 348M   54G     1   0   0   0     0    2   0   0    5   134   164  0  0 100
0 0 0 369M   54G   250   0   0   0   298    2   0   0    5   306   170  0  0 100
1 0 0 380M   54G   333   0   3   0    68    3   7   0   50 268803   413  0  1 99
1 0 0 380M   54G     0   0   0   0     8    2   1   0  834 365144  3432  0  3 97
1 0 0 380M   54G     0   0   0   0     0    3   0   0  876 11439  2623  0  6 94
1 0 0 380M   54G     0   0   0   0     0    3   0   0  733 11707  2241  0  7 93
1 0 0 380M   54G     0   0   0   0     0    3   0   0  638 11201  1740  0  7 93
1 0 0 380M   54G     0   0   0   0     0    2   0   0  703 14708  2688  0  7 93
1 0 0 380M   54G     0   0   0   0     0    2   0   0  514 21486  3781  0  7 93
1 0 0 380M   54G     0   0   0   0     0    3   0   0  525 22811  4112  0  6 94
1 0 0 380M   54G     0   0   0   0     0    3   0   0  502 21826  3797  0  7 93
1 0 0 380M   54G     0   0   0   0     0    3   0   0  501 21294  3717  0  7 93
0 0 0 369M   54G    99   0   0   0   335    2   0   0  257 103254  2119  0  4 96
0 0 0 369M   54G     0   0   0   0     0    3   0   0   20   112   292  0  0 100
0 0 0 369M   54G     0   0   0   0     0    1   0   0    3   112   140  0  0 100

und netstat -m

Code:
2132/150178/152310 mbufs in use (current/cache/total)
2048/136046/138094/4083374 mbuf clusters in use (current/cache/total/max)
0/7337 mbuf+clusters out of packet secondary zone in use (current/cache)
206/7218/7424/2041687 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/604944 9k jumbo clusters in use (current/cache/total/max)
0/0/0/340281 16k jumbo clusters in use (current/cache/total/max)
5453K/338508K/343961K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 sendfile syscalls
0 sendfile syscalls completed without I/O request
0 requests for I/O initiated by sendfile
0 pages read by sendfile as part of a request
0 pages were valid at time of a sendfile request
0 pages were valid and substituted to bogus page
0 pages were requested for read ahead by applications
0 pages were read ahead by sendfile
0 times sendfile encountered an already busy page
0 requests for sfbufs denied
0 requests for sfbufs delayed

Gruß ré
 
Hallo,

komisch, iperf3 von und zu einem Linux Rechner bringt saubere 9.35 Gbits/sec, allerdings ist da eine emulex drin. Aber Freebsd untereinander schlecht und UDP eine Katastrophe...

Gruß ré
 
Das muss nicht zwingend mit dem ix zusammen hängen, in den englischen FreeBSD Foren gibt es zahlreiche Threads darüber, dass der FreeBSD durchsatz bei 10GB NICs deutlicher hinter Linux zurück liegt.
Leider hört man das dort nicht gerne und es wird abgetan..
 
Spiel mal mit MTU auf 9000 rum. Hab das gestern aufgeschnappt, weil ich nach NICs stöberte und einige BSD-Threads überflog, die das Thema 10GBe+BSD hatten.
Chelsios mögen sogar 9600.

Bisher mit 10GBit noch nicht viel gemacht, aber mit meinen Mellanox ists ebenfalls mau gewesen 2,5GBit ~ 3GBit, aber noch nichts weiter versucht.
 
Ich würde mal probieren einen aktuellen 12-STABLE Kernel zu booten und zu schauen, ob es dort besser ist. Denn es gab seit 12.0 letzten Herbst jede Menge Fixes an den Netzwerktreibern. Ein Kernel sollte auch reichen, die Welt ist für einen Test wohl ausreichend kompatibel.
 
Hallo Yamagi,

mit 12 stable klappts deutlich besser. Wie lange dauert es bis die Änderungen in 12-RELEASE übergehen oder gibt eine Möglichkeit die Änderungen in RELEASE einzufügen?

Gruß ré
 
Das kommt am Ende alles in FreeBSD 12.1, derzeit für November geplant: https://www.freebsd.org/releases/12.1R/schedule.html

Je nach Einsatzzweck kann man aber auch guten Gewissens 12-STABLE fahren. Meiner jahrelangen Erfahrung nach sind -STABLE so gut wie niemals nenneswerter instabiler oder verbuggert als ein Release. Der einzige wirkliche Unterschied zum Release ist, dass ein Release Security Updates ohne Systemupgrade erlaubt. -STABLE tut das nicht.
 
Hallo Yamagi,

danke für die Info, aktuell läuft das RELEASE seit Tagen problemlos durch ;-) November ist ja auch nicht mehr so lange hin....

Gruß ré
 
Zurück
Oben