pfSense optimisation - perte débit suite au remplacement de la livebox

[kalistyan]

J'ai remarqué une perte de débit, depuis le remplacement de la livebox, par un routeur pfSense.

Débit livebox :



Débit pfSense :



Version

2.3.2-RELEASE (amd64)
built on Tue Jul 19 12:44:43 CDT 2016
FreeBSD 10.3-RELEASE-p5

CPU Type

Intel(R) Atom(TM) CPU 330 @ 1.60GHz
4 CPUs: 1 package(s) x 2 core(s) x 2 HTT threads

[2.3.2-RELEASE][root@pfsense.unnati.lan]/root: grep -i cpu /var/run/dmesg.boot
CPU: Intel(R) Atom(TM) CPU 330 @ 1.60GHz (1600.01-MHz K8-class CPU)
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP/HT): APIC ID: 1
cpu2 (AP): APIC ID: 2
cpu3 (AP/HT): APIC ID: 3
cpu0: on acpi0
cpu1: on acpi0
cpu2: on acpi0
cpu3: on acpi0
SMP: AP CPU #3 Launched!
SMP: AP CPU #1 Launched!
SMP: AP CPU #2 Launched!

Désactivation de certaines options au niveau de la carte réseau.

Liens intéressants :

Tuning and Troubleshooting Network Cards
=> https://doc.pfsense.org/index.php/Tunin ... #TSO.2FLRO

High Load Troubleshooting
=> https://doc.pfsense.org/index.php/High_ ... leshooting

Advanced Setup
=> https://doc.pfsense.org/index.php/Advan ... min_Access

TCP offload engine - Segmentation et Checksum réalisée par la carte réseau pour décharger le CPU
=> https://lafibre.info/tutoriels-linux/tc ... ad-engine/

Interface réseau : em0 em1 em2

Code : Tout sélectionner

ifconfig emX -rxcsum -txcsum -tso -tso4 -lro

[2.3.2-RELEASE][root@pfsense.unnati.lan]/root: ifconfig em0
em0: flags=8843 metric 0 mtu 1500
options=2098
ether 00:30:18:aa:41:5d
inet6 fe80::230feaa:415d%em0 prefixlen 64 scopeid 0x2
nd6 options=21
media: Ethernet autoselect (1000baseT )
status: active
[2.3.2-RELEASE][root@pfsense.unnati.lan]/root: ifconfig em1
em1: flags=8a43 metric 0 mtu 1500
options=2098
ether 00:30:18:aa:41:5e
inet6 fe80::230feaa:415e%em1 prefixlen 64 scopeid 0x3
inet 192.168.38.254 netmask 0xffffff00 broadcast 192.168.38.255
nd6 options=21
media: Ethernet autoselect (1000baseT )
status: active
[2.3.2-RELEASE][root@pfsense.unnati.lan]/root: ifconfig em2
em2: flags=8a43 metric 0 mtu 1500
options=2098
ether 00:30:18:aa:41:5f
inet6 fe80::230feaa:415f%em2 prefixlen 64 scopeid 0x4
nd6 options=21
[#E2001C]media: Ethernet autoselect (1000baseT )[/#E2001C]
status: active
[2.3.2-RELEASE][root@pfsense.unnati.lan]/root:

A l'aide de la commande ci-dessous, je force en giga full-duplex

Code : Tout sélectionner

ifconfig em0 media 1000baseT mediaopt full-duplex

La commande est bien prise en compte, malheureusement cela ne tient pas au reboot, comme le prouve les infos ci-dessus.

[2.3.2-RELEASE][root@pfsense.unnati.lan]/root: ifconfig em0
em0: flags=8843 metric 0 mtu 1500
options=2098
ether 00:30:18:aa:41:5d
inet6 fe80::230feaa:415d%em0 prefixlen 64 scopeid 0x2
nd6 options=21
[#E2001C]media: Ethernet 1000baseT [/#E2001C]
status: active

Côté switch, c'est forcé en en giga full-duplex.

Réglage pfSense :



Pour le moment, cela n'a rien changé ! :/

D'autres pistes à explorer ?

[biour]

Ta charge CPU?

[kalistyan]

Moins de 70 %

[dsebire]

70% des 4 cores ou 70% d'un seul ?
t'as pt'etre un process qui sature un core et qui donc limite.

IOWAIT ?

[kalistyan]

Réponse en vidéo.

https://nextcloud.unnati.fr/index.php/s/vNeXk3omgRlAysz

[biour]

bha elle est ou la charge par core? la tu n'as que la charge generale.
sinon qui de la MTU?
et essaye testdebit.info (c'est pareil mais un poil plus pure pour la fibre)

[kalistyan]

Je n'ai rien trouvé pour la charge par core. :/

Via testdebit.info cela donne ceci :

[gizmo78]

en ssh tu peux faire un top? histoire de voir la répartition des ressources

[kalistyan]

Done !
https://nextcloud.unnati.fr/index.php/s/r202Bly7Ii8wPGc

[dsebire]

c'est le system (kernel) qui bouffe

tu as iostat et vmstat installé ?

si oui lance "vmstat 1" et "iostat -x 3"
et colle le resultat

essaie aussi "for x in `seq 1 1 1000`; do ps -eo state,pid,cmd | grep "^D"; sleep 0; done"
ça donnera les process en attente d'une interruption

et enfin
"for x in `seq 1 1 1000`; do ps -eo state,pid,cmd | grep "^R" | grep -v "ps"; sleep 1; done"
ça liste les process "Runnable" donc qui tournent réellement, donc consomment (aussi system)

[biour]

tu n'as pas htop d'installé? ou cela n'existe pas?

[gizmo78]

biour: htop est plus chiant à faire fonctionner sous freebsd faut un point de motnage particulier

[biour]

oki !
c'etait justement la deuxieme partie de ma question

[kalistyan]

Done !

https://nextcloud.unnati.fr/index.php/s/iwNSkrwz6aTonsH

Code : Tout sélectionner

iostat -x 3

L'option x ne fonctionne pas.

Edit : j'en ai profité pour optimiser le poids des vidéos. :d

[Zedoune]

y a systat qui est magique sous freebsd, ça fait tout

man systat pour toutes les infos (pour le iotop c'est pas aussi génial que la commande iotop mais bon)

[dsebire]

Edit : j'en ai profité pour optimiser le poids des vidéos. :d

tellement optimisé que du coup ça marche plus
(source non valide ils me disent mes PC/Smartphones )

[kalistyan]

Ah flûte :d

[kvm]

T'es absolument sûr que ça vient pas du site ?

Essaye là : ftp://ftp.proxad.net/mirrors/ftp.centos ... D-1511.iso

Et essaye d'en lancer plusieurs si c'est pareil avec un seul fichier.

[kalistyan]

T'es absolument sûr que ça vient pas du site ?

Du tout.

---

Dorénavant, je vais me baser sur des serveurs iperf.

Online a lancé (2014) un serveur IPERF public 10 Gb/s en TCP et en UDP
http://ping.online.net/

D'autres serveurs iperf public
https://iperf.fr/fr/iperf-servers.php

Livebox :

Z:\iperf-3.1.3-win64>iperf3 -c ping.online.net -p 5202 -t 20 -R
Connecting to host ping.online.net, port 5202
Reverse mode, remote host ping.online.net is sending
[ 4] local 192.168.38.2 port 64853 connected to 62.210.18.40 port 5202
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 1.00-2.00 sec 22.6 MBytes 189 Mbits/sec
[ 4] 2.00-3.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 3.00-4.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 4.00-5.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 5.00-6.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 6.00-7.00 sec 22.4 MBytes 188 Mbits/sec
[ 4] 7.00-8.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 8.00-9.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 9.00-10.00 sec 22.4 MBytes 187 Mbits/sec
[ 4] 10.00-11.00 sec 22.4 MBytes 188 Mbits/sec
[ 4] 11.00-12.00 sec 22.7 MBytes 190 Mbits/sec
[ 4] 12.00-13.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 13.00-14.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 14.00-15.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 15.00-16.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 16.00-17.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 17.00-18.00 sec 22.5 MBytes 189 Mbits/sec
[ 4] 18.00-19.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 19.00-20.00 sec 22.5 MBytes 189 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-20.00 sec 449 MBytes 188 Mbits/sec 0 sender
[ 4] 0.00-20.00 sec 449 MBytes 188 Mbits/sec receiver

iperf Done.

pfSense :

Z:\iperf-3.1.3-win64>iperf3 -c ping.online.net -p 5202 -t 20 -R
Connecting to host ping.online.net, port 5202
Reverse mode, remote host ping.online.net is sending
[ 4] local 192.168.100.4 port 49501 connected to 62.210.18.40 port 5202
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 21.7 MBytes 182 Mbits/sec
[ 4] 1.00-2.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 2.00-3.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 3.00-4.00 sec 22.1 MBytes 186 Mbits/sec
[ 4] 4.00-5.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 5.00-6.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 6.00-7.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 7.00-8.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 8.00-9.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 9.00-10.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 10.00-11.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 11.00-12.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 12.00-13.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 13.00-14.00 sec 22.2 MBytes 186 Mbits/sec
[ 4] 14.00-15.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 15.00-16.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 16.00-17.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 17.00-18.00 sec 22.3 MBytes 187 Mbits/sec
[ 4] 18.00-19.00 sec 21.6 MBytes 181 Mbits/sec
[ 4] 19.00-20.00 sec 21.9 MBytes 184 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-20.00 sec 445 MBytes 187 Mbits/sec 0 sender
[ 4] 0.00-20.00 sec 445 MBytes 186 Mbits/sec receiver

iperf Done.

Z:\iperf-3.1.3-win64>

Résultats quasi identique !

Finalement, il n'y a p'être pas tant de perte...

Qu'en pensez vous ?

[biour]

tu as quoi comme abo?

[kalistyan]

Jet Fibre 500 / 200

[biour]

pas normal, tu a 500/200 de garantie !!
perso j'ai 900/240 quasi permanent (bon ok defois sous les 900 mais jamais sous les 800)

[kalistyan]

Peux-tu faire le même test iperf que moi ? Merci

[poulpito]

il est pas terrible le peering avec orange :/

:~$ iperf3 -c ping.online.net -p 5202 -t 20 -R
Connecting to host ping.online.net, port 5202
Reverse mode, remote host ping.online.net is sending
[ 4] local 192.168.1.32 port 36754 connected to 62.210.18.40 port 5202
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 51.1 MBytes 428 Mbits/sec
[ 4] 1.00-2.00 sec 57.3 MBytes 481 Mbits/sec
[ 4] 2.00-3.00 sec 58.1 MBytes 487 Mbits/sec
[ 4] 3.00-4.00 sec 57.7 MBytes 484 Mbits/sec
[ 4] 4.00-5.00 sec 59.2 MBytes 497 Mbits/sec
[ 4] 5.00-6.00 sec 60.5 MBytes 508 Mbits/sec
[ 4] 6.00-7.00 sec 60.6 MBytes 508 Mbits/sec
[ 4] 7.00-8.00 sec 61.6 MBytes 517 Mbits/sec
[ 4] 8.00-9.00 sec 61.9 MBytes 519 Mbits/sec
[ 4] 9.00-10.00 sec 62.0 MBytes 520 Mbits/sec
[ 4] 10.00-11.00 sec 63.0 MBytes 529 Mbits/sec
[ 4] 11.00-12.00 sec 63.5 MBytes 533 Mbits/sec
[ 4] 12.00-13.00 sec 63.8 MBytes 535 Mbits/sec
[ 4] 13.00-14.00 sec 65.5 MBytes 550 Mbits/sec
[ 4] 14.00-15.00 sec 68.2 MBytes 572 Mbits/sec
[ 4] 15.00-16.00 sec 69.0 MBytes 579 Mbits/sec
[ 4] 16.00-17.00 sec 69.4 MBytes 583 Mbits/sec
[ 4] 17.00-18.00 sec 70.1 MBytes 588 Mbits/sec
[ 4] 18.00-19.00 sec 71.1 MBytes 596 Mbits/sec
[ 4] 19.00-20.00 sec 74.3 MBytes 624 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-20.00 sec 1.24 GBytes 533 Mbits/sec 140 sender
[ 4] 0.00-20.00 sec 1.24 GBytes 532 Mbits/sec receiver

à l'instantavec l'ubiquiti erl3

[biour]

marche pas moi, surement que j'ai pas ouvert le port qq part