Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

[poulpito]

Bonsoir les fous
j'ai quelques soucis à vous amener

j'ai une freebox delta S synchro à 10G/600Meg
me disant que ce serait bien d'en profiter, j'ai monté au max un Dell R620 avec ce que j'avais de dispo
(2x E5-2660 + 256Gb de ram) + Carte SAS 6Gb + carte HP NC522SFP dual port 10G (cable SFP+ DAC vers la box)

l'idée c'est que du coup au lieu d'avoir plusieurs machines, déjà je consomme un peu moins + mes VMs profitent de la comm avec la VM fileserver à fond et plus limité au gigabit externe
+ profiter du 10G du coup

jusque la j'avais un ubi Erl3 qui routait sans soucis 980Mbits sans rechigner !

Pour faire la suite, j'ai remis la freebox en mode router (et non bridge) me permettant de créer plusieurs VM de tests.
j'ai fait les test avec un iperf3 -P10 pour avoir 10thread vers différents serveurs mais le plus répondant c'est bouygues.iperf.fr

VMware ESXi, 6.7.0, 13006603 carte HP SFP+ vue par vmware et associée à un switch WAN ou j'ai la patte de mes VMs
Test 1 : VM opnsense + package vmtools
débits descendant max de 700meg

Test 2 : VM pfsense + package vmtools
débit descendant max de 1.3/1.4Gbits

Test 3 : Vm Vyos brut
débit descendant max de 2.1Gbits

me disant que c'était peut être le serveur de bouygues qui en chiait j'ai lancé les 3 VMs en même temps et la kaboom
j'ai même fait un 4.5Gbits après


donc ça veut dire que j'ai pas de soucis de perf entre les VM > le vswitch > la HP SFP+ > La freebox

mais j'arrive pas à comprendre ce qui peut limiter la hormis les drivers bsd des VMXNET3 ? vyos c'est sous debian
la je test en mettant la HP SFP+ en passtrough dans ESXi pour le filer à une VM directement et refaire les tests de perfs
non pas que je chasse le 10G mais bon ... c'est cool d'exploiter son matos

[gizmo78]

essaye BSDRP? c'est une distrib nanobsd exclu routage etc

sinon essaye une distrib de base déjà en fonction de ce à quoi t'es habitué pour voir si c'est la base ou la surcouche qui limite

[poulpito]

bah vyos c'est ca c'est du debian optimisé routage et c'est de ces distrib ou les gens disent que ca gère le 10G sans soucis contrairement aux autres ...

la je viens de test avec la carte en PCIpassth à la VM vyos j'ai 3.5Gbits donc ca semble déjà pas mal cette histoire
je fais faire le même test avec la VM opnsense pour comparer

[poulpito]

ca me saoule parce que OPNsense je voulais partir dessus pour concentrer tout ce que j'avais sur différentes VM (vpn, certif ssl, haproxy portail captif)
avec un GUI pour pas me faire chier en CLI comme Vyos/vyatta par exemple .... mais la en lui passant la carte PCI HP, il a même pas les drivers -____-

[poulpito]

bon j'ai réussi à les trouver et à les isntall y'a du mieux mais OPNsense aime énooormement le cpu
j'ai trifouillé un peu histoire de lui mettre le max de perf possibles
sans toute la partie filtrage (pf désactivé) : j'ai claqué mon record à 5.5Gbits
Avec toute la partie filrtage : 4.5Gbits

je pense que j'arrive dans des perfs assez honorables sachant que je virtualise la carte HP (pas de drivers sous bsd semblerait)
+ virtualise l'OPNsense
puis bon j'ai pas des CPU hyper péchus les E5-2660 c'est pas ce qu'il y a de plus rapide

je vais continuer à fouiner mais clairement y'a du mieux !

[poulpito]

et la paf ... tu lance une VM que tu connecte à un vswitch sortant de OPNsense ....
il dépasse pas 250Mbits/20Mbits

T_____T

dans le doute j'ai fait des tests entre la VM client linux et la VM opnsense, j'ai 20Gbits entre les deux donc aucun soucis côté vmware
y'a bien une merde de perf dans le routage d'OPNsense ...

[merlin2000fr]

salut salut

pfsense et les dérivés sont bridé à 1gb de mémoire, c'est la version commercial de pf qui prend en compte les débit de 10gb et au delà.

[poulpito]

OPNsense est 100% free aucun soucis la dessus

j'ai testé avec ma VM vyos (conf en cli, c'est la même base que ubiquiti vyatta/vyos)
j'ai du mieux pour les VMs clientes genre 2G/590M

Donc y'a bien en gros soucis de perf faut que je fasse un test avec l'os suggéré par Giz sait on jamais

[gizmo78]

BSDRP c'est utilisé chez l'agrume pour gérer du gros routage client mais en baremetal, donc pas virtualisé MAIS!

j'ai fais du test 10 et 40G avec une image dérivée ce projet (hardening dessus etc mais fondamentalement pas différente) et je saturais du 10G en routage pur donc pas de NAT

[poulpito]

Moi faut que ça tienne du NAT mais c'est bizarre qu'il arrive déjà pas à tenir 1g :/.
Ca me ferait chier de devoir mettre une machine physique en plus

[kvm]

OPNsense / PfSense j'ai eu pas mal de soucis de performance aussi de mon côté en virtuel.

J'ai abandonné depuis car pas trouvé le moyen de régler ça (et j'en ai passé des heures). C'est dommage car la GUI est très sympa.

VyOS / Vyatta est clairement meilleur en performance.

[poulpito]

bah Vyos/Vyatta c'est du debian avec ce qu'il faut bien ... mais le manque de GUI putain quoi on est en 2020 bientot >__<
faut que je remettre une 50aine de baux dhcp heureusement que ma conf vient de l'erl3 .... je m'avoue pas vaincu je test un dernier truc semaine pro

un SFP+ RJ45 sur la freebox et une de mes X540-DA2 en passt directement à la VM. Elle est supportée par BSD et je devrai pouvoir activer l'offload hardware sans soucis vu que la carte sera en direct.

Si rien ne donne, effectivement ce sera Vyos à la mano ...

j'aurai bien repris un ubiquiti pour faire le taff ... mais à part le edgerouter infinity à 1.5k€

[kalistyan]

Poulpito, je me permets un petit HS.

OPNsense / PfSense j'ai eu pas mal de soucis de performance aussi de mon côté en virtuel.

J'ai abandonné depuis car pas trouvé le moyen de régler ça (et j'en ai passé des heures). C'est dommage car la GUI est très sympa.

Salut,

Quel autre moyen as-tu utilisé ?

Merci

[poulpito]

va y va y profite

putain j'aurai du me casser une jambe avec cette HP de merde ... sous debian elle est pas reconnu correctement les drivers plantent
du coup pas visible en direct sur vyos -___- vivement que mon Gbic ethernet arrive pour tester avec de la vrai carte intel

[c0bw3b]

Test IPFire si tu veux conserver une GUI sur une base nux.

[kvm]

@kalistyan : passé sur un Edgerouter .
J'hésite à m'en acheter un second pour faire du vrrp.

Et le dual wan c'est le jour et la nuit avec les xxxSense.

J'ai jamais trouvé une config qui marchait tout le temps. Des fois ca basculait pas, des fois ça basculait mais le dns fonctionnait pas, des fois le failback se faisait pas...

Avec l'edgerouter c'est juste génial. En fonction de la config on perd un ping ou deux avant la bascule et personne voit rien et le retour toujours nickel.

Poulpi a l'air gêné par l'absence de GUI (c'est plutôt qu'elle est incomplète) mais moi ca me dérange pas le CLI au contraire je trouve qu'on voit bien ce qu'on fait.

Y'a juste pour le FW ou c'est difficile de s'en passer et clairement elle est moins redoutable que les xxxSense.

[poulpito]

bah l'erl3 pareil j'en ai 2 c'est juste le luxe si ils avaient un ERL4 avec un sfp+ capable de faire 10G je serai dessus mais non
bah ca me gène pas plus que ca c'est juste chiant en fait mais je vais finir par rester la dessus

l'avantage c'est que c'est du debian donc je peux rajouter mes outils ou faire ma propre uI pour visualiser les settings ou lease dhcp par exemple

[kvm]

Ou encore pouvoir faire ça !

Code : Tout sélectionner

root@er-x:~# zabbix_agentd -V
zabbix_agentd (daemon) (Zabbix) 4.2.4
Revision 059af02c82 26 June 2019, compilation time: Aug  8 2019 01:03:08

Copyright (C) 2019 Zabbix SIA
License GPLv2+: GNU GPL version 2 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it according to
the license. There is NO WARRANTY, to the extent permitted by law.

[poulpito]

DONCCCCCCCCCCCCCC

suite et fin des tests
PFsense / OPNsense c'est de la merde en barre ... même avec une intel X520-DA2 entièrement supportée par BSD et différents test avec/sans offload hardware (carte passée en direct à la VM) c'est une cata pas possible de router plus de de 2Gbits/s
Z ! vient m'expliquer pourquoi BSD c'est de la merde

Reste à voir si je test en baremetal ... mais ca me fait chier d'avoir une machine en plus en route (60-70w) juste pour ca

Vyos avec la même carte, de base je route 4.5Gbits/s
avec quelques optis en plus, 5.2Gbits/s constants sous iperf3 vers bouygues

Le jour ou j'aurai des sous je passe sur un edgerouter infinity (a voir car on va commander 2 au taff pour remplacer des cisco ASA qui restent encore, y'a peut etre moyen d'en glisser un 3° pour moi ^^ )

donc en attendant retour en mode CLI only avec vyos donc pour le routage à la maison. Je garde un ERL3 en // de l'install existante et si jamais la VM de vyos est coupée, j'ai une prise de l'ipdu qui s'active (merci le RPI de monitoring) pour mettre en route l'erl3 en secours histoire de pas se retrouver sans net dans la maison

[gizmo78]

j'ai fais du 10G en routage sur du freebsd hein avec des intel X710, chelsio 520/610 et mellanox connectx4

[poulpito]

tu sais bien que je taquine ^^

je doute pas que ca puisse tourner comme tu as dit BSDRP c'est de la bombe et j'ai vu des tests aussi mais avec freebsd et OPN en virtualisé c'est juste la mort l'overhead soft est visiblement trop important, même en passT

la j'ai la motiv je fais un dernier test en baremetal avec la 520 histoire de voir quand même sait on jamais

[gizmo78]

clairement les overhead c'est assez mortel, pour ça qu'on faisait des jails et pas de la virtu à proprement parlé

[poulpito]

tient d'ailleurs ... qqun sait pourquoi sous BSD j'ai qu'une seule interface visible ... O_o ix0 me manque celle marquée none
je pas comprendre pourquoi de base il l'active pas en ix1

none14@pci0:4:0:0: class=0x020000 card=0x7b118086 chip=0x154d8086 rev=0x01 hdr=0x00
vendor = 'Intel Corporation'
device = 'Ethernet 10G 2P X520 Adapter'
class = network
subclass = ethernet
ix0@pci0:4:0:1: class=0x020000 card=0x7b118086 chip=0x154d8086 rev=0x01 hdr=0x00
vendor = 'Intel Corporation'
device = 'Ethernet 10G 2P X520 Adapter'
class = network
subclass = ethernet

[kvm]

tu sais bien que je taquine ^^

je doute pas que ca puisse tourner comme tu as dit BSDRP c'est de la bombe et j'ai vu des tests aussi mais avec freebsd et OPN en virtualisé c'est juste la mort l'overhead soft est visiblement trop important, même en passT

la j'ai la motiv je fais un dernier test en baremetal avec la 520 histoire de voir quand même sait on jamais

Ca m'a l'air surtout lié à PfSense / OPNSense plus qu'à BSD.

Pour ma part je regrette absolument pas d'être passé sur un Edgerouter.

[poulpito]

baremetal avec OPNsense .... même en optimisant 2-3 trucs ... 2.7Gbits/s au MAX du MAX
j'en ai vraiment ma claque