Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par gizmo78 »

poulpito : les drivers sont assez daubé.... t'utilise ceux livré de base ou t'as installé les derniers? si c'est pas le cas, essaye d'installer ceux depuis le site d'intel.

clairement nous on prenait que du chelsio/mellanox car intel les drivers sont trop mauvais...
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par poulpito »

j'ai gardé les drivers intégrés ... de ce que j'ai lu sous pfsense / OPNsense tu as rien pour compiler
faudrait monter une autre box fbsd, compiler les drivers et après copier les modules sur pfsense :x
clairement pas envie de me faire chier avec ça du temps de slackware je veux bien mais maintenant -___-
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par gizmo78 »

ha bas clairement! et puis pfsense ma fait tellement de merde niveau réseau que maintenant je les vire pour tout gérer comme ça
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par poulpito »

bah j'ai attaqué vyos, refait une VM propre avec la X520 en passT et un vmxnet3 pour sortir vers les VM
j'ai rajouté les dépots debian histoire de rajouter qq trucs dessus niveau mini outils
j'ai configuré les vlans, les dhcp le début du firewall

je copie / colle pas mal de lignes de l'erl3 avec le show configuration commands super pratique :)
juste à adapter quelques trucs mais pour les baux dhcp hop trop pratique ^^

Je me ferai quand même une miniUI web pour récupérer les infos de base de volumétrie réseau :ange:
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par kvm »

poulpito a écrit : sam. 19 oct. 2019 14:36 baremetal avec OPNsense .... même en optimisant 2-3 trucs ... 2.7Gbits/s au MAX du MAX
j'en ai vraiment ma claque :x
Ça confirme que c'est bien les xSense qui sont pourraves...
C'est dommage car l'interface est super à utiliser.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par poulpito »

bah ouai OPNsense c'est un régal avec haproxy / letsencrypt et cie tu te fais une VM ou machine tout en un et c'est parfait
Avatar de l’utilisateur
c0bw3b
Messages : 5507
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par c0bw3b »

Test IPFire en VM
-> https://www.ipfire.org/
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par poulpito »

A l'occaz ouaip je testerai ipfire mais je suis partis sur vyos la :)

tout est config j'ai même rajouté du failover 10G > 1G avec 2 cartes sur la freebox au cas ou j'ai un soucis avec la carte 10G ou le cable (sait on jamais)
+ de la réplication de conf DHCP lease vers un ERL3 de secours comme il se trouve que les lignes de conf (même si c'est pas la même version de vyos/vyatta) sont identiques pour les static dhcp. (en gros delete de mass sur l'erl3 + reimport des commandes ... flemme de diff)

je me prépare un tit script pour booter l'erl3 en mode standby (interface WAN/LAN off, interface monitoring on)
et si il arrive plus à pinger le net + la VM vyos, il réactive ses ports et se met à la place de la VM.
du coup même si j'ai pas tout le routage de ports identiques (ils utilisent pas le même mécanisme de port forward) au moins j'ai du net
Avatar de l’utilisateur
merlin2000fr
Messages : 2140
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par merlin2000fr »

ipfire et failover tu peux oublier
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par kvm »

Poulpi : le vrrp fonctionne pas entre vyos et edgemax ? Ca serait moins degueu que ta solution :D .
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

kvm il me semble que le vrrp partage pas les conf :) uniquement l'élection master/slave

par contre le cluster mode de vyos lui pourrait le faire mais ca doit marcher que entre 2 versions identiques de vyos car l'ERL3 tourne sur une ancienne version modifiée par ubi, ce qui fait que les commandes diffèrent
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par kvm »

Non ça ne partage pas les configs en effet mais bon théoriquement ça n'évolue pas tous les jours :D.

Par contre pour les sessions a priori il y a possibilité de le faire en installant conntrackd :

https://community.ui.com/questions/VRRP ... 4a95fb32c2
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

jvai déjà finir de tout mettre en prod ^^ et croiser les doigts avant xD
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par kvm »

Bonne chance :D .

Y'a juste un truc dommage pour VyOS je trouve c'est qu'on a du mal à trouver du matériel qui prend une image x86 dans un petit format (physique).
Quand on voit les ER-X ou les ERL-3 dur d'avoir quelque chose identique ou alors à des tarifs hallucinants...

Le problème reste le même pour les xSense :D .

Edit : quand on veut pas faire du routeur soft bien entendu :D .
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

ouaip dur d'égaler un ubi mine de rien ... autant soft que hard :D
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits

Message par poulpito »

c0bw3b a écrit : sam. 19 oct. 2019 20:59 Test IPFire en VM
-> https://www.ipfire.org/
testé par principe ^^ vite fait

5Gbits/sec sorti d'install sans aucune opti :lol: :whistle:
Avatar de l’utilisateur
c0bw3b
Messages : 5507
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par c0bw3b »

Ah beh voilà! ^^
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

ouaip sauf que ipfire c'est un peu de la merde ^^
tu peux pas faire des zones comme tu veux par exemple. (apparemment ca change aevc la v3 qui a jamais été release en stable... depuis 2015)
ou tu peux pas faire de masquerade sur chaque zone uniquement sur la green il me semble non ?

je vais tester la v3 quand même voir avec la refonte network si ca correspond mieux à ce que je cherche
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

ca me démange .... j'ai compilé les dernier drivers intel if_ix sur un freebsd 11 et j'essaie de faire accepter ca par opnsense ^^
je lâche JAMAIS l'affaire xD
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

Petite info pour les curieux ^^ j'ai passé ma X520-DA2 en baremetal sur un noeud avec un E5-2660 solo et un peu de ram
freebsd 11.2 (ouai c'est la version utilisée harden pour opnsense) d'origine avec le driver un poil vieux ca donne :
8.4 Gbits/sec

bouya O_o 8.4Gbits mothafucka !
Image

j'avance enfin un peu ... bon maintenant finir de compiler le driver à jour vérifier les perfs
et après essayer de convertir le freebsd en opnsense avec ca https://github.com/opnsense/update
testé en VM ca marche finement :bounce:

je suis confiant ! je continue
edit : if_ix compilé et chargé :) perfs toujours OK

je convertis freebsd en opnsense la pour voir ^^
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

Après la conversion en OPNsense
[SUM] 6.00-6.34 sec 65.6 MBytes 1.60 Gbits/sec

en désactivant le firewall via le menu (et uniquement ca)
[SUM] 3.00-4.00 sec 548 MBytes 4.59 Gbits/sec

et quand ca tourne à cette vitesse ca pompe
Image

donc au final c'est pas une question de drivers ni d'overhead de virtualisation
mais bien de couches internes/soft utilisés par pfsense/opnsense pour le firewall/NAT
les irqs et interruptions je vois pas pourquoi ca poserait soucis la et pas avant si c'était vraiment un soucis de bios/hardware
d'ailleurs ca marcherait pas avec d'autres OS.
non la je pige pas pourquoi cette perte de perfs est attribuée côté IRQ/interrupt alors que c'est clairement le traitement des paquets qui pose soucis :heink:

si quelqu'un a des pistes de réflexion :lol:
je test untangle comme j'y suis, c'est une base debian
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par kvm »

Sur le papier que le firewall réduise la perf ça peut s'entendre mais là il y a un gouffre quand-même...

Même sur machine physique les performances sont bof.
Un peu flippant pour ceux qui ont ça en entreprise. Tu mets 10 gbps en te disant t'es tranquille et au final t'as guère plus que du Gbps.

Tu devrais essayer de poster tes tests sur PfSense / OPNSense car là ils peuvent pas nier l'évidence :D.
Avatar de l’utilisateur
dsebire
Messages : 12716
Inscription : ven. 12 janv. 2018 17:44
Localisation : Loiret - entre la ville et les champs

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par dsebire »

poulpito a écrit : mer. 23 oct. 2019 04:39 Petite info pour les curieux ^^ j'ai passé ma X520-DA2 en baremetal sur un noeud avec un E5-2660 solo et un peu de ram
freebsd 11.2 (ouai c'est la version utilisée harden pour opnsense) d'origine avec le driver un poil vieux ca donne :
8.4 Gbits/sec

bouya O_o 8.4Gbits mothafucka !
Image
tu feras pas mieux !
le SFP est en 10Gbps, mais la connexion internet en elle même est en 8Gbps ;)
Avatar de l’utilisateur
merlin2000fr
Messages : 2140
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par merlin2000fr »

Salut salut

Je le dis et le répète les débits sont logiquement réduit sur du 10gb sous pf, carte il y a une limitation mise en place sur pf et aussi sur opf qui en découle.

Pour ne pas avoir de limitation il faut passé par la version commercial de pf qui lui n'a plus cette limitation et le matériel qui est vendu avec.
J'ai pu voir la différence chez un client qui avait les deux, migration pf vers la version commerciale du produit et du matériel. c'est le jour et la nuit.

Vous vous prenez la courge pour rien.

Le même discours est valable aussi pour freenas et truenas sur les débit et les fonctionnalités l'un est pour du communautaire accés maison, et l'autre a les options de haute disponibilité et des débits mieux maitrisé et optimisé.

et le fait de passer par du virtualisé c'est le même problème vous enfiler un tube dans un tube automatiquement cela va vous faire une réduction de débit dans le dernier tuyaux inséré, c'est de la mécanique des fluides de base. espérer avoir plus avec moins c'est tordu comme concept et avec de l'info il n'y a pas de bouster de flux non plus.
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par gizmo78 »

alors :D

les irq/interrupts si t'es quasi à fond du 10G c'est "normal" (lis le wiki de BSDRP et t'auras plus de détails). Sous freebsd tu peux essayer de jouer avec le nombre de queues.

pour pfsense, Z m'avait dit que tu peux avoir des tweaks de perf dans la conf advanced, à voir ce que ça donne
Répondre