Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN
Re: Pfsense/OPnsense sur ESX et 10Gbits
poulpito : les drivers sont assez daubé.... t'utilise ceux livré de base ou t'as installé les derniers? si c'est pas le cas, essaye d'installer ceux depuis le site d'intel.
clairement nous on prenait que du chelsio/mellanox car intel les drivers sont trop mauvais...
clairement nous on prenait que du chelsio/mellanox car intel les drivers sont trop mauvais...
Re: Pfsense/OPnsense sur ESX et 10Gbits
j'ai gardé les drivers intégrés ... de ce que j'ai lu sous pfsense / OPNsense tu as rien pour compiler
faudrait monter une autre box fbsd, compiler les drivers et après copier les modules sur pfsense
clairement pas envie de me faire chier avec ça du temps de slackware je veux bien mais maintenant -___-
faudrait monter une autre box fbsd, compiler les drivers et après copier les modules sur pfsense
clairement pas envie de me faire chier avec ça du temps de slackware je veux bien mais maintenant -___-
Re: Pfsense/OPnsense sur ESX et 10Gbits
ha bas clairement! et puis pfsense ma fait tellement de merde niveau réseau que maintenant je les vire pour tout gérer comme ça
Re: Pfsense/OPnsense sur ESX et 10Gbits
bah j'ai attaqué vyos, refait une VM propre avec la X520 en passT et un vmxnet3 pour sortir vers les VM
j'ai rajouté les dépots debian histoire de rajouter qq trucs dessus niveau mini outils
j'ai configuré les vlans, les dhcp le début du firewall
je copie / colle pas mal de lignes de l'erl3 avec le show configuration commands super pratique
juste à adapter quelques trucs mais pour les baux dhcp hop trop pratique ^^
Je me ferai quand même une miniUI web pour récupérer les infos de base de volumétrie réseau
j'ai rajouté les dépots debian histoire de rajouter qq trucs dessus niveau mini outils
j'ai configuré les vlans, les dhcp le début du firewall
je copie / colle pas mal de lignes de l'erl3 avec le show configuration commands super pratique
juste à adapter quelques trucs mais pour les baux dhcp hop trop pratique ^^
Je me ferai quand même une miniUI web pour récupérer les infos de base de volumétrie réseau
Re: Pfsense/OPnsense sur ESX et 10Gbits
bah ouai OPNsense c'est un régal avec haproxy / letsencrypt et cie tu te fais une VM ou machine tout en un et c'est parfait
Re: Pfsense/OPnsense sur ESX et 10Gbits
Test IPFire en VM
-> https://www.ipfire.org/
-> https://www.ipfire.org/
Re: Pfsense/OPnsense sur ESX et 10Gbits
A l'occaz ouaip je testerai ipfire mais je suis partis sur vyos la
tout est config j'ai même rajouté du failover 10G > 1G avec 2 cartes sur la freebox au cas ou j'ai un soucis avec la carte 10G ou le cable (sait on jamais)
+ de la réplication de conf DHCP lease vers un ERL3 de secours comme il se trouve que les lignes de conf (même si c'est pas la même version de vyos/vyatta) sont identiques pour les static dhcp. (en gros delete de mass sur l'erl3 + reimport des commandes ... flemme de diff)
je me prépare un tit script pour booter l'erl3 en mode standby (interface WAN/LAN off, interface monitoring on)
et si il arrive plus à pinger le net + la VM vyos, il réactive ses ports et se met à la place de la VM.
du coup même si j'ai pas tout le routage de ports identiques (ils utilisent pas le même mécanisme de port forward) au moins j'ai du net
tout est config j'ai même rajouté du failover 10G > 1G avec 2 cartes sur la freebox au cas ou j'ai un soucis avec la carte 10G ou le cable (sait on jamais)
+ de la réplication de conf DHCP lease vers un ERL3 de secours comme il se trouve que les lignes de conf (même si c'est pas la même version de vyos/vyatta) sont identiques pour les static dhcp. (en gros delete de mass sur l'erl3 + reimport des commandes ... flemme de diff)
je me prépare un tit script pour booter l'erl3 en mode standby (interface WAN/LAN off, interface monitoring on)
et si il arrive plus à pinger le net + la VM vyos, il réactive ses ports et se met à la place de la VM.
du coup même si j'ai pas tout le routage de ports identiques (ils utilisent pas le même mécanisme de port forward) au moins j'ai du net
- merlin2000fr
- Messages : 2140
- Inscription : ven. 12 janv. 2018 17:44
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
ipfire et failover tu peux oublier
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Poulpi : le vrrp fonctionne pas entre vyos et edgemax ? Ca serait moins degueu que ta solution .
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
kvm il me semble que le vrrp partage pas les conf uniquement l'élection master/slave
par contre le cluster mode de vyos lui pourrait le faire mais ca doit marcher que entre 2 versions identiques de vyos car l'ERL3 tourne sur une ancienne version modifiée par ubi, ce qui fait que les commandes diffèrent
par contre le cluster mode de vyos lui pourrait le faire mais ca doit marcher que entre 2 versions identiques de vyos car l'ERL3 tourne sur une ancienne version modifiée par ubi, ce qui fait que les commandes diffèrent
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Non ça ne partage pas les configs en effet mais bon théoriquement ça n'évolue pas tous les jours .
Par contre pour les sessions a priori il y a possibilité de le faire en installant conntrackd :
https://community.ui.com/questions/VRRP ... 4a95fb32c2
Par contre pour les sessions a priori il y a possibilité de le faire en installant conntrackd :
https://community.ui.com/questions/VRRP ... 4a95fb32c2
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
jvai déjà finir de tout mettre en prod ^^ et croiser les doigts avant xD
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Bonne chance .
Y'a juste un truc dommage pour VyOS je trouve c'est qu'on a du mal à trouver du matériel qui prend une image x86 dans un petit format (physique).
Quand on voit les ER-X ou les ERL-3 dur d'avoir quelque chose identique ou alors à des tarifs hallucinants...
Le problème reste le même pour les xSense .
Edit : quand on veut pas faire du routeur soft bien entendu .
Y'a juste un truc dommage pour VyOS je trouve c'est qu'on a du mal à trouver du matériel qui prend une image x86 dans un petit format (physique).
Quand on voit les ER-X ou les ERL-3 dur d'avoir quelque chose identique ou alors à des tarifs hallucinants...
Le problème reste le même pour les xSense .
Edit : quand on veut pas faire du routeur soft bien entendu .
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
ouaip dur d'égaler un ubi mine de rien ... autant soft que hard
Re: Pfsense/OPnsense sur ESX et 10Gbits
testé par principe ^^ vite fait
5Gbits/sec sorti d'install sans aucune opti
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Ah beh voilà! ^^
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
ouaip sauf que ipfire c'est un peu de la merde ^^
tu peux pas faire des zones comme tu veux par exemple. (apparemment ca change aevc la v3 qui a jamais été release en stable... depuis 2015)
ou tu peux pas faire de masquerade sur chaque zone uniquement sur la green il me semble non ?
je vais tester la v3 quand même voir avec la refonte network si ca correspond mieux à ce que je cherche
tu peux pas faire des zones comme tu veux par exemple. (apparemment ca change aevc la v3 qui a jamais été release en stable... depuis 2015)
ou tu peux pas faire de masquerade sur chaque zone uniquement sur la green il me semble non ?
je vais tester la v3 quand même voir avec la refonte network si ca correspond mieux à ce que je cherche
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
ca me démange .... j'ai compilé les dernier drivers intel if_ix sur un freebsd 11 et j'essaie de faire accepter ca par opnsense ^^
je lâche JAMAIS l'affaire xD
je lâche JAMAIS l'affaire xD
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Petite info pour les curieux ^^ j'ai passé ma X520-DA2 en baremetal sur un noeud avec un E5-2660 solo et un peu de ram
freebsd 11.2 (ouai c'est la version utilisée harden pour opnsense) d'origine avec le driver un poil vieux ca donne :
8.4 Gbits/sec
bouya O_o 8.4Gbits mothafucka !
j'avance enfin un peu ... bon maintenant finir de compiler le driver à jour vérifier les perfs
et après essayer de convertir le freebsd en opnsense avec ca https://github.com/opnsense/update
testé en VM ca marche finement
je suis confiant ! je continue
edit : if_ix compilé et chargé perfs toujours OK
je convertis freebsd en opnsense la pour voir ^^
freebsd 11.2 (ouai c'est la version utilisée harden pour opnsense) d'origine avec le driver un poil vieux ca donne :
8.4 Gbits/sec
bouya O_o 8.4Gbits mothafucka !
j'avance enfin un peu ... bon maintenant finir de compiler le driver à jour vérifier les perfs
et après essayer de convertir le freebsd en opnsense avec ca https://github.com/opnsense/update
testé en VM ca marche finement
je suis confiant ! je continue
edit : if_ix compilé et chargé perfs toujours OK
je convertis freebsd en opnsense la pour voir ^^
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Après la conversion en OPNsense
[SUM] 6.00-6.34 sec 65.6 MBytes 1.60 Gbits/sec
en désactivant le firewall via le menu (et uniquement ca)
[SUM] 3.00-4.00 sec 548 MBytes 4.59 Gbits/sec
et quand ca tourne à cette vitesse ca pompe
donc au final c'est pas une question de drivers ni d'overhead de virtualisation
mais bien de couches internes/soft utilisés par pfsense/opnsense pour le firewall/NAT
les irqs et interruptions je vois pas pourquoi ca poserait soucis la et pas avant si c'était vraiment un soucis de bios/hardware
d'ailleurs ca marcherait pas avec d'autres OS.
non la je pige pas pourquoi cette perte de perfs est attribuée côté IRQ/interrupt alors que c'est clairement le traitement des paquets qui pose soucis
si quelqu'un a des pistes de réflexion
je test untangle comme j'y suis, c'est une base debian
[SUM] 6.00-6.34 sec 65.6 MBytes 1.60 Gbits/sec
en désactivant le firewall via le menu (et uniquement ca)
[SUM] 3.00-4.00 sec 548 MBytes 4.59 Gbits/sec
et quand ca tourne à cette vitesse ca pompe
donc au final c'est pas une question de drivers ni d'overhead de virtualisation
mais bien de couches internes/soft utilisés par pfsense/opnsense pour le firewall/NAT
les irqs et interruptions je vois pas pourquoi ca poserait soucis la et pas avant si c'était vraiment un soucis de bios/hardware
d'ailleurs ca marcherait pas avec d'autres OS.
non la je pige pas pourquoi cette perte de perfs est attribuée côté IRQ/interrupt alors que c'est clairement le traitement des paquets qui pose soucis
si quelqu'un a des pistes de réflexion
je test untangle comme j'y suis, c'est une base debian
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Sur le papier que le firewall réduise la perf ça peut s'entendre mais là il y a un gouffre quand-même...
Même sur machine physique les performances sont bof.
Un peu flippant pour ceux qui ont ça en entreprise. Tu mets 10 gbps en te disant t'es tranquille et au final t'as guère plus que du Gbps.
Tu devrais essayer de poster tes tests sur PfSense / OPNSense car là ils peuvent pas nier l'évidence .
Même sur machine physique les performances sont bof.
Un peu flippant pour ceux qui ont ça en entreprise. Tu mets 10 gbps en te disant t'es tranquille et au final t'as guère plus que du Gbps.
Tu devrais essayer de poster tes tests sur PfSense / OPNSense car là ils peuvent pas nier l'évidence .
- dsebire
- Messages : 12736
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : Loiret - entre la ville et les champs
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
tu feras pas mieux !poulpito a écrit : ↑mer. 23 oct. 2019 04:39 Petite info pour les curieux ^^ j'ai passé ma X520-DA2 en baremetal sur un noeud avec un E5-2660 solo et un peu de ram
freebsd 11.2 (ouai c'est la version utilisée harden pour opnsense) d'origine avec le driver un poil vieux ca donne :
8.4 Gbits/sec
bouya O_o 8.4Gbits mothafucka !
le SFP est en 10Gbps, mais la connexion internet en elle même est en 8Gbps
- merlin2000fr
- Messages : 2140
- Inscription : ven. 12 janv. 2018 17:44
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
Salut salut
Je le dis et le répète les débits sont logiquement réduit sur du 10gb sous pf, carte il y a une limitation mise en place sur pf et aussi sur opf qui en découle.
Pour ne pas avoir de limitation il faut passé par la version commercial de pf qui lui n'a plus cette limitation et le matériel qui est vendu avec.
J'ai pu voir la différence chez un client qui avait les deux, migration pf vers la version commerciale du produit et du matériel. c'est le jour et la nuit.
Vous vous prenez la courge pour rien.
Le même discours est valable aussi pour freenas et truenas sur les débit et les fonctionnalités l'un est pour du communautaire accés maison, et l'autre a les options de haute disponibilité et des débits mieux maitrisé et optimisé.
et le fait de passer par du virtualisé c'est le même problème vous enfiler un tube dans un tube automatiquement cela va vous faire une réduction de débit dans le dernier tuyaux inséré, c'est de la mécanique des fluides de base. espérer avoir plus avec moins c'est tordu comme concept et avec de l'info il n'y a pas de bouster de flux non plus.
Je le dis et le répète les débits sont logiquement réduit sur du 10gb sous pf, carte il y a une limitation mise en place sur pf et aussi sur opf qui en découle.
Pour ne pas avoir de limitation il faut passé par la version commercial de pf qui lui n'a plus cette limitation et le matériel qui est vendu avec.
J'ai pu voir la différence chez un client qui avait les deux, migration pf vers la version commerciale du produit et du matériel. c'est le jour et la nuit.
Vous vous prenez la courge pour rien.
Le même discours est valable aussi pour freenas et truenas sur les débit et les fonctionnalités l'un est pour du communautaire accés maison, et l'autre a les options de haute disponibilité et des débits mieux maitrisé et optimisé.
et le fait de passer par du virtualisé c'est le même problème vous enfiler un tube dans un tube automatiquement cela va vous faire une réduction de débit dans le dernier tuyaux inséré, c'est de la mécanique des fluides de base. espérer avoir plus avec moins c'est tordu comme concept et avec de l'info il n'y a pas de bouster de flux non plus.
Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN
alors
les irq/interrupts si t'es quasi à fond du 10G c'est "normal" (lis le wiki de BSDRP et t'auras plus de détails). Sous freebsd tu peux essayer de jouer avec le nombre de queues.
pour pfsense, Z m'avait dit que tu peux avoir des tweaks de perf dans la conf advanced, à voir ce que ça donne
les irq/interrupts si t'es quasi à fond du 10G c'est "normal" (lis le wiki de BSDRP et t'auras plus de détails). Sous freebsd tu peux essayer de jouer avec le nombre de queues.
pour pfsense, Z m'avait dit que tu peux avoir des tweaks de perf dans la conf advanced, à voir ce que ça donne