Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

merlin2000fr a écrit : mer. 23 oct. 2019 09:27 Salut salut

Je le dis et le répète les débits sont logiquement réduit sur du 10gb sous pf, carte il y a une limitation mise en place sur pf et aussi sur opf qui en découle.

Pour ne pas avoir de limitation il faut passé par la version commercial de pf qui lui n'a plus cette limitation et le matériel qui est vendu avec.
J'ai pu voir la différence chez un client qui avait les deux, migration pf vers la version commerciale du produit et du matériel. c'est le jour et la nuit.

Vous vous prenez la courge pour rien.

Le même discours est valable aussi pour freenas et truenas sur les débit et les fonctionnalités l'un est pour du communautaire accés maison, et l'autre a les options de haute disponibilité et des débits mieux maitrisé et optimisé.

et le fait de passer par du virtualisé c'est le même problème vous enfiler un tube dans un tube automatiquement cela va vous faire une réduction de débit dans le dernier tuyaux inséré, c'est de la mécanique des fluides de base. espérer avoir plus avec moins c'est tordu comme concept et avec de l'info il n'y a pas de bouster de flux non plus.
pfsense et opnsense le soft est gratuit :heink: tu paye que le hardware
et tu paye surtout une matrice de compatibilité optimisée à mon avis. pas de unlock précis dans le software sinon comme c'est opensource tout le monde l'aurai vu

pour le virtualisé on est OK sauf que la je passe pas par du virtualisé mais bien sur du baremetal direct :)
j'ai testé avec la X520-da2 et freebsd dans une VM directement avec la carte en passthrough hier soir, je retrouve mes 8Gbits/sec
donc même avec l'os virtualisé et la carte en direct ca boost !
me reste à tester la carte attribuée à vmware et utiliser un adapt vmxnet3 pour vérifier la aussi ce que ca donne histoire que j'ai mes propres chiffres :)
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

gizmo78 a écrit : mer. 23 oct. 2019 09:28 alors :D

les irq/interrupts si t'es quasi à fond du 10G c'est "normal" (lis le wiki de BSDRP et t'auras plus de détails). Sous freebsd tu peux essayer de jouer avec le nombre de queues.

pour pfsense, Z m'avait dit que tu peux avoir des tweaks de perf dans la conf advanced, à voir ce que ça donne
ouai ... sauf que à 8Gbits le cpu glandouille tranquillement et j'ai pas d'irq/interrupt outre mesure ^^
pour moi c'est les softs de traitement des paquets qui font des irq le temps d'arriver à traiter correctement

j'ai fait déjà pas mal de tests de tweaks et d'opti avec les wki / liens / topics
changer la méthode d'attribution des irq / changer les tunables sysctl pour laisser un peu de marge à la carte / changer l'offload / mtu et cie
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

la je test untangle un firewall payant (50€/ans je crois la licence homepro) basé sur debian
la en direct avec la carte sur le baremetal j'ai 6.20 Gbits/sec (je peux pas dire vu que le serveur de test est publique ... suffit qu'un connard comme moi le charge ^^ et le test veut rien dire m'enfin au moins c'est plus que pfsense/opnsense)

sinon j'ai fouiné dmesg et j'ai compris pourquoi mon deuxième port est pas visible sur la 520-da2
[ 2.801476] ixgbe 0000:03:00.1: failed to load because an unsupported SFP+ or QSFP module type was detected.
[ 2.801478] ixgbe 0000:03:00.1: Reload the driver after installing a supported module.

elle aime pas mon gbic 10GbaseT ubiquity :o :o :o :lol: bon y'a rien de branché dessus, c'était juste poussé en vrac comme ça :D
histoire de
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN, untangle WIN

Message par poulpito »

Test fait avec untangle baremetal avec la X520-DA2 en direct
6.20 Gbits/sec

Test fait avec untangle virtualisé avec la X520-DA2 en passthrough
6.76 Gbits/sec

Test depuis une VM windows sur un vswitch partagé avec le LAN d'untangle
5.6 Gbits/sec

Test depuis une VM linux debian sur un vswitch partagé avec le LAN d'untangle + sur un VLAN déclaré dans le groupe de port vmware
5.6 Gbits/sec


DONC l'overhead vmware avec le passthrough c'est une légende urbaine xD nan en vrai y'a un peu on fait un bond de 1Gbits sauf que comme le test est public je sais pas si je peux me fier aux résultats le principal c'est de voir 5G+ constant ^^
ah et untangle est gratuit avec les modules de base, c'est les plugins qui sont payants genre DPI portail captif report intrusion
m'enfin ca permet au moins de tester le bordel y'a le nat / firewall / dhcp :o le principal
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos WIN

Message par poulpito »

Pour info je commence à passer en prod Untangle en VM vmware ^^ avec un seul client je dépasse rarement les 4gbits mais avec 2 actifs derrière ca dépasse largement les 6gbits donc c'est tout bon :)

Côté conf :
X520-DA2 en passthrough c'est le WAN sur untangle
et le LAN j'ai un vmxnet qui sert un vswitch ou j'ai mes VM + sur le même vswitch une sortie réseau 10G ethernet vers le switch du reste de l'infra

j'ai gardé la freebox en router (untangle en tant que DMZ) déjà parce que le mode bridge merde de temps en temps mais surtout ce qui me permet d'avoir juste à démarrer une autre machine untangle en baremetal (ok elle sera qu'en 1G) mais avec VRRP ce sera full transparent et la conf répliquée entre les deux routeurs
faut encore que je bosse sur cette partie mais je suis content d'avoir ces soucis de perf derrière moi ... en attendant d'investir dans un vrai edgerouter infinity un jour prochain
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

\o untangle en prod complet
tout mon cœur est en 10G derrière la freeboite et toutes mes vm/domotique/etc etc redispatch sur les vlan qui vont bien
:D (me reste qq trucs à fignoler) ca envoi pas mal untangle et les cpu foutent rien, pas d'irq à la con ou autre merde du genre

Image

Me reste l'ipv6 à remettre ... pas encore penché dessus sur untangle :sarcastic:
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

deuxième effet de bord que j'avais pas estimé
sur un ping google classique aucun effet notable
sur Apex (le jeu) j'ai observé une baisse de ping de 4-5ms la ou j'avais 19ms vers l’Angleterre constant, j'ai 15 maintenant pareil en permanent

j'arrive pas à piger d’où ça vient (l'erl3 était pas raz la gueule) mais pourquoi pas :D
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par augur1 »

Dns / backboneet donc route ou nego bande passante différente.. ?!
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par Zedoune »

Si t'as de l'IPv6, ptet que ça passe bien avec untangle et pas avant ?
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

non ca varierait la c'est rock stable entre hier et auj pareil avant j'avais toujours les mêmes temps

et non l'ipv6 était même pas encore configuré, full ipv4 (les serveurs de jeu apex sont pas ipv6 compliant en plus)
la j'ai reconf l'ipv6 et pas de changement
intel59
Messages : 7
Inscription : dim. 8 mars 2020 15:05

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par intel59 »

Salut poulpito

Toujours aussi content de untangle ?
Je viens de passer il y a quelques jours a la fibre chez Orange avec leur offre 2G(2x1G) avec une Livebox 5.
J'avais jusqu’à présent un OPNsense qui tournait dans une machine virtuelle sous Proxmox le tout sur un petit Odroid-H2 (J4105/TDP10W), mais bon maintenant avec la fibre cette solution est un peu a la ramasse.

J'ai ensuite essayé avec un switch Mikrotik CRS328-24P-4S+, qui fait aussi Routeur, avec une config de base, il était plus la ramasse que mon autre config, j'ai peut être loupé quelque chose dans la config, mais bon ce genre de matos n'est je pense pas fait pour ça. J'espere qu'il sera a la hauteur pour la partie switch ^^, je l'ai pris essentiellement pour les quelques ports SFP+ que je souhaiterais utiliser sur mes NAS, et pour le POE.

Donc suite a tes post sur untangle, je viens de m'y mettre hier soir, toujours en virtu sous Proxmox, pour le moment sur une machine un peu plus puissante. (Xeon E3-1220L V2), ca a l'air sympa, les perfs sont là pour le moment, il faut que je voie si j'arrive a faire ce que je veux et si ca correspond a mes besoin, par contre j'ai l'impression que c'est très peu connu en france ?
Pour le moment je suis sur la version gratuite qui propose déjà pas mal de fonctionnalité.

Bon au final je suis toujours a la recherche de "la solution" qui me conviendrais le plus, a terme je voudrais virer la box pour éviter le double NAT, mais bon je vais y aller par étape.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

Toujours aussi content :)
Avatar de l’utilisateur
Ryu_wm
Messages : 7402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Pont l'Abbé d'Arnoult (17)
Contact :

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par Ryu_wm »

intel59 a écrit : dim. 8 mars 2020 19:51
J'avais jusqu’à présent un OPNsense qui tournait dans une machine virtuelle sous Proxmox le tout sur un petit Odroid-H2 (J4105/TDP10W), mais bon maintenant avec la fibre cette solution est un peu a la ramasse.
:hello:

pourquoi virtualiser sur cette plateforme et ne pas mettre directement la couche firewall ?
intel59
Messages : 7
Inscription : dim. 8 mars 2020 15:05

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par intel59 »

pourquoi virtualiser sur cette plateforme et ne pas mettre directement la couche firewall ?
Salut
J’étais avant ca avec Pfsense et une carte commencant a être un peu vieille APU1... , les MAJ/Install étant un peu plus compliqué car la carte n'etait plus supporté, j'ai donc cherché une solution de remplacement.

En même temps, on m'a parlé de Proxmox que je ne connaissais pas, je mettais amusé jusqu'a maintenant qu'avec ESXI.
En parallele je suis tombé sur cette Carte Odroid H2, faible conso avec une base Intel, et vue que je fais aussi mumuse avec quelques Raspberry ... bref quelques Watts parci parla. Du coup je me suis mis en tête d'essayer de rassembler quelques truc ensemble.
En plus l'idée de pouvoir faire facilement et rapidement des Snapshot/Backup, ZFS & co me plaisait pas mal.

Donc c'etait aussi bien l'aspect découverte/curiosité de Proxmox, que de m'initier un peu aussi a la "containerisation", mais aussi le fait de rassembler sur une même machine quelques applications (PiHole, Serveur LMS (Logigtech Squeezbox)+OMV, Solution Domotique en Test, NAS, Serveur SIP, Suivi de Comptage ... ) afin d'avoir plus de souplesse dans les sauvegarde mais aussi afin de reduire un petit peu la conso.

Sur cette machine j'ai 32Go et 2xSSD en ZFS Mirroir.

L'etape suivante c'est d'essayer un cluster de proxmox,mais bon j'ai encore pas mal de truc a voir avant.

J'ai aussi un autre Odroid H2 que j'utilise en NAS avec OMV (SnapRAID+UnionFS) sur lequel j'ai mis une carte RAID afin d'avoir jusqu'a 8 Disques, le tout mis en place dans un Rack 2U.
Avatar de l’utilisateur
Ryu_wm
Messages : 7402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Pont l'Abbé d'Arnoult (17)
Contact :

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par Ryu_wm »

ok,tu rentabilise vachement la petite plateforme je comprends.
Mais quand tu disais que c'était à la ramasse (firewall virtualisé) je me disais qu'en mettant en vraie install ça passerai mieux.
Dans le sujet initial le test montre que PfSense (selon la plateforme) est à la ramasse bien au delà des 1Gbs...

Mais ok bien compris.
Avatar de l’utilisateur
merlin2000fr
Messages : 2140
Inscription : ven. 12 janv. 2018 17:44

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par merlin2000fr »

salut salut

Comme certain le savent j'ai plusieurs pf et je les suis depuis la v1.0, il a bien évolué, je ne suis pas partisant de la virtualisatoin de ce type de produit, bien que je puisse comprendre la démarche, mon esprit torturé et parano me dit de ne pas le faire sauf pour un labo pour le savoir faire ou la démonstration, je n'irais pas plus loin sur ce débat là

D'autre part, j'ai pu constater avec la version commerciale et donc plus vraiment un pfsense limité que leur produit tiennent bien la route en 10gb+ mais c'est du commercial et donc avec les couts qui en sont induits. Cela peut valoir le cout face au gros du marché, le sujet n'etant pas là.

Oui pfsense a du moins bon virtualisé ou pas au dela de 1gb, mais pour un usage semi-pro du simple pare feu au gros montage multiwan-multisite ça fait le taf et meme bien à moindre frais, faut juste mettre la tete dedans et la garder assez longtemps pour voir sur le long terme.
personnellement j'ai un cluster FO/LB pour du particulier c'est overtouch, mais c'est fun à faire.

bon courage pour la suite
intel59
Messages : 7
Inscription : dim. 8 mars 2020 15:05

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par intel59 »

ok,tu rentabilise vachement la petite plateforme je comprends.
Oui, il y a quelques mois j'ai pris conscience que tout le matos coutait cher en ELEC a l'année.
On est pas mal ici a avoir des labs de fou (pour des particulier), mais je pense que personne ne travaille chez EDF. :?:
Quand j'ai mesuré la conso d'un R710 avec ces 2 alim alors qu'il etait a l'arret et que j'ai calculé ca sur une année, je me suis a dit a oui quand même :cry:
Du coup le NAS Norco avec ca 20aine de HDD :whistle: :whistle: ...
....je me disais qu'en mettant en vraie install ça passerai mieux.
Dans le sujet initial le test montre que PfSense (selon la plateforme) est à la ramasse bien au delà des 1Gbs...
Oui c'est possible, a l'époque quand j'ai mis en place OPNsense sous proxmox j'étais tombé sur des post qui indiquaient qu'il pouvait y avoir des problèmes réseaux/voir de compatibilité carte réseau virtuel.
En suivant les recommandation trouvé sur les Forum Pfsense/OPNsense et Proxmox j'avais reussi a avoir qq chose de correct pour ma co ADSL.

Après actuellement je ne suis "qu'a 1Gb", le CPU n'etait pas sollicité sous OPNsense, j'etais probablement face a un problème d'optimisation/configuration.

Mon config Untangle commence a bien fonctionner (pour le moment sur un Xeon), au moins comme ca pour le moment je pars sur une base hard solide qui je suis sur tien la route.
J'ai réussi a mettre en place OpenVPN en TCP sur le port 443 ce qui n'est pas évident au 1er abord, a cause de l'interface admin sur le port 443 et des garde fou qu'ils ont mis sur ce port, ca me permettra éventuellement d'y avoir accès en étant deriere un proxy depuis le TAF.
Ca m'a permis de me faire un peu la main dans l'interface d'admin.

Next Step, intégration de Pi-hole dans la chaine, faut que je regarde car apparement des fonctions similaire sont incluse dans Untangle (a voir si elle sont intégré aussi dans la version gratuite), mais apparement certains utilisateur cherche a utiliser les 2 quand même.

Restera plus qu'a transférer ca sur ma petite becane ensuite pour voir si elle tient la route.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

Pour openvpn (j'ai wireguard plus performant) et pihole, ce sont des VM derrière untangle ;)
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par augur1 »

poulpito a écrit : mer. 11 mars 2020 15:24 Pour openvpn (j'ai wireguard plus performant)
OpenVPN se connecte ... à du OpenVPN
mais wireguard : il faut également du wireguard de chaque coté ? il y a un client windows ou android ?
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

il y a un client windows / android il faut la paire niveau soft :)
mais niveau perf on a réussi à faire du full giga vers la suisse avec le pote ^^
intel59
Messages : 7
Inscription : dim. 8 mars 2020 15:05

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par intel59 »

Oui j'ai vu que Wiregard etait apparement plus performant, par contre tant que je ne pourrais pas l'utiliser en TCP/443, je serais bloqué par le proxy de mon taf.
Apparemment L'equipe d'untangle regarde pour intégré Wireguard d'ailleurs.
Pour openvpn (j'ai wireguard plus performant) et pihole, ce sont des VM derrière untangle
As-tu essayé et utilises-tu l'application Ad Blocker dans Untangle ?

Si oui tu as paramétré tout ca comment avec Pi-hole ?

Pour le moment je fais le test avec Ad Blocker, ca a l'air de faire le Job.
Après j'ai tellement l'habitude de naviguer sans pub que je sais pas sur quel site je dois aller pour voir si ca fonctionne aussi bien ou moins bien que Pi-hole.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par poulpito »

non dans untangle j'ai rien d'activé je préfère garder les fonctions séparées ^^
et j'ai juste mis l'ip de pihole sur les paramètres DHCP en DNS override :)
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par augur1 »

Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

Re: Pfsense/OPnsense sur ESX et 10Gbits = KO, vyos OK, untangle WIN

Message par augur1 »

intel59 a écrit : mer. 11 mars 2020 18:35 Oui j'ai vu que Wiregard etait apparement plus performant, par contre tant que je ne pourrais pas l'utiliser en TCP/443, je serais bloqué par le proxy de mon taf.
Hi. Super easy with Wireguard to run on a different port. Only thing to remember is that both sides need to agree on the port.

The far side should have its listener set in its configuration with a line similar to
# Configure the Port Wireguard will be listening with
set interfaces wireguard wg0 listen-port 443 

While your USG will then connect to that agreed port with the line finishing with :443 as the new port choice

# Now, we need to tell the interface the address of the far side of the bridge
# And also the password to allow us connect
set interfaces wireguard wg0 peer <Insert-Public-Key-Of-Peer-Here> endpoint 14.28.207.179:443

443 in this case should then be permitted on the firewalls and to keep life simple not already be in use by a website on the endpoints
Répondre