Quand le bonding ne bond pas bien

kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Quand le bonding ne bond pas bien

Message par kvm »

:hello:

Je fais appel à votre science car je rencontre un problème que je n'arrive pas à solutionner.

J'ai 2 machines Linux reliées toutes les 2 au même switch sur lequel est créé un LAG static par machine.
Côté Linux, les 2 machines sont en bonding (mode 0).

Si je fais un iperf (-P8) de l'une vers l'autre, j'obtiens 1,87 Gbps (ce qui me paraît cohérent).
Si je fais le même iperf dans l'autre sens, pas moyen de dépasser le 1 Gbps.

La configuration est strictement identique.

Sur la machine qui fonctionne bien :
- On envoie bien sur les 2 cartes.
- On reçoit bien sur les 2 cartes.
--> tout est au taquet.

Sur la machine qui ne fonctionne pas correctement :
- On envoie bien sur les 2 cartes.
- Une seule reçoit.

J'ai modifié le "xmit_hash_policy" en "layer3+4" mais résultat identique.
Si je lance un deuxième flux iperf vers une autre IP de la machine, je dépasse le gigabit mais ça va au mieux à 1,5 Gbps.

Pour la config :
- La machine qui fonctionne bien a une carte Gbps (Fibre) et une carte Gbps (Ethernet).
- La machine qui ne fonctionne pas bien a 2 cartes Gbps (Ethernet)
--> Le problème était le même quand la première avait 2 cartes Gbps Ethernet.

Les 2 machines ont le même OS (une en Debian 8 et l'autre en Linux Mint Debian Edition (Debian 8 aussi)).

J'ai supposé à un moment que ça pouvait être les @MAC qui se suivent (XOR du bonding) mais sur celui qui fonctionne j'ai déjà eu ce cas et ça fonctionnait.
Pas de problème de performance CPU non plus.

Si vous avez des idées... :jap:

kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Quand le bonding ne bond pas bien

Message par kvm »

Machine OK :

Bonding :
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: lan0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:2....
Slave queue ID: 0

Slave Interface: lan1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:1...
Slave queue ID: 0
Ethtool :
ethtool lan0
Settings for lan0:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on (auto)
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes


ethtool lan1
Settings for lan1:
Supported ports: [ FIBRE ]
Supported link modes: 1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: FIBRE
PHYAD: 2
Transceiver: internal
Auto-negotiation: on
Supports Wake-on: d
Wake-on: d
Link detected: yes
Interfaces :
auto bond0
iface bond0 inet manual
bond-mode 0
bond-miimon 100
bond-updelay 200
bond-downdelay 200
bond-xmit_hash_policy layer3+4
bond-slaves none

auto lan0
iface lan0 inet manual
bond-master bond0

auto lan1
iface lan1 inet manual
bond-master bond0

Machine NOK
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

Slave Interface: lan0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:e......
Slave queue ID: 0

Slave Interface: lan1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:e.....
Slave queue ID: 0
ethtool :
ethtool lan0
Settings for lan0:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on (auto)
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes

ethtool lan1
Settings for lan1:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
Auto-negotiation: on
MDI-X: on (auto)
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
Interfaces :
auto bond0
iface bond0 inet manual
bond-mode 0
bond-miimon 100
bond-xmit_hash_policy layer3+4
bond-updelay 200
bond-downdelay 200
bond-slaves none

auto lan0
iface lan0 inet manual
bond-master bond0

auto lan1
iface lan1 inet manual
bond-master bond0
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Quand le bonding ne bond pas bien

Message par kvm »

Je vois que ça vous inspire bien :D
Avatar de l’utilisateur
merlin2000fr
Messages : 2140
Inscription : ven. 12 janv. 2018 17:44

Quand le bonding ne bond pas bien

Message par merlin2000fr »

Salut salut

tu parles de deux machines, mais se sont des serveurs ou des pc dédié en serveur ?
-- souvent c'est du aux shipset reseaux qui n'acceptent pas ces montages.

autre chose les cartes réseaux sont des cartes spé serveur ou de simple realteck like ?
- par le passé j'ai eu beaucoup de soucis sous linux et ou sous bsd, avec les shipset realteck and co, j'ai beaucoup moins de soucis quand j'integre des cartes de serveurs voir aucun ;o
bien que ces cartes coutent un chouille plus cher, je prends moins de temps et soucis avec.
Avatar de l’utilisateur
merlin2000fr
Messages : 2140
Inscription : ven. 12 janv. 2018 17:44

Quand le bonding ne bond pas bien

Message par merlin2000fr »

au tres point

j'ai abandonné debian and co car leur drivers ne gerer pas super bien le lag et se met en vrac

pour du linux je reste sur du centos et pour du bsd all passent
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

Quand le bonding ne bond pas bien

Message par kvm »

:hello:

Ce sont des serveurs, ou en tout cas des cartes mères serveurs.
Dans les 2, ce sont des chipset Intel qui normalement devraient bien fonctionner :D.

Perso jamais eu de souci avec le bonding sous Debian, à part ce "souci".
Fait étrange, en passant en kernel 4.9, je n'obtiens plus de 2 Gbps ni d'un côté ni de l'autre...

Je me demande si c'était pas un bug ou une ancienne fonctionnalité.

Du coup, je laisse comme ça car pas sûr de trouver la cause du souci...

Merci quand même :jap:.
Répondre