ριиg σr ρσиg ?

Envie de tchacher, n'hésitez pas !
Alucardfh
Messages : 1053
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par Alucardfh »

Pas du tout !

BIG recommandation pour des serveurs de production vidéo, partagés en CIFS/Samba/AFP via Gigabit :
Why do I get dropped frames when playing back long sequences?
While this could be caused by storage that cannot service the demands of your editors, it can also be symptomatic of the client’s network interface becoming overrun.
The specific topology of your network will influence how this problem manifests itself (10GBE tends to cause more issues), but it can often be solved by implementing “flow control”.

In simple terms flow control allows each client workstations to send a pause frame back to the server.
This is particularly important when playing back long sequences.

In order for this to work you will need a switch that supports asymmetric flow control.
Unfortunately there isn’t a distinct list of brands/models that do this well, however most modern units will do you proud.

In addition, you will need to enable TX/RX flow control on the server using ethtool -a ethX, as well as at every client workstation.
If you are using a bonded network interface you must enable flow control for each adaptor, before creating the bond.
+ rester en MTU 1500 gros max sinon maxi latence !!

ping
Bon le coup d'avoir des overrun sur du gigabit, à moins de se trainer un p4, de réduire l'interrupt coalescing au minimum et de tunner les buffer kernel au minimum, c'est plus vraiment un problème.
Sauf bien sur si ton cpu passe plus de temps a process quelque chose d'autre que de répondre au IRQ de la carte réseau.

Le flow control c'est moyennent utile si ton client et server sont sur le même switch, mais dès que t'as plusieurs switch le flow control 802.3x sert plus à rien puisque les pauses frames sont pas transmises plus haut dans la chaine de transit. Du coup au lieu de discard la ou ça bottleneck tu discard dans le milieu du réseau.

C'est partiellement résolu avec le Priority flow control et les switch qui supporte le DCBX mais c'est uber pénible a config (basé sur des flows que tu map sur une class of service) et si t'as qu'un seul flow qui te bouffe ta BP ... ça change rien.

En plus avoir le flow control TX enabled sur un switch c'est 99% garantie de créer un head of line blocking vu que le switch va non seulement pause le lien qui le demande mais aussi tout les liens qui essaient de parler avec celui la.
Résultat, puisque t'as un lien qui souffre tu te retrouve avec tout ton switch qui pause le traffic.

Ensuite; les pause frames en elle même, c'est bien si t'as des burst de data et que tu veux juste les absorbés, si ton lien est toujours a 100% ou proche, tu va envoyé des pause frame en quasi continue.
Résultat, tu va ralentir la réception de certain paquet,utiliser tout ton buffer sur le switch ... au point que ça risque de discard sur le switch, et la TCP il va pas aimer, donc on part en retransmit avec une fenêtre de congestion réduite == grosse latence à cause du retransmit + débit ralentit puisque cwnd réduite .

La vrai solution, carte réseau avec de gros ring buffer hardware et switch avec de gros buffer, ou passer sur un lien de plus gros calibre qui sera sous utilisé.


Pour la MTU, si ça t'introduit de la latence de passer sur des jumbo, c'est que t'as un problème avec l'interrupt coalescing qui est pas tuner correctement.

Source : je viens de passer deux mois à résoudre ce problème sur du 10GB et 40GB avec des switchs Mellanox, Force10 et Arista.

pong

belkav
Messages : 1912
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par belkav »

C'est pas faux :o

Ping
Avatar de l’utilisateur
augur1
Messages : 13167
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

ριиg σr ρσиg ? Côté obscur

Message par augur1 »

Bon le coup d'avoir des overrun sur du gigabit, à moins de se trainer un p4, de réduire l'interrupt coalescing au minimum et de tunner les buffer kernel au minimum, c'est plus vraiment un problème.
Sauf bien sur si ton cpu passe plus de temps a process quelque chose d'autre que de répondre au IRQ de la carte réseau.

Le flow control c'est moyennent utile si ton client et server sont sur le même switch, mais dès que t'as plusieurs switch le flow control 802.3x sert plus à rien puisque les pauses frames sont pas transmises plus haut dans la chaine de transit. Du coup au lieu de discard la ou ça bottleneck tu discard dans le milieu du réseau.

C'est partiellement résolu avec le Priority flow control et les switch qui supporte le DCBX mais c'est uber pénible a config (basé sur des flows que tu map sur une class of service) et si t'as qu'un seul flow qui te bouffe ta BP ... ça change rien.

En plus avoir le flow control TX enabled sur un switch c'est 99% garantie de créer un head of line blocking vu que le switch va non seulement pause le lien qui le demande mais aussi tout les liens qui essaient de parler avec celui la.
Résultat, puisque t'as un lien qui souffre tu te retrouve avec tout ton switch qui pause le traffic.

Ensuite; les pause frames en elle même, c'est bien si t'as des burst de data et que tu veux juste les absorbés, si ton lien est toujours a 100% ou proche, tu va envoyé des pause frame en quasi continue.
Résultat, tu va ralentir la réception de certain paquet,utiliser tout ton buffer sur le switch ... au point que ça risque de discard sur le switch, et la TCP il va pas aimer, donc on part en retransmit avec une fenêtre de congestion réduite == grosse latence à cause du retransmit + débit ralentit puisque cwnd réduite .

La vrai solution, carte réseau avec de gros ring buffer hardware et switch avec de gros buffer, ou passer sur un lien de plus gros calibre qui sera sous utilisé.


Pour la MTU, si ça t'introduit de la latence de passer sur des jumbo, c'est que t'as un problème avec l'interrupt coalescing qui est pas tuner correctement.

Source : je viens de passer deux mois à résoudre ce problème sur du 10GB et 40GB avec des switchs Mellanox, Force10 et Arista.
Ce que tu indiques sur le Flow Control 802.3x est TRÈS intéressant ! ;)
Cependant, dans le cas de serveur de Streaming / Post Production vidéo partagé en Ethernet LAN (SMB/CiFS/AFP), le serveur est connecté en 10GbE cuivre sur 1 seul switch de 24 à 52 ports.
Idéalement les flux sont transférés en UDP et uniquement contrôlés en TCP... pour ce cas de figure : le protocles NFS et AFP sont bien plus efficace que SMB ; quid des SMB > 3.0 ?!
Ensuite une QoS adaptée au débit du codec (DNxHD / DNxHR, au pire la panoplie ProRes ou cineform ou h264) et au nombre de flux souhaité est appliqué sur la carte réseau par laquelle passe les flux vidéos.
Quant au CPU des machines cliente, ils passent leur temps à décoder les flux vidéo / faire des rendu d'image ...

Si tu as eu l'occasion de tester ce genre d'applicatif et que tu as d'autres recommandations pour optimiser davantage serveurs & réseau, pongez me more ! :)


Avatar de l’utilisateur
Ryu_wm
Messages : 8250
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par Ryu_wm »

Amd, t'en a pour ton argent ! :lol:

Ping

ping, heureusement gratos (j'ai acheté un Core i7 à ma mère et elle m'a donné sa bouse)
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par Zedoune »



ping, heureusement gratos (j'ai acheté un Core i7 à ma mère et elle m'a donné sa bouse)
elle avait vraiment besoin d'un i7 ? :D

pong
Avatar de l’utilisateur
Ryu_wm
Messages : 8250
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par Ryu_wm »

Nop (ping) elle avait surtout besoin d'un ultraportable rapide avec sortie HDMI (pour faire ses présentations à ses clients), je lui ai trouvé une occaz sympa sur ebay
Avatar de l’utilisateur
c0bw3b
Messages : 5523
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

ριиg σr ρσиg ? Côté obscur

Message par c0bw3b »

pong

Qqun a déjà eu affaire au SAV Cooler Master ? Ils gèrent bien ? Faut renvoyer qq part en Europe ?

J'ai un clavier Quickfire Rapid-i de moins d'un an qui a déjà 2 LEDs de rétroéclairage HS :/
Soit je passe par LDLC soit en direct chez CM.
Alucardfh
Messages : 1053
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par Alucardfh »

Ce que tu indiques sur le Flow Control 802.3x est TRÈS intéressant ! ;)
Cependant, dans le cas de serveur de Streaming / Post Production vidéo partagé en Ethernet LAN (SMB/CiFS/AFP), le serveur est connecté en 10GbE cuivre sur 1 seul switch de 24 à 52 ports.
Idéalement les flux sont transférés en UDP et uniquement contrôlés en TCP... pour ce cas de figure : le protocles NFS et AFP sont bien plus efficace que SMB ; quid des SMB > 3.0 ?!
Ensuite une QoS adaptée au débit du codec (DNxHD / DNxHR, au pire la panoplie ProRes ou cineform ou h264) et au nombre de flux souhaité est appliqué sur la carte réseau par laquelle passe les flux vidéos.
Quant au CPU des machines cliente, ils passent leur temps à décoder les flux vidéo / faire des rendu d'image ...

Si tu as eu l'occasion de tester ce genre d'applicatif et que tu as d'autres recommandations pour optimiser davantage serveurs & réseau, pongez me more ! :)

Je bosse très peu avec CIFS, pas du tout avec SMB et AFP. Majoritairement je fais du NFS en TCP et des protocoles proprio de filesystems parallèles aussi basé sur du TCP.
Du coup mon expérience est pas mal biaisé TCP.

Mais bon typiquement si ton flux transite en UDP tu va avoir besoin de large buffer pour absorbé les burst et du flow control pour que les clients puissent souffler un peu.
Par contre le flow control TX sur le switch ça risque de pas être une super idée vu que si un client pause, le serveur risque de pause aussi et donc tout tes clients seront pause en fait.

Par contre, vu que ça à l'air d'être des workstation, si t'as qu'une seule carte réseau jette un coup d'oeil au priority flow control https://en.wikipedia.org/wiki/IEEE_P802.1p ça peut valoir le coup si t'as plusieurs catégorie de flows qui se batte pour la bande passante.

Sinon ce site à pas mal de ressources pas trop déconnante sur le tunning du 10Gb and above : http://fasterdata.es.net/host-tuning/background/
Mais bon, tout ça ça demande du testing, le tuning réseau pour le 10Gb and above ça reste encore jeune (typiquement moi j'attends DCTCP qui réduira le besoin de buffer de 80-90%)

ping
Avatar de l’utilisateur
augur1
Messages : 13167
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

ριиg σr ρσиg ? Côté obscur

Message par augur1 »

ton flux transite en UDP tu va avoir besoin de large buffer pour absorbé les burst et du flow control pour que les clients puissent souffler un peu.
Par contre le flow control TX sur le switch ça risque de pas être une super idée vu que si un client pause, le serveur risque de pause aussi et donc tout tes clients seront pause en fait.
C'est bien plus compliqué : il faut jongler avec les latences.
Le burst dépend des codecs, en pivot / i-Frame il est égal à son débit
... c'est le h264 VBR en ibp le pire de tous, surtout en 4k : il faut qu'il balance d'abord les headers qui sont éparpillé dans le fichiers, en le mettant au début, et ça pour chaque fichiers !
For interactive applications, the use of cell scale buffering only has the significant advantage of providing very small network delay variation.
Conversely, to efficiently use network resources in this case requires that the multiplexed video signal have a peak rate which is a small fraction of the link rate. Burst scale buffering can improve network efficiency, but the disadvantage is that delay variation can be wide and must be compensated for by an appropriately dimensioned playout buffer in the video receiver.
The delay bounds can be rather large, and even then are only strictly appropriate if the network implements non-FIFO queueing disciplines guaranteeing a certain throughput per connection.
We have only considered leaky-bucket-defined.
The appropriateness of such a description remains debatable for many traffic sources.
For video connections, in particular, the practicality and the usefulness of describing traffic in this way depend on the type of coding algorithm
Si ça t’intéresse, le leader Avid et son système de stockage iSiS a fait une doc avec Cisco et leurs Nexus
-> http://www.avid.com/static/resources/co ... ystems.pdf

ping
Alucardfh
Messages : 1053
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par Alucardfh »

C'est bien plus compliqué : il faut jongler avec les latences.
Le burst dépend des codecs, en pivot / i-Frame il est égal à son débit
... c'est le h264 VBR en ibp le pire de tous, surtout en 4k : il faut qu'il balance d'abord les headers qui sont éparpillé dans le fichiers, en le mettant au début, et ça pour chaque fichiers !
For interactive applications, the use of cell scale buffering only has the significant advantage of providing very small network delay variation.
Conversely, to efficiently use network resources in this case requires that the multiplexed video signal have a peak rate which is a small fraction of the link rate. Burst scale buffering can improve network efficiency, but the disadvantage is that delay variation can be wide and must be compensated for by an appropriately dimensioned playout buffer in the video receiver.
The delay bounds can be rather large, and even then are only strictly appropriate if the network implements non-FIFO queueing disciplines guaranteeing a certain throughput per connection.
We have only considered leaky-bucket-defined.
The appropriateness of such a description remains debatable for many traffic sources.
For video connections, in particular, the practicality and the usefulness of describing traffic in this way depend on the type of coding algorithm
Si ça t’intéresse, le leader Avid et son système de stockage iSiS a fait une doc avec Cisco et leurs Nexus
-> http://www.avid.com/static/resources/co ... ystems.pdf

ping

Hum, c'est bien funky comme techno. Et effectivement, si tu as besoin d'avoir un jitter ridicule, de gros buffers risque de te causer des problèmes.

Enfin AVID c'est des vendeurs de switch ? Parce que leurs PDF c'est une descriptions de toute les technos principale Cisco ... Et c'est pas tout jeune : ont a fait des progrès depuis 2010.
(typiquement je bosse avec ça : https://www.arista.com/en/products/7280e-series , ça à presque le double de switching capacity comparé à une Sup 7 de 4500 ... et c'est un switch d'accès)

Enfin en lisant la doc t'as vite l'impression qu'il ont choisi de tout blamer sur le hardware alors que le problème est causé par la manière de streamer les data.

Typiquement le 0ms de latence pour que ça marche c'est du véridique ou c'est du pipo ?
Parce que la pour ça tu colle une fabric ethernet et tu programme tes flows --> temps de transit garantit entre A et B.

pong
gizmo78
Messages : 20567
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par gizmo78 »

C'est pas faux :o

Ping
Je me suis dit exactement la même chose :D

pong
Avatar de l’utilisateur
augur1
Messages : 13167
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

ριиg σr ρσиg ? Côté obscur

Message par augur1 »

Alucardfh : Avid est le leader des solutions de montage video et stockage partagé.
Le switch Main est un Cisco Nexus.

Le 0ms de latence c'est véridique !
... sinon pour les worstation, c'est très pénible de travailler.

Ping
arank-thnar
Messages : 5001
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par arank-thnar »

Je viens de découvrir que Noky était dead. :/

Oui je sais je suis à la bourre! :o

Pong
vachfolle
Messages : 3905
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par vachfolle »

ah ?
^^

Bourre²

PinG
Avatar de l’utilisateur
merlin2000fr
Messages : 2140
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par merlin2000fr »

quesaquo noky ? pong qui débarque de la lune
belkav
Messages : 1912
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par belkav »

Nokytech

Un bon site qui a fermé y'a pas mal de temps (et je sais pas pourquoi :/ )

Ping
Avatar de l’utilisateur
biour
Messages : 24453
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par biour »

bha tout est parti d'un soucis sur la BDD en Fevrier, mais depuis plus de nouvelle ....
y'a un topic sur HFR
pong http://forum.hardware.fr/forum2.php?con ... w=0&nojs=0
Image
Avatar de l’utilisateur
c0bw3b
Messages : 5523
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

ριиg σr ρσиg ? Côté obscur

Message par c0bw3b »

ping

Ouep c'était déjà en roue libre j'crois que le crash du site leur a fait dire "bon bah on plie tout hein"

Matbe disparu également... faisait de bons dossiers eux aussi znif
Avatar de l’utilisateur
augur1
Messages : 13167
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

ριиg σr ρσиg ? Côté obscur

Message par augur1 »

Matbe avait été repris par presence-pc ou pcimpact, non ?!

Pong
Avatar de l’utilisateur
biour
Messages : 24453
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par biour »

pas par nextinpact, ni l'autre je crois pong
Image
Avatar de l’utilisateur
c0bw3b
Messages : 5523
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

ριиg σr ρσиg ? Côté obscur

Message par c0bw3b »

ping

C'était devenu PCWorld.fr mais ça a disparu également.
arank-thnar
Messages : 5001
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par arank-thnar »

Et du coup, que reste-il comme site de news hardware?
HFR et Tom's Hardware?

PoNg
Avatar de l’utilisateur
biour
Messages : 24453
Inscription : ven. 12 janv. 2018 17:44

ριиg σr ρσиg ? Côté obscur

Message par biour »

Nextinpact clubic .... Pong
Image
Avatar de l’utilisateur
c0bw3b
Messages : 5523
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

ριиg σr ρσиg ? Côté obscur

Message par c0bw3b »

Comptoir-Hardware et Cowcotland les plus sympa à mon goût :)

Après c'est en anglais ping
Avatar de l’utilisateur
augur1
Messages : 13167
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

ριиg σr ρσиg ? Côté obscur

Message par augur1 »

Hardforum, je kiffe bien aussi :sol:

Pong
Répondre