[argnagna] Comprendre la fibre

Message par **kalistyan** » jeu. 13 juin 2013 16:32

@batoub Attention, je ne parle pas d'infiniband. Mais il me semble oui. Mosie pourra te confirmer.

Edit : Non, mais tu peux faire de l'IPoIB (IP sur InfiniBand).

Message par **augur1** » jeu. 13 juin 2013 16:53

[center]

[/center]

Message par **mosie** » jeu. 13 juin 2013 16:54

infiniband/sas oui et non.

Enfaite certaine bay de disque avec bus externe IB/ natif Iscsi possède ce genre de port sas/IB.

mais ça reste profondément de l'IB.

Ex il n'est pas possible de connecter un controleur sas/sata direct en IB si le controleur ne posséde pas lui meme un chip IB.

Pour le point a point, bas c'est comme n’importe quel contrôleur réseau, rien de plus simple a paramètre si tu restes dans des chose simple.

Je le fait avec mes 2 40GB.
raf peut confirmer

Ce qu il faut piger avec l'IB c'est que tu peux appliquer NIMPORTE quel surcouche soft pardessus le protocole de base (avec plus ou moins de facilité), même du gpgpu ...

Donc c'est très multifonction.

Apré les perf rélle selon les diferantes surcouches/protocoles, c'est un autre probléme.

Message par **kalistyan** » jeu. 13 juin 2013 22:32

Petit HS IB.

HP 452372-001 Infiniband PCI-E 4X DDR Dual Port Storage Host Channel Adapter HCA. / Dual 4X 20Gb/s InfiniBand

Modèle => MHGH28-XTC

~30€ ici

Reste à voir pour les câbles.

Message par **TheMartel** » jeu. 13 juin 2013 22:37

oui, les cartes sont vraiment pas cher par rapport au début. mais les câbles c'est une autre affaire...
mosie, tu parlais dadaptateur pour mettre du infiniband sur de la fibre?

Message par **poulpito** » jeu. 13 juin 2013 22:46

... l'infiniband a toujours été que cuivre

jamais fibre

Message par **kalistyan** » jeu. 13 juin 2013 23:02

Je viens de lire ceci (source ici Date de 2001).

Capable de moduler son signal à un débit maximal de 2,5 Gbit/s, le protocole InfiniBand peut ainsi exploiter aussi bien des liens cuivre (Gigabit Ethernet) que fibre optique (10 Gigabit Ethernet)

Message par **poulpito** » jeu. 13 juin 2013 23:19

uhmmm toujours de l'ib depuis 7 piges et j'ai toujours eu que du cuivre
de toute facon ca sera encore pas compatible avec le reste du matos fibre

c'est quand meme le bordel leur truc
reste a passer que sur de la fibre ethernet et passer en iscsi
comme ca tu harmonise tout

ou tout en IB cuivre avec un gros switch

Message par **augur1** » jeu. 13 juin 2013 23:23

Si need des carte fibre Ethernet en 10 GbE, j'en ai en trop avec les SFP+ SR qui vont bien

Message par **mosie** » ven. 14 juin 2013 00:36

bah biensur que l Ib peut ce routet en fibre, aucun probleme de moduler des signaux HF vers optique.

les cable coute plus cher c'est tout.
street a 5 ou 6 cable optique 40G pour IB

mais tu peut tres bien porté du 40 GB loin ;;;;;
ex: http://www.ebay.com/itm/40GBASE-QSFP-AO ... 35c78d5028

check ca; http://www.mellanox.com/page/cables

Par contre en cuivre pour du 40G ca ce limite a quelque métre en théorie.

Message par **augur1** » ven. 14 juin 2013 02:05

Le MELLANOX (MC2210310-010) 10m Fibre IB 40 GbE ne vaut "que" 480$ ...
// 447 $ sur eBay http://www.ebay.com/sch/i.html?_trksid= ... 0&_sacat=0

vs

Fibre LC-LC 2M DUPLEX 10 GIGABIT 50/125 MULTIMODE OM3 AQUA en 10m : 15 $
http://www.ebay.com/itm/LC-LC-10M-DUPLE ... 5aec2cb4e9

Quand il est question de 40 Gb sur de l'infiniband, sagit il de "full duplex" ?
.... car pour le 10 GbE ce n'est pas le cas : en Full Duplex, c'est en fait du 20 GbE.

++

Message par **TheMartel** » ven. 14 juin 2013 12:46

Si need des carte fibre Ethernet en 10 GbE, j'en ai en trop avec les SFP+ SR qui vont bien

le problème c'est que je suppose que c'est pas donné.
Et que les switch valent la peau des couilles.

Message par **augur1** » ven. 14 juin 2013 13:07

Les switchs, en 24 ports : > 2200 € ... 2900 € parfois avec les SFP+

De mon coté, je n'ai pas de switchs : j'ai mis des cartes Dual Port

Si je ne dis pas trop de connerie ; en occaz il faut compter 160 € une carte mono port et 240 € une dual port.
Toujours en occaz, je crois que c'est dans les 80 € les SFP+ SR ; parfois ils sont livrés avec les cartes. Ceci dit, Tadeus en proposait dans les 50 € en mars

Fuck je fasse l'inventaire ...

Message par **Jul77** » ven. 14 juin 2013 13:28

Mais que fais-tu avec tout ça ?? (à part vouloir le vendre)
Et quand tu dis : "De mon coté, je n'ai pas de switchs : j'ai mis des cartes Dual Port" est-ce que ça te dispense de switch ?

Message par **poulpito** » ven. 14 juin 2013 13:35

bah il faut que du point 2 point

ou alors tu met plein de carte dans une seule bécane qui fait switch

Message par **augur1** » ven. 14 juin 2013 13:43

Mais que fais-tu avec tout ça ?? (à part vouloir le vendre)

Les vendre ... pas forcément : ça peut toujours servir ^^

Au tout début du départ, l'idée était de créer un NODE qui permettait d'additionner la RAM puissance de tous les CPU.
Le système d'exploitation ne voyait alors que 1 ENORME CPU avec taquet de RAM.
=> http://smpfr.mesdiscussions.net/smpfr/H ... 1408_1.htm
=> http://forum.setiaddicted.com/viewtopic ... 262#p96262
=> http://smpfr.mesdiscussions.net/smpfr/S ... _661_1.htm
.... mais bon, n'ayant pas réussi à passer mon CAP Milliardaire, je perds mon temps à devoir aller travailler... du coup impossible de mettre cela en place :/

Ensuite, j'ai recyclé ces cartes pour faire du NAS / SAN dans les Rack 24 baies
cf une ébauche : http://smpfr.mesdiscussions.net/smpfr/H ... htm#t32547

Et quand tu dis : "De mon coté, je n'ai pas de switchs : j'ai mis des cartes Dual Port" est-ce que ça te dispense de switch ?

Dans un HP ML150 G6
=> 3x Dual Port = 6 ports 10 GbE
... permettant de fournir du stockage partagé (4x 1 To 10 000 trs Raid0 + 4x 2 To 7200 trs Raid 10) en NAS à 6 stations équipées en carte mono port 10 GbE.

Beaucoup de clients se plantent en parlant de "Fibre". Pour résumer
-> Fiber 2 / 4 / 8 / 16 \ IB = SAN, permettant de fournir aux stations un ou plusieurs volume(s) sur un même espace de stockage sécurisé
-> Fibre ethernet 1Gb / 10GbE / 40 GbIpIB = NAS, permettant de partager les fichiers à partir d'un espace de stockage

Faire du partage en SAN est cependant possible en MultiPath, en verrouillant en lecture seule les fichiers ouverts (+ seule la station sur laquelle le fichier a été crée peut le modifier) ou en utilisant des soft comme MetaSAN, Sanmp ou encore StorNext.

++

Message par **mosie** » ven. 14 juin 2013 14:57

Le MELLANOX (MC2210310-010) 10m Fibre IB 40 GbE ne vaut "que" 480$ ...
// 447 $ sur eBay http://www.ebay.com/sch/i.html?_trksid= ... 0&_sacat=0

vs

Fibre LC-LC 2M DUPLEX 10 GIGABIT 50/125 MULTIMODE OM3 AQUA en 10m : 15 $
http://www.ebay.com/itm/LC-LC-10M-DUPLE ... 5aec2cb4e9

Quand il est question de 40 Gb sur de l'infiniband, sagit il de "full duplex" ?
.... car pour le 10 GbE ce n'est pas le cas : en Full Duplex, c'est en fait du 20 GbE.

++

warf, check mon lien plus haut ta 20M pour 2x moin cher. et c'est la 1ere annonce que j'ai trouver.

J'ai deja vu des 100M 40GB FC a 300$ ... alors des 5m classique ...
Et au pire, si ta le matos tu te fait tes ralongue de fibre comme street.

L'IB est TOUJOURS full duplex.
Pi ca gére le RDMA

Chez po si les contoleur FC classique le gére aussi ? tous. ?

+ d'info: http://www.google.fr/url?sa=t&rct=j&q=i ... 3778,d.ZG4

Message par **Jul77** » ven. 14 juin 2013 18:35

Dans un HP ML150 G6
=> 3x Dual Port = 6 ports 10 GbE
... permettant de fournir du stockage partagé (4x 1 To 10 000 trs Raid0 + 4x 2 To 7200 trs Raid 10) en NAS à 6 stations équipées en carte mono port 10 GbE.

Ah oui d'accord, point à point, c'est plus compréhensible.
Du coup, ton serveur servait de target scsi via les ports 10gbit et le réseau ip "normal" passait par un switch "normal" ?

Message par **augur1** » ven. 14 juin 2013 19:00

Ah oui d'accord, point à point, c'est plus compréhensible.
Du coup, ton serveur servait de target scsi via les ports 10gbit et le réseau ip "normal" passait par un switch "normal" ?

Non : target iSCSI = SAN = pas de partage de fichier simplement.

Or, pour partager des fichiers = en NAS = via Samba ou NFS ou AFP, c'est de l'Ehternet, de l'IP comme tu dis !
.... d'où le réseau en 10GbE, permettant de partager le projet consolidé à partir du stockage en Raid0 vers les stations de calcul 3D, qui elles renvoient les images rendues dans le second espace de stockage en Raid 10.

++

Message par **Jul77** » ven. 14 juin 2013 20:09

Oui ok, c'est le concept de réseau point à point qui est difficile à se mettre en tête lorsqu'on y a jamais touché ...

Message par **gizmo78** » ven. 14 juin 2013 21:08

y a moyen de se faire un kit infiniband style 20Gb à -200€?

Message par **TheMartel** » ven. 14 juin 2013 22:27

ça depend de la longueur...
Si tu prend des dual 10Gb par exemple, c'est 45€ in la carte + 35/40 par cable.
Donc dans les 160€ ça passe bien.

Message par **mosie** » ven. 14 juin 2013 22:35

Plus c'est long ....

Message par **TheMartel** » ven. 14 juin 2013 23:13

Plus ça fait mal

Message par **gizmo78** » sam. 15 juin 2013 09:57

donc

http://www.ebay.com/itm/110911678518?ss ... 1423.l2649 *2

+

http://www.ebay.com/itm/350735984419?ss ... 1423.l2649 (en plus court)

= good?