PROJET: boot on lan sur DDRAM vive

Message par **mosie** » ven. 8 juil. 2011 11:59

erf vi, rooo

Message par **gizmo78** » ven. 8 juil. 2011 12:03

oui c'est chiant, mais de l'autre coté c'est chiant à lire aussi

Message par **kalistyan** » ven. 8 juil. 2011 12:05

Message par **Larifounette** » ven. 8 juil. 2011 12:07

''le linux temporaire faut voir ça comme grub ou lilo, un gestionnaire de boot.''

Wep a test, ca semble pas mal comme système.

Pour tes contrôleur optique, je n'ai malheureusement pas 2 conf en PCI 64.
Je sen que je vais galéré pour trouver des contrôleur IB.
Selon vous serai t il possible de demander 2 sample a un constructeur pour ce projet ?

autre petite question:

BULBA me propose:

8 barrettes Hynix 8GB 2Rx4 PC3-10600R
et
4 barrettes Samsung 8GB 2Rx4 PC3-10600R

Le combo de module de même caractéristique peut t il posé problème sur ce genre de CM (z8pe d18) ?

Encore merci pour votre aide a tous.

Oui, sans probleme pour la mémoire.

Message par **mosie** » ven. 8 juil. 2011 18:53

QQ aurai moyen de SAV ca par son taf ?

http://cgi.ebay.com/592520-B21-HP-INFIN ... 3368dc3fa5

pas compatible win mais bon ...

Sinon ce modèle la est un bon compromie perf/prix.
http://cgi.ebay.com/MHQH19B-XTR-Mellano ... 5ae112854d
Si les contrôleur dual port ne peuvent pas cumuler les 2 port ( mètre en ''raid'' interne les 2 ports).

rroooo, déjà des modèle en PCIE 3.0

http://www.mellanox.com/content/pages.p ... section=41
[#001ce2]Tout les modele lister gérerai win par WINOF[/#001ce2]
Je vais surement faire une demande de 2 sample pour les test, hihi

ou alors ca:
http://cgi.ebay.com/Mellanox-InfiniBand ... 2eb6118caf

Y en a 2 en plus

Message par **mosie** » sam. 9 juil. 2011 01:42

Des info intéressante de boot win sur contrôleur IB mellanox via protocole ISCSI:

http://www.mellanox.com/related-docs/pr ... manual.pdf

winOF a test dessus, ca peut être pas mal. [#000ef0]Ils le liste même officiellement.[/#000ef0]
http://www.mellanox.com/content/pages.p ... section=34

Message par **mosie** » ven. 5 août 2011 17:30

Donc MAJ:

.Toujours pas de news du SAV asus pour la Z8PE D18.

.Achat en urgence de 2 mellanox, mono port 40Gbs, last version:
http://cgi.ebay.com/MHQH19B-XTR-Mellano ... 5ae112854d

Le vendeur en avais plus de 10 la semaine dernière et au vus de leur prix 3X moins cher, ils sont vite partie.

.Pour les connectique je cherche un bon prix pour un câble DUAL 4X QSFP
Genre ca: http://cgi.ebay.com/Mellanox-MCC4Q30C-0 ... 2eb36070f5

Entre 3M et 1M.

.Je compte aussi me trouver un câble QSFP / minisas 8087 (vivi ca existe!), qui me permettra de test l'interconnexion d'un areca 1880ix en IB.
Je me pose pas mal de questions sur les multi accès possible sur un même volume ...

.Je compte toujours sur bulba pour ces 12X 8GB de 1333, dès que je recevrais la z8pe.

.Je flippe toujours autant sur la mise en place de winOF, ca gestion du protocole de base IB ...

*je ferais des test avec ma conf connecter avec les 2 contrôleur IB, a celle d'un un pot, aussi sur SR2.

Message par **biour** » ven. 5 août 2011 21:10

rhaaaaaa presque parfait jusqu’à la dernière phrase que je n'ai point comprise

mais y'a du progrés !!!!!
continu mon chti gars

Message par **kalistyan** » ven. 5 août 2011 21:43

je ferais des test avec ma conf co a celle monter pour un pot, aussi sur SR2.

Je ferais des tests avec ma configuration, puis comparer avec celle d'un pote...

Correcte ?

Message par **mosie** » ven. 5 août 2011 22:36

a part ca, pas plus d'idée sur comportement de winOF , commentaire technique, idée sur les multi accès de volume sur areca ...

sinon:

Pourrai t’on m’expliquer comment se passe le chargement d’image système, sur config client, en boot PXE.
De ce que j’ai compris : L’image système et charger en ram sur la conf client, depuis la conf serv.
Mais ou s’extrait –elle, sur support physique de la config client ?
Reste en ram de la config client ?

Message par **dsebire** » dim. 7 août 2011 21:45

L'image n'est pas décompresser. Elle est chargée et ouverte comme une émulation de disque physique.
Pour une image de xp de 512mo par exemple, il va te falloir 630mo de ram mini sur le client: 512 d'image + 64mo de ramdisque (obligatoire pour fichiers temp) + 64 Mo de ram pour l'exécution des process
Ps: l'image est toujours montee en Read only

Message par **mosie** » dim. 7 août 2011 22:31

ha ok.

Mais:
.Comment la config client boot sur ce système ? (le contrôleur prend en charge cette fonction ?).

.Les modification système se save en mettant a jours l'image sur la config serv ?

.Je suis étonné que les driver win gère ça en système hôte, mais tant mieux.
C’est par protocol réseau qu’il adresse le volume ?

Bizarre que ce principe ne s'applique pas plus couramment. Que le bios prenne en charge ca quoi !
Genre tu sélectionne le support physique sur lequel et contenu l'image, puis la charge en ram et boot dessus.
L'intérêt étant d'avoir un système super perf une fois chargé.

Tite contrainte de devoir à chaque reboot recharger l’image sur la ram et de possédé pas mal de ram.

je ferai surement ce système si mon 1er principe ne fonctionne pas.

merci bien

Message par **dsebire** » lun. 8 août 2011 09:23

alors, je pense que tu connais pas le principe du PXE ou alors tu interpretes mal.

le PXE emule un disque (CDROM ou floppy en général) dans lequel il va charger une image puis lancer le système comme si tu bootais sur le CDROM ou le floppy.

on prend l'exemple de XP:

comme tu le sais, tu peux pas installer XP sur un CDROM meme si celui ci est reinscriptible. il lui faut un disque dur en local.
donc quand on dit qu'on boote XP en PXE, en fait c'est pas XP qui tourne c'est l'environnement de preinstall de XP et pas l'OS en lui meme. (demande a google ce que c'est WinPE, et ya un bel exemple qui s'appelle BartPE et un autre bouldows)

du fait que c'est une iso que tu monte comme un disque local en lecture seule, tu perd les données a chaque reboot. En effet, XP crée un RAMdisk pour y decompresser la base de registre le profil etc... bref, tout ce qui a besoin d'etre en lecture/ecriture (32Mo de base, que tu peux modifier)
ce que tu peux faire, c'est personaliser ton iso de XP.
tu peux par exemple lui dire de sauvegarder la conf (le RAMdisk pour etre précis) sur une clef USB ou un disque local.

le système ne se comporte pas comme un OS. tu ne peux pas mettre les drivers a jour par exemple (toujours le principe du système en lecture seule) tu es obligé de modifier ton iso pour y inclure les nouveaux drivers.
idem pour les softs ! => tu les intègre a l'ISO

il y a aussi une limitation physique. WinPE ne sait pas gérer une image de plus de 512Mo. en général c'est suffisant pour y mettre un système mais pas toujorus pour y mettre les softs que tu souhaites.

dans ce cas la tu peux contourner le problème.
tu montes un lecteur réseau (tu peux faire la conf en personalisant ton image WinPE) que tu utilises ensuite pour y installer tes programmes (pas de limite de taille dans ce cas la). ce lecteur réseau peut très bien etre un RAMdrive partagé sur le serveur

derniere chose, ne t'attends pas a des perfs monumentales avec un WinPE. le temps de boot est long par exemple. il faut qu'il reconstruise la base de registre a chaque boot par exemple.
de base il ne gère que 1 core. c'est modifiable.
pas de son de base (encore une fois, ça peut s'arranger)
pas de PnP de base mais tu peux "émuler" un semblant (en fait tu force la détéction du matériel au demarrage ce qui prend du temps)
et de memoire, WinPE n'existe qu'en 32bits (je suis plus sur du tout) donc t'es limité a 4go de RAM - la partie de la RAM masquée par les adresses physiques - la taille de ton image - la taille du RAMdisk sur le client (ce qui fait qu'a l'arrivée tu va plus tourner aux alentours de 2.5Go, 3Go max)

Message par **dsebire** » lun. 8 août 2011 09:25

je pense que tu devrais plutot te tourner vers un système type Win7 ou 2008 qui sait booter sur du iscsi (donc la tu boote sur une emulation de disque dur local, comme un système tout a fait normal)

reste a voir si ça se fait facilement et surtout quelles sont les perfs puisque c'est ce qui t'interesse

Message par **mosie** » lun. 8 août 2011 12:14

Wep , jamais tenter de PXE, et je ne comprenais/trouver pas trop d'info détailler sur le fonctionnement du truc.

OK je pige bien, et en effet c'est très limiter.
Merci d’avoir pris le temps de m'expliquer tout ça en détail.

Pour le coup de l'Iscsi.

Oui ca serai une des possibilités, du moins ca serai le plus simple pour la fonction gérant le boot.

Mais ce protocole étant sur surcouche soft pour les contrôleurs IB, les perf risque d'être pas mal impacter.

L'idée serai enfaite de passer par winOF gérant par des driver la plus part des protocoles de communication mais aussi, directement, le protocole source de l IB.
Mais je n’ai pas encore tout pigé sur la mise en place du serv pour le boot, ni quel fonction permettra au client de boot dessus.

Mais sinon OUI, par iscsi ou IPoIB le boot on lan ou PXE devrais fonctionner.

En tout cas, merci bien pour tes explications.

Message par **dsebire** » lun. 8 août 2011 14:46

de rien

Message par **mosie** » dim. 11 sept. 2011 13:44

Alors quelque MAJ:

Le contrôleur IB semble merder un peu sur la SR2:

.au 1er boot système si on tente d'instal direct les driver mellanox, (avec rebot après) le contrôleur n'apparais ni dans les device réseau ni dans les perifs correctement géré (il apparaît juste dans les device système).

autre méthode:
.1er boot système windows tente d’instal les driver en automatique sans les trouver.
.après un reboot il retente mais ce coup si (aller savoir comment) il les trouve, et là, le contrôleur apparais normalement dans les device réseau et matos géré.
Si après on tente une installe des driver mellanox, cela re merde.

street mobo, fait aussi des test avec d autre contrôleur mellanox mono-port 20GB (avec câble 10G) en port CX4.
Ces contrôleurs étant en PCIE 4X 2.0, contrairement au miens qui sont en 8X2.0.

Il semblerai, d'après ces test sur plusieurs CM et SR2, que (la aussi aller savoir pourquoi) selon le prot PCIE sur lequel et plug le contrôleur, il ne se fait pas détecté par les driver.

EX d'un des tests: une SR2 avec juste un mono GPU, le contrôleur IB ne marche que sur slot 3 (16X2.0) et 6 (8X2.0) mais fait de la merde sur les autre. [:_yuyutsse_:1]

Dans mon cas, aucune amélioration avec les driver mellanox selon le port utiliser. [:bartmat]

La SR2 étant le conf client, il n'est pas forcément nécessaire que le contrôleur soit correctement gère in système, puisque on utilisera des fonctions plus bas niveau pour le boot.

Là je vais justement test le lan boot sur le contrôleur voir si un message apparais (même si rien n'est co) cela voudra dire, si un message s'affiche, que le contrôleur et bien gère au niveau matériel, et que la fonction de boot fonctionne bien.

Sinon: Asus c’est enfin décider a m’envoyer la Z8PE D18 que je vais équiper de 2 E5640 de recup, et pour commencer, 4X8GB de yullito

puis sera compléter de 14 autre module trouva&ble a 70€ piece sur la BAY.
si tout fonctionne correctement

sinon revente de la conf:
[#ff2a00]
antec quatro 1000W
Z8PE D18
2X E5640
4x 8gb
9800gtx wc [/#ff2a00]

Message par **mosie** » ven. 16 sept. 2011 19:51

MAJ:

BON toujours gros péTAge de câble sur les contrôleurs IB. [:bartmat]

[#ff3800]J'aurai vraiment besoin de l'aide un mec (ou une fifille ) maitrisant ce genre de matos.[/#ff3800]

la, le problème que j'ai et relativement simple, mais pas de soluce:

Comme dit plus haut, une fois les drivers installés (MLNX_WinOF_VPI-2_1_3_win7_x64) le contrôleur n’apparaît plus dans les device réseaux

Et étrangement le service openSM [:bejita ssj4:3] , ne veux absolument pas démarrer, et de ce que j'ai compris c lui qui permet la détection et l'utilisation des drivers.

J’ai déjà tenté les quel truc (.bat, reg...) pour forcer son lancement mais rien ni fait.

UN problème HW pourrai t'il cause ce problème ?
Je manque de config pour faire des tests autres que sur SR2
La conf Z8PE D18 ne devrait plus tarder.

Sinon avec les driver trouver par défaut par win7 l'adaptateur apparais bien dans les device réseau je peux donc lui adresser une IP et les led verte des 2 contrôleurs IB interconnecter, s'allume.

Mais je ne peux absolument rien faire d'autre puisque besoin des fonctionnalité des driver officiel.

Message par **mosie** » ven. 21 oct. 2011 14:19

LES contrôleur IB marche, wwééééé. [:v10ware:2]

Je ne vais pas rentré dans le détail du pourquoi du comment du fonctionnement.

.Donc les contrôleurs ont était flash.
.Ils marchent avec les driver:
MLNX_WinOF_VPI-2_1_3_win7_x64
et aussi
OFED_2-3_win7_x64

.IPoIB se paramétré très facilement exactement comme un adaptateur réseau classique.

.Un DDram a était crée sur la conf serv, puis partager sur le réseau IB.
en bench ca donne:

Donc, en effet, la bande passante max correspond a une connexion de type 10Gb. erf

à peine aussi perf qu'un bon SSD.

A partir de cela on peut donc extrapoler que: 40Gb donnerai environ 2GB réel. (2.3GB réel étant la bande passante max du PCIE 8X 2.0)

Pourtant:

.La connexion est bien passer en IB 40Gb j'ai l'impression que le QDR ne fonctionne pas.
[#0000ff].seul un lien 10Gb fonctionnerai ?
.Parce que l'ip ne gère pas les protocol pour du quad 10Gb ? IPoIB gérerai bien 40Gb: http://www.mellanox.com/content/pages.p ... infiniband
.Comme winaccede au volume aprtager par TCP/UDP, l'OS ou le protocol peut il être le facteur limitant (passant par tcp ip, briderai t'il les perf ?[/#0000ff]
Je suis pas CPU limited l'or des transfert.
.Mon câble et bien compatible QDR : http://www.colfaxdirect.com/store/pc/vi ... category=2
[#ff1c00]
Je vais faire des test avec d'autre protocole (ISCSI) qui pourrai peut être fonctionner en QDR.[/#ff1c00] (utiliser pour le BoIB Boot on IB)

En tout cas pour l'instant avec un lien 10Gb on et bien loin des perf de mes acards/areca:

bientôt 144G de ram pour DDram plus gros

[#ff1c00]merci a larifoufounette pour son aide jusque a 4H du mat [/#ff1c00]

Message par **Larifounette** » ven. 21 oct. 2011 14:23

Up, j'était là hier soir: )

Message par **mosie** » ven. 21 oct. 2011 22:28

t'facon:

Message par **poulpito** » sam. 22 oct. 2011 00:08

si ta connexion active est à 40gbs alors forcement le QDR fonctionne
sinon tu aurai du 10Gb comme quand tu cable une carte 1G avec un cable de merde et tu as du 100meg

non la tes 40G sont la
pour moi c'est soft limited la ...
réglage MTU ?
windows server pour comparer ? que la seven voila quoi ^^

sinon même si ton cpu n'est pas à 100% essai de le baisser en freq ou de l'oc pour regarder l'impact ca peut être aussi une piste

Message par **augur1** » sam. 22 oct. 2011 00:21

si ta connexion active est à 40gbs alors forcement le QDR fonctionne
sinon tu aurai du 10Gb comme quand tu cable une carte 1G avec un cable de merde et tu as du 100meg

non la tes 40G sont la
pour moi c'est soft limited la ...
réglage MTU ?
windows server pour comparer ? que la seven voila quoi ^^

sinon même si ton cpu n'est pas à 100% essai de le baisser en freq ou de l'oc pour regarder l'impact ca peut être aussi une piste

Moi je dis qu'une des deux cartes (mère ou IB) n'est pas PCI Express 2.0 ... (et donc limité à ~5,25 Go de bande passante
=> style genre page 4 : http://www.chipestimate.com/dac2009/pre ... opsys2.pdf

Message par **mosie** » sam. 22 oct. 2011 01:14

Déjà merci pour vos réponse ça fait plaisir de voir que ça intrigue/intéresse des mecs.

si ta connexion active est à 40gbs alors forcément le QDR fonctionne

+1

Oui on a déjà tenté des modif de MTU, sans impact majeur.

soft limited: ben j'ai tenté plusieurs bench, et des simple copier-coller qui ne bouffe pratiquement rien en CPU, et j'atteins bien les même débit

Déjà fait un test de transfert avec CPU sous cinebench.
Très peu d'impact.

win serv pourrai vraiment faire de grosse modif ??? (car un peu lourd à mettre en place sur ma conf principale).

Le top sera de faire un test entre 2 linux. Mais mise en place encore plus galère.

J'ai aussi test avec d'autre soft en TCP et en UDP voir si perte de packet ... mais tout et bon, sauf cette limitation de débit.

Quoi que je fasse je ne dépasse pas les 12/1.5% et avec des graph très stable.

Les contrôleurs sont bien co en PCIE 2.0 (verif sous sisoft sandra)
De tout facon le pcie 8X 1.0 te donne 1.3GB/s réel (bande passante donner par vidage de cach sur areca 1231ML)

Pas mal ton PDF sur le PCIE 3.0.

J’adore:

2007: PCIE 3.0 speed announced
2010: PCIE 3.0 spécification

may non ils ne retarde pas le lancement de certaine évolution de technologie.
Comme le sata III qui était déjà ratifier depuis fort longtemps ...

M’enfin ...

Je ne pige pas trop mes problèmes.

Message par **mosie** » sam. 22 oct. 2011 01:45

La je vais faire 2 bench simultanée, de chaque coter