nvme sur x9drl-3f

Répondre
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

nvme sur x9drl-3f

Message par matteu »

Bonjour,

J'ai acheté 2 disque nvme et je me tate a en acheter 2 de plus.
Pour les utiliser, je passe par des carte pcie 3.0 -> nvme
Toutefois, sur ma carte mère il y a 3 port pcie 3.0 8x et 1 port pcie 2.0
1) Est ce qu'il est possible d'avoir du NVME sur ces 2 connectique en profitant du pcie 3.0 pour les disque rataché à ce port et du pcie 2.0 sur celui rataché à ce port ?
2) Sur mon port pcie 2.0 il est écrit x4 (in x8) qu'est ce que cela signifie ? Que c'est un 4x mais que la connectique est du 8x c'est bien ça ? Car je vois que la longueur est bien celle d'un 8x.

Je vous remercie par avance.
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

Re: nvme sur x9drl-3f

Message par TheMartel »

1) oui
2) c'est bien ça. Avec parfois la puissance électrique du 8x mais en tout cas uniquement la bande passante du 4x

Pour les deux points, attention a la bande passante disponible, qui je pense dans ton cas va être le facteur limitant. Il me semble que les SSD ne vont quoi qui arrive négocier que sur 4x, sur le port en 2.0 ça va être ton goulet d'étranglement. Tu as mieux fait de t'acheter des cartes permettant deux SSD en parallèle, ce qui permet d'optimiser l'utilisation de tes lignes pciex: chaque SSD aurait 4x 3.0. et il te resterait un port 8x 3.0 et un port 4x 2.0 pour tes autres périphériques.
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

Merci pour le retour.

Je ne trouvr pas de carte pci e vers 2 nvme.
C est pci e vers 1 nvme + 1 sata 3 que je trouve.
Ensuite il existe des cartes 1 pcie 16x pour 4 nvme mais on est pas du tout dans les memes prix.
kalistyan
Messages : 14259
Inscription : ven. 12 janv. 2018 17:44
Localisation : LYON
Contact :

Re: nvme sur x9drl-3f

Message par kalistyan »

:hello:

Celui-ci reste abordable, Asrock Ultra Quad M.2 Card
=> https://www.ldlc.com/fiche/PB00246628.html
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

Bonjoir et merci pour ta contribution !
Pour toi peut etre :p
Pour moi moins ^^
J ai paye 12 euros fdp in les 3 carte pcie vers nvme.
Et niveau sata 3 il y a le meme probleme ils sont pas illimites ^^
Je me contenterai de ce que je peux faire
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

J'ai installé mes 2 premier NVME sur les carte pci-e et branchés sur les port pci-e 3.0
Je rencontre toutefois des soucis de debit.
Mes nvme sont des mp510 donc 3Go/s écriture et 3.5Go/s en lecture séquentielle normalement.
J'ai installé crystal disk mark dans une vm W10 et j'arrive a 1.8Go/s lecture et ecriture en séquentiel.
J'ai bien sur testé en ayant seulement cette vm sur le datastore.
J'ai également vérifié avec esxtop lors d'un svmotion et je vois des débit de l'ordre de 1Go/s environs.

Je ne vois pas ce que j'aurai pu raté.
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

Re: nvme sur x9drl-3f

Message par gizmo78 »

la carte en elle même qui bride.

après, 1,8Go/sec faut y aller pour saturer ça
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

Merci pour ton retour.

Je vais tester sur mon pc windows directement pour voir si j'ai le même problème.
J'ai acheté ces carte premier prix car on m'a dit qu'il n'y avait aucun élément actif dessus donc qu'il n'y a pas vraiment de "qualité" de carte.

Je suis d'accord je risque pas de saturer, mais c'est la déception quand meme. Tu payes un truc avec des stats, tu t'attends à les avoir. Je les ai pas, je vais tenter de trouver pourquoi.
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

Re: nvme sur x9drl-3f

Message par gizmo78 »

tu les as si tu les utilise directement sur une cm ou sur une carte comme celle que montrait Kali.

Si tu peux tester hors ces cartes c'est le mieux :)
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

J en ai 2 et le soucis sur les 2.
Je pense pas que les tests effectues sur le net avec les debit de 3.5 et 3 soient faux quand meme ^^
Je n ai pas de port m2 chez moi et au travail non plus.
Donc ca risque d etre plus complexe si je dois tester en direct.
Je vais faire le test d ici quelque min sur mon pc deja
Il fallait que je vide le datastore.
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

OK test effectué.
J'ai bien 3.4Go/s en lecture si je branche mon disque de la même façon que sur mon ESX (avec l'adaptateur pcie nvme).

Il y a donc un truc côté vmware qui va pas.

Je vais tester en faisant un controleur nvme directement dans la vm pour voir le resultat et sinon -> recherche sur internet pour voir comment améliorer ca :)
La actuellement j'ai fais la même chose que ce que je ferai pour un HDD ou SSD. Ajout d'un datastore et aucune optimisation.
Je suis à jour au niveau vcenter et esx (6.7 u2)
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

Re: nvme sur x9drl-3f

Message par TheMartel »

Oui, la carte c'est 100% passif. Sauf celles pour plusieurs SSD, il y a souvent une puce plx dessus
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

En fait c'est juste génial.
Avec un controleur SCSI je suis a 2Go/s et avec un NVME 1.6 xD

J'ai posté un message sur le forum vmware en espérant avoir un peu d'aide mais pas sur que j'en ai...
Je vais voir si je peux passer le disque en RDM à ma vm pour voir niveau perf ce que ca donne.
kalistyan
Messages : 14259
Inscription : ven. 12 janv. 2018 17:44
Localisation : LYON
Contact :

Re: nvme sur x9drl-3f

Message par kalistyan »

:hello:

Ta carte NVME fait-elle partie de la liste de compatibilité ?
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

tu te doutes bien que non :)
Les seuls nvme seront les series pro ^^

C'est ce que je me suis dis hier... Pas de driver probablement pour ce type de disque nvme !

Parce que des docs que j'ai pu voir, il y a rien de plus à faire à priori.

Puis bon, le matériel que j'ai n'est pas dans la HCL non plus puisque c'est un serveur maison et la carte mere en question n'y ait pas non plus (5.1 max a priori : https://www.supermicro.com/support/faqs ... ?faq=27987)
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

Re: nvme sur x9drl-3f

Message par gizmo78 »

sinon, tu passe les cartes directement à une vm linux et tu fais du nfs que tu monte sur ton hôte esxi et problem solved.
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

C est justement le dernier test que je voulais faire mais j ai qu un hote donc ca veut dire qu au demarrage les vm seront pas en auto start je pense. Faut que je teste. Ca permetrait deja d etre sur de la piste et apres a moi de reflechir a ce que je veux.

Actuellement j ai une vm OMV qui me sert de NAS avec 2 disque que je passe directement a la vm et elle heberge egalement un repertoire iso que je monte en nfs comme datastore.
Je vais deja tester en la passant a une vm windows et faisant les test et puis ensuite cette solution de datastore nfs et je vous tiens informe.
Avatar de l’utilisateur
dsebire
Messages : 12716
Inscription : ven. 12 janv. 2018 17:44
Localisation : Loiret - entre la ville et les champs

Re: nvme sur x9drl-3f

Message par dsebire »

essaie de booter sur un liveCD sur ton hôte VMWare, histoire de voir si c'est un soucis hardware sur la machine (carte mère qui bride ou autre) ou software (esx)
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

En faisant passer le disque a une vm si ca marche j aurai aussi ma reponse.
Si ca ne marche pas, ta solution permettra de s en assurer en effet.

Merci :)
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

Donc après test :
J'ai monté le nvme directement sur une vm W10
avec le controleur scsi : lecture a 1Go/s
avec le controleur nvme : lecture a 1.7Go/s

mmmmm..... => je vais tester avec un live USB quand j'ai le temps
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

Bon bé avec un WinPE j'ai bien les 3.2Go.

Donc en résumé :
Si je passe par ESXi -> les débit ne sont pas ceux annoncés.
Si je passe par Windows -> les débit sont ceux annoncés.

C'est bien un soucis de driver ESXi très probablement.

Le soucis, c'est de savoir comment faire pour améliorer les perfs, et la ca va être dur car :
1) Le disque ne fait pas parti des produits supportés
2) Les disques nvme n'ont pas beaucoup de recul donc moins de monde susceptible d'avoir eu le même problème.

J'ai plus qu'à attendre un peu pour voir comment ca évolue !
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

J’ai fais des test complémentaire pour voir quels sont les perfs maximales que j’arrive à avoir.
Selon la doc vmware ici : https://www.vmware.com/content/dam/digi ... ctices.pdf
Il est nécessaire d’activer le pluggin HPP (vsphere 6.7 min) qui permet d’améliorer la performance des disque nvme
https://docs.vmware.com/en/VMware-vSphe ... 73D24.html
L’activation se fait simplement via la ligne de commande
esxcli storage core claimrule add -r 10 -t vendor -V=NVMe -M=* -P HPP --force-reserved
Comme spécifié ici : https://docs.vmware.com/en/VMware-vSphe ... 6DB61.html
Une fois activé, j’ai rebooté et j’ai fais des tests avec les différents contrôleurs de stockage disponibles. Voici les résultats
2019-07-06_19h14_37.png
2019-07-06_19h14_37.png (27.39 Kio) Consulté 7591 fois
On voit donc que dans mon cas, le HPP n'est pas vraiment convainquant.
De plus, les meilleures perfs s'obtiennent avec un controleur de type paravirtuel et non pas nvme...

Faut que je regarde comment migrer toutes mes vms :)
matteu
Messages : 97
Inscription : jeu. 25 janv. 2018 22:09

Re: nvme sur x9drl-3f

Message par matteu »

Ca va rester comme ça au final... Je viens d'essayer c'est prise de tete de switcher de lsi à para parce que j'ai pas les driver dans les guest et en voulant tout automatiser j'ai flinguer pas mal de chose du coup retour arriere :)

De plus, pour du DAS vmware ne recommande pas la paravirtualisation.
Répondre