Page 1 sur 1

nvme sur x9drl-3f

Publié : sam. 29 juin 2019 22:19
par matteu
Bonjour,

J'ai acheté 2 disque nvme et je me tate a en acheter 2 de plus.
Pour les utiliser, je passe par des carte pcie 3.0 -> nvme
Toutefois, sur ma carte mère il y a 3 port pcie 3.0 8x et 1 port pcie 2.0
1) Est ce qu'il est possible d'avoir du NVME sur ces 2 connectique en profitant du pcie 3.0 pour les disque rataché à ce port et du pcie 2.0 sur celui rataché à ce port ?
2) Sur mon port pcie 2.0 il est écrit x4 (in x8) qu'est ce que cela signifie ? Que c'est un 4x mais que la connectique est du 8x c'est bien ça ? Car je vois que la longueur est bien celle d'un 8x.

Je vous remercie par avance.

Re: nvme sur x9drl-3f

Publié : dim. 30 juin 2019 08:45
par TheMartel
1) oui
2) c'est bien ça. Avec parfois la puissance électrique du 8x mais en tout cas uniquement la bande passante du 4x

Pour les deux points, attention a la bande passante disponible, qui je pense dans ton cas va être le facteur limitant. Il me semble que les SSD ne vont quoi qui arrive négocier que sur 4x, sur le port en 2.0 ça va être ton goulet d'étranglement. Tu as mieux fait de t'acheter des cartes permettant deux SSD en parallèle, ce qui permet d'optimiser l'utilisation de tes lignes pciex: chaque SSD aurait 4x 3.0. et il te resterait un port 8x 3.0 et un port 4x 2.0 pour tes autres périphériques.

Re: nvme sur x9drl-3f

Publié : dim. 30 juin 2019 10:35
par matteu
Merci pour le retour.

Je ne trouvr pas de carte pci e vers 2 nvme.
C est pci e vers 1 nvme + 1 sata 3 que je trouve.
Ensuite il existe des cartes 1 pcie 16x pour 4 nvme mais on est pas du tout dans les memes prix.

Re: nvme sur x9drl-3f

Publié : dim. 30 juin 2019 10:47
par kalistyan
:hello:

Celui-ci reste abordable, Asrock Ultra Quad M.2 Card
=> https://www.ldlc.com/fiche/PB00246628.html

Re: nvme sur x9drl-3f

Publié : dim. 30 juin 2019 14:39
par matteu
Bonjoir et merci pour ta contribution !
Pour toi peut etre :p
Pour moi moins ^^
J ai paye 12 euros fdp in les 3 carte pcie vers nvme.
Et niveau sata 3 il y a le meme probleme ils sont pas illimites ^^
Je me contenterai de ce que je peux faire

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 17:04
par matteu
J'ai installé mes 2 premier NVME sur les carte pci-e et branchés sur les port pci-e 3.0
Je rencontre toutefois des soucis de debit.
Mes nvme sont des mp510 donc 3Go/s écriture et 3.5Go/s en lecture séquentielle normalement.
J'ai installé crystal disk mark dans une vm W10 et j'arrive a 1.8Go/s lecture et ecriture en séquentiel.
J'ai bien sur testé en ayant seulement cette vm sur le datastore.
J'ai également vérifié avec esxtop lors d'un svmotion et je vois des débit de l'ordre de 1Go/s environs.

Je ne vois pas ce que j'aurai pu raté.

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 17:06
par gizmo78
la carte en elle même qui bride.

après, 1,8Go/sec faut y aller pour saturer ça

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 17:38
par matteu
Merci pour ton retour.

Je vais tester sur mon pc windows directement pour voir si j'ai le même problème.
J'ai acheté ces carte premier prix car on m'a dit qu'il n'y avait aucun élément actif dessus donc qu'il n'y a pas vraiment de "qualité" de carte.

Je suis d'accord je risque pas de saturer, mais c'est la déception quand meme. Tu payes un truc avec des stats, tu t'attends à les avoir. Je les ai pas, je vais tenter de trouver pourquoi.

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 17:40
par gizmo78
tu les as si tu les utilise directement sur une cm ou sur une carte comme celle que montrait Kali.

Si tu peux tester hors ces cartes c'est le mieux :)

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 18:10
par matteu
J en ai 2 et le soucis sur les 2.
Je pense pas que les tests effectues sur le net avec les debit de 3.5 et 3 soient faux quand meme ^^
Je n ai pas de port m2 chez moi et au travail non plus.
Donc ca risque d etre plus complexe si je dois tester en direct.
Je vais faire le test d ici quelque min sur mon pc deja
Il fallait que je vide le datastore.

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 18:46
par matteu
OK test effectué.
J'ai bien 3.4Go/s en lecture si je branche mon disque de la même façon que sur mon ESX (avec l'adaptateur pcie nvme).

Il y a donc un truc côté vmware qui va pas.

Je vais tester en faisant un controleur nvme directement dans la vm pour voir le resultat et sinon -> recherche sur internet pour voir comment améliorer ca :)
La actuellement j'ai fais la même chose que ce que je ferai pour un HDD ou SSD. Ajout d'un datastore et aucune optimisation.
Je suis à jour au niveau vcenter et esx (6.7 u2)

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 22:17
par TheMartel
Oui, la carte c'est 100% passif. Sauf celles pour plusieurs SSD, il y a souvent une puce plx dessus

Re: nvme sur x9drl-3f

Publié : lun. 1 juil. 2019 23:59
par matteu
En fait c'est juste génial.
Avec un controleur SCSI je suis a 2Go/s et avec un NVME 1.6 xD

J'ai posté un message sur le forum vmware en espérant avoir un peu d'aide mais pas sur que j'en ai...
Je vais voir si je peux passer le disque en RDM à ma vm pour voir niveau perf ce que ca donne.

Re: nvme sur x9drl-3f

Publié : mar. 2 juil. 2019 10:16
par kalistyan
:hello:

Ta carte NVME fait-elle partie de la liste de compatibilité ?

Re: nvme sur x9drl-3f

Publié : mar. 2 juil. 2019 12:20
par matteu
tu te doutes bien que non :)
Les seuls nvme seront les series pro ^^

C'est ce que je me suis dis hier... Pas de driver probablement pour ce type de disque nvme !

Parce que des docs que j'ai pu voir, il y a rien de plus à faire à priori.

Puis bon, le matériel que j'ai n'est pas dans la HCL non plus puisque c'est un serveur maison et la carte mere en question n'y ait pas non plus (5.1 max a priori : https://www.supermicro.com/support/faqs ... ?faq=27987)

Re: nvme sur x9drl-3f

Publié : mar. 2 juil. 2019 14:25
par gizmo78
sinon, tu passe les cartes directement à une vm linux et tu fais du nfs que tu monte sur ton hôte esxi et problem solved.

Re: nvme sur x9drl-3f

Publié : mar. 2 juil. 2019 15:52
par matteu
C est justement le dernier test que je voulais faire mais j ai qu un hote donc ca veut dire qu au demarrage les vm seront pas en auto start je pense. Faut que je teste. Ca permetrait deja d etre sur de la piste et apres a moi de reflechir a ce que je veux.

Actuellement j ai une vm OMV qui me sert de NAS avec 2 disque que je passe directement a la vm et elle heberge egalement un repertoire iso que je monte en nfs comme datastore.
Je vais deja tester en la passant a une vm windows et faisant les test et puis ensuite cette solution de datastore nfs et je vous tiens informe.

Re: nvme sur x9drl-3f

Publié : mar. 2 juil. 2019 16:14
par dsebire
essaie de booter sur un liveCD sur ton hôte VMWare, histoire de voir si c'est un soucis hardware sur la machine (carte mère qui bride ou autre) ou software (esx)

Re: nvme sur x9drl-3f

Publié : mar. 2 juil. 2019 16:18
par matteu
En faisant passer le disque a une vm si ca marche j aurai aussi ma reponse.
Si ca ne marche pas, ta solution permettra de s en assurer en effet.

Merci :)

Re: nvme sur x9drl-3f

Publié : mer. 3 juil. 2019 14:35
par matteu
Donc après test :
J'ai monté le nvme directement sur une vm W10
avec le controleur scsi : lecture a 1Go/s
avec le controleur nvme : lecture a 1.7Go/s

mmmmm..... => je vais tester avec un live USB quand j'ai le temps

Re: nvme sur x9drl-3f

Publié : sam. 6 juil. 2019 16:24
par matteu
Bon bé avec un WinPE j'ai bien les 3.2Go.

Donc en résumé :
Si je passe par ESXi -> les débit ne sont pas ceux annoncés.
Si je passe par Windows -> les débit sont ceux annoncés.

C'est bien un soucis de driver ESXi très probablement.

Le soucis, c'est de savoir comment faire pour améliorer les perfs, et la ca va être dur car :
1) Le disque ne fait pas parti des produits supportés
2) Les disques nvme n'ont pas beaucoup de recul donc moins de monde susceptible d'avoir eu le même problème.

J'ai plus qu'à attendre un peu pour voir comment ca évolue !

Re: nvme sur x9drl-3f

Publié : sam. 6 juil. 2019 19:15
par matteu
J’ai fais des test complémentaire pour voir quels sont les perfs maximales que j’arrive à avoir.
Selon la doc vmware ici : https://www.vmware.com/content/dam/digi ... ctices.pdf
Il est nécessaire d’activer le pluggin HPP (vsphere 6.7 min) qui permet d’améliorer la performance des disque nvme
https://docs.vmware.com/en/VMware-vSphe ... 73D24.html
L’activation se fait simplement via la ligne de commande
esxcli storage core claimrule add -r 10 -t vendor -V=NVMe -M=* -P HPP --force-reserved
Comme spécifié ici : https://docs.vmware.com/en/VMware-vSphe ... 6DB61.html
Une fois activé, j’ai rebooté et j’ai fais des tests avec les différents contrôleurs de stockage disponibles. Voici les résultats
2019-07-06_19h14_37.png
2019-07-06_19h14_37.png (27.39 Kio) Consulté 7662 fois
On voit donc que dans mon cas, le HPP n'est pas vraiment convainquant.
De plus, les meilleures perfs s'obtiennent avec un controleur de type paravirtuel et non pas nvme...

Faut que je regarde comment migrer toutes mes vms :)

Re: nvme sur x9drl-3f

Publié : sam. 6 juil. 2019 21:00
par matteu
Ca va rester comme ça au final... Je viens d'essayer c'est prise de tete de switcher de lsi à para parce que j'ai pas les driver dans les guest et en voulant tout automatiser j'ai flinguer pas mal de chose du coup retour arriere :)

De plus, pour du DAS vmware ne recommande pas la paravirtualisation.