vm sur iscsi zfs perf ecriture miserable

Message par **psycho-kila** » mer. 24 oct. 2012 15:15

bonjour a tous

voila dans l'objectif d'un serveur principal sur 2 boitier basé sur le combo ESXI/ZFS j'ai mis en place un serveur de test y ressemblant :
HARD :
boitier 1 : supermicro X8SIE-O, xeon X3430, 8 Gb de RAM ECC non reg, carte LSI 1068e (pas touché au FW), 1x 80Gb sur la mobo, 4x 500Gb sur port interne de la carte, cable sff-8088 vers le boitier 2.
boitier 2 : carte mere S.775 HS (juste pour la gestion du bouton power et des prises fan) pas de CPU ni de ram, 3 DD SAS 146Gb.

SOFT :
ESXI 5.1 et VM openindiana (2vcpu) sur le DD 80Gb connecté a la mobo, carte LSI 1068e en pass-through
raidz2 sur les 4x 500 Gb, partagée en SMB, pas encore testé en giga
raidz sur les 3x SAS configurés en iscsi (thin prov) pour etre hote des VM

sur les 2 VM j'ai des perfs ridicules :
Win 7

ubuntu 10.04

les parametre du raidz :

au debut saturant la RAM attribué a openindiana (2Gb), je lui ai mit 4GB et les perf ont doublé en lecture et ecriture (donc divisé par 2 par rapport au screen) maintenant il ne se sert que de 3Gb au grand max et 10% du CPU.
j'ai egalement mit un autre DD SAS que je savais fonctionnel te j'ai remplacé chacun des DD SAS un par un en reconstruisant le raidz a chaque fois, mais ca n'a rien changé...

ne connaissant rien au ZFS et sunOS j'ai cherché un peu partout, j'ai bien trouvé d'autre personne avec les meme symptomes mais jamais de reponses

donc je m'en remet a vous

Message par **poulpito** » mer. 24 oct. 2012 15:42

le DD c'est sur la partition hostée sur le volume iscsi ?

il aurait fallut faire le même test depuis la vm avec zfs pour voir
voir le résultat d'un zpool iostat durant un dd sur la partition client
zpool iostat raidz-nom 5

et oui tester en mode samba via giga voir si ca vient du pool disque, de la communication inter VM ou du module iscis

pour le raidz iscsi c'est du zvol que tu fais du coup tu as pas créé un fichier volume que tu partage en iscsi via le fs du zfs

Message par **poulpito** » mer. 24 oct. 2012 15:49

quelques pistes à vérifier
http://capitoshka.blogspot.fr/2012/04/h ... mance.html

http://phaedrus77.blogspot.fr/2010/05/e ... uning.html

Message par **Zedoune** » jeu. 25 oct. 2012 10:31

On peut avoir un schéma j'ai pas tout compris l'installation ^^

Tu peux tester les performances d'OpenIndiana ?

Tu fais un : dd if=/dev/zero of=test.tmp bs=1024 count=1000000
et aussi avec bs=1048576 et count=1000

et en inversant of et if

Message par **poulpito** » jeu. 25 oct. 2012 10:55

non non non

pas en inversant

sur l'openindiana le zvol tu peux pas y écrire dessus sinon tu perds tout le volume

que tu fasse un read deja pour comparer ouai

et zplay

> > > > > >

Message par **Zedoune** » jeu. 25 oct. 2012 11:29

non non non pas en inversant

sur l'openindiana le zvol tu peux pas y écrire dessus sinon tu perds tout le volume
que tu fasse un read deja pour comparer ouai

et zplay

> > > > > >

Pourquoi pas en inversant ? test.tmp tu peux l'envoyer vers dev/null je vois pas le problème ^^

Merci pour le schéma !

Faudrait déjà voir les performances d'OpenIndiana avant de voir celles des VM ^^ Ca peut pas être un problème de réseau aussi ? T'as essayé de mettre le MTU à 9000 ?

Message par **psycho-kila** » jeu. 25 oct. 2012 14:26

@poulpito : oui le DD c'est sur la VM ubuntu qui est sur le target iscsi (raidz)
je lance de suite l'iostat pendant le DD de la vm

Zvol = LU fait par ZFS ? je me pose la question parceque pendant tout mon cheminement je n'ai jamais vu zvol...

dd sur openindiana, il ne m'affiche pas les debit donc au mieux j'ai ca :

la c'est donc le hDD branché directement sur la mobo et tu as raison il y a deja un probleme ici...

pour le schema on a donc :

pour le HDD sur la mobo (ni raid ni raidz):
==> ==>

pour le raidz (hoteVM) :
==> ==> ==> ==> ==> ==>

pour le raidz2 (data) :
==> ==> ==> ==>

EDIT : MTU a 9000 = +60% en lecture, identique en ecriture, je pense tout detruire et tout refaire a zero en mettant un DD special pour oi.

Message par **augur1** » jeu. 25 oct. 2012 20:38

1. Tu as 2 Pool
2. Seulement 8 Go pour Esxi, 2VM dont ZFS qu idoit gérer 2 pool
3. RaidZ2 avec 4 disques = perf pas terrible
4. as tu désactivé Atime, Comrpession et dédup ?
5. la LSI a le firmware "IT" ? ( http://hardforum.com/showthread.php?t=1573340 ou http://lime-technology.com/forum/index. ... c=12767.45 )
6. SAS & Sata sur la même carte ?

++

Message par **psycho-kila** » jeu. 25 oct. 2012 23:59

3. le raidz2 n'est pas censé avoir des perfs mirobolante, le raidz1 lui un peu plus

4. compression et dedup oui, atime ne l'etait pas, je viens de le desactiver et aucun changement..

5. je n'y ai pas touché mais je suppose que non vu que je peux choisir entre direct attached ou raid.

6. oui sas sur port externe sff-8088, sata sur port interne sata

EDIT : testé en giga, le raidz2 a des perfs tres correct vu les HDD utilisé :

Message par **poulpito** » ven. 26 oct. 2012 11:42

donc ram ok on est bon puisque tu as passé la sat
options c'est ok
pour le firmware LSI euh le fait que ce soit pas en IT apporte du confort de fonctionnement et de la sécu pour ZFS m'enfin ca n'a aucune raison de jouer vraiment sur les perfs vu qu'il est en direct attached

pour le giga et le raidz2 ouai c'est correct
maintenant pour vraiment tester il faudrait que tu supprime ton pool raidz et pas en faire un volume mais un partage classique

et si tu peux copier le process de création et partage iscsi

ce serait pas mal
mici

Message par **Zedoune** » ven. 26 oct. 2012 15:44

Moi j'activerais la compression pour gagner en débit, le plus lent c'est le disque, pas le processeur

Message par **augur1** » ven. 26 oct. 2012 21:13

Moi j'activerais la compression pour gagner en débit, le plus lent c'est le disque, pas le processeur

Il n'a pas assez de Ram pour gérer ESXi + 2VM + 2 pool.
... alors gérer la compression, laisse béton ^^

Message par **poulpito** » ven. 26 oct. 2012 21:21

dans la mesure ou zfs prend pas plus de 3Gb ca lui laisse de la marge qd meme pour le reste
avec 8Gb de ram je fais tourner esxi 4VM dont une ubuntu+zfs et 3zpool

y'a de la marrrrrgeeee ^^

Message par **augur1** » sam. 27 oct. 2012 03:03

Le ZFS & OpenIndiana est très limite avec 4 Go pour 1 pool sans dédup, ni compression ni atime.
... toi tu es sur Ubuntu.

++

Message par **poulpito** » sam. 27 oct. 2012 11:07

""au debut saturant la RAM attribué a openindiana (2Gb), je lui ai mit 4GB et les perf ont doublé en lecture et ecriture (donc divisé par 2 par rapport au screen) maintenant il ne se sert que de 3Gb au grand max""

Message par **augur1** » sam. 27 oct. 2012 15:54

... donc preftech désactivé ?

Message par **psycho-kila** » dim. 28 oct. 2012 00:51

pour le RAM 3,7Go max quand les 2 pool bossaient en meme temps autrement 2.2Go, il n'y a plus de pool en raidz2 actuellement pour etre sur justement

je me demande si les bench ont pas un peu de mal...
test de mon pc win 7 du partage smb sur la vm ubuntu (sur le raidz1 problematique)

je vais essayer en refaisant le raidz en raid 0 voir si les perfs changent.

ca donne quoi niveau stabilité zfs on linux ? j'avais lu qu'il valait mieux un sunOS mais je serais nettement plus a l'aise sur une debian ou ubuntu

EDIT : compression activé +60% en lecture pas de changement en ecriture.

Message par **poulpito** » dim. 28 oct. 2012 01:06

aucun soucis depuis un bon moment sur ubuntu 11.10
(je fais pas la maj ubuntu)
par contr eles maj zfs via le depot de zfsonlinux ca marche impec

Message par **psycho-kila** » dim. 28 oct. 2012 02:03

cool

sinon j'ai tout supprimé, j'ai remis un raidz avec les 3 sas et juste partagé en smb, 20 Mo/s de plus en ecriture tout le reste identique, compression et atime desactivé ou non aucun changement

j'ai rajouté un DD sas et j'ai exactement les meme debits

je vais testé zfs on linux^^

Message par **poulpito** » dim. 28 oct. 2012 02:28

bizarre tout ca quand même tu utilise quoi pour tester les débits
d'ailleurs j'ai du mal avec crystal comme bench

Message par **augur1** » dim. 28 oct. 2012 02:42

Xeon x3450, 8 Go ECC, OpenIndiana, 2x SSD mirored Mtron 16 Go Zil, 1x SSD L2ARC OCZ Vertex 3, via 10 GbE, en samba sur Win 7
... RaidZ 5x 1 To Green

... RaidZ 5x 2 To Green

++

Message par **psycho-kila** » lun. 29 oct. 2012 13:07

ah bah voila ca, ca serait des bons debits

tu as essayé sans les SSD ZIL et L2ARC ?

bon sinon mon probleme ne vient pas du ZFS, j'ai tout supprimé et mit mes DD sas en raid5 avec une seule VM windows 7 dessus, meme debits

j'ai vu pas mal de monde sans resolution de probleme d'ecriture sous ESXI 5.1, donc je re test tout ca sur ESXI 5.0 pour voir si ca viendrait de la...

Message par **augur1** » lun. 29 oct. 2012 17:49

ah bah voila ca, ca serait des bons debits tu as essayé sans les SSD ZIL et L2ARC ?

Wep mais ça ne chage rien en écriture : SAMBA ne passe pas par ZIL

Message par **poulpito** » lun. 29 oct. 2012 18:09

4*2To raidz + 4*2To raidz dans un zpool
zfs on linux
partage samba giga vers windows 7

edit : merde une seule occurrence j'en refait 5 pour comparer avec vous

Message par **jhdscript** » lun. 29 oct. 2012 18:10

c est pas terrible qd meme :/