vm sur iscsi zfs perf ecriture miserable

Message par **poulpito** » lun. 29 oct. 2012 18:12

largement terrible pour du stockage ^^ moi c'est ca que je fais avec ein
en pratique je sature le giga pendant la copie donc ca me va très bien

pour ca que crystal voila quoi je m'en balance un peu largement

Message par **psycho-kila** » lun. 29 oct. 2012 22:31

je sature le giga pendant la copie donc ca me va très bien

exactement ce que je souhaiterais pour mon raidz2 (il passera en raidz1 si ca pose pas trop de soucis avec le 4k)

bon sinon sur ESXI 5.0, c'est pire qu'avec le ZFS en ecriture

je vais tester sans ESXI voir si c'est un prob hard..

Message par **psycho-kila** » mar. 30 oct. 2012 18:04

j'ai upgradé le firmware de la carte, testé de la VM win 7 et miracle (cache desactivé) :

je retest sur openindiana et apres je passe le firmware en IT

Message par **poulpito** » mar. 30 oct. 2012 20:40

faudrait pe que je maj la mienne

Message par **psycho-kila** » mer. 31 oct. 2012 14:53

bon alors bonne et mauvaise surprise, les perfs sont nettement meilleures (mtu a 9000, compression on, atime/dedup off):

au point que j'ai voulu testé avec le writeback cache desactivé mais faut pas trop en demandé^^

pareil pour le raidz2 --> SMB qui sature le giga

la mauvaise surprise c'est que la conso a egallement explosé, je comprend mieux ce que tu disais augur, pour le smb et le iscsi ca tourne a fond 2 sec apres, la ram sature et les 2vcpu d'opeindiana grimpe a 80% et les debit sont divisé par 3

ca m'ennuis un peu, il ne devais y avoir que 16Go pour tout ca + 7 VM mais du coup il va falloir doubler ca ...

augur tu viserais combien en ram pour oi avec 3 Zpool : 1 iscsi de 7 sas, 1 smb de 16 sata, 1 mirrored/smb de 4 sata ?
je vais voir sur ubuntu si la con so passe mieux

Message par **augur1** » mer. 31 oct. 2012 15:27

bon alors bonne et mauvaise surprise, les perfs sont nettement meilleures (mtu a 9000, compression on, atime/dedup off):
http://img15.hostingpics.net/pics/112929vmwin7x64iscsimtu9000cachecompressionnoatimenodedup.jpg

au point que j'ai voulu testé avec le writeback cache desactivé mais faut pas trop en demandé^^
http://img15.hostingpics.net/pics/363057vmwin7x64iscsimtu9000nocachecompressionnoatimenodedup.jpg

pareil pour le raidz2 --> SMB qui sature le giga

la mauvaise surprise c'est que la conso a egallement explosé, je comprend mieux ce que tu disais augur, pour le smb et le iscsi ca tourne a fond 2 sec apres, la ram sature et les 2vcpu d'opeindiana grimpe a 80% et les debit sont divisé par 3

ca m'ennuis un peu, il ne devais y avoir que 16Go pour tout ca + 7 VM mais du coup il va falloir doubler ca ...

augur tu viserais combien en ram pour oi avec 3 Zpool : 1 iscsi de 7 sas, 1 smb de 16 sata, 1 mirrored/smb de 4 sata ?
je vais voir sur ubuntu si la con so passe mieux

Tu n'as pas fait le nouveau test en compression OFF
=> c'est la compression qui consomme énormément de mémoire.
Avec la compression, c'est 1 Go de Ram / To géré qu'il faut prévoir !!
Parfois utile pour documents textes, word, photo ; inutile pour film, musique, archives zip, rar & co

raidz2 sur les 4x 500 Gb, partagée en SMB
... autant faire du "Raid 10" (2 vdev de mirored stripé) : perf méga super meilleure bonne.

1 SMB de 16 SATA : en RaidZ on évite de dépasser un vDev de 9 disques / en RaidZ2 on évite de dépasser un vDev de 10 disques
= créer 2 vDeV de 8 disques en RaidZ2 ... l'équivalent de Raid 50.
( cf formules & nombes magiques : http://forum.setiaddicted.com/viewtopic.php?f=4&t=1638 )

Tes smb sont en giga ou 10 GbE ?
Ton iSCSI est en giga ou 10 GbE ?
... l'un ou l'autre aggrégé ?

++

Message par **psycho-kila** » mer. 31 oct. 2012 16:52

j'avais pas pigé le coup de la compression merci pour l'explication

donc compression = off, de plus en plus miraculeux

pour le raidz --> iscsi, il n'y avais pas la 2eme pool de créé a mes 1er test, la elle y est, ca derange pas trop crystal mais atto en revanche sature completement la RAM :

pour le raidz2 --> SMB, en lecture c'est top, le giga est saturé tout le long, en ecriture les debits sont meilleurs, giga saturé puis la ram sature a son tour au bout de 2-3 sec.

raid 10, je test apres, le zfs commence a me plaire la

oui oui pas de gros vdev, j'en ai pas l'interet, le raidz2 est incertain car ca sera des vdev de 4 HDD 2To 4K peut etre meme avec des vdev de 4 HDD 1To, j'hesite a passer en raidz1 si je trouve un lto a pas cher sinon raidz2 (ou raid 10 comme tu le suggere

)

pour les nombres magique, je l'avais vu et c'est ce qui m'avais poussé a choisir le raidz2 pour les vdev de 4 HDD, mais de ce que j'ai lu on parle de 10% de perf donc pas forcement interessant.
le iscsi sera en raidz de 5 ou 6 HDD + 1 hot spare

je me suis pas encore trop penché sur l'agregation intra VM, a terme c'est possible dans l'immediat on est en giga simple.

Message par **poulpito** » mer. 31 oct. 2012 17:51

moins de 10% aucun impact suivant le nombre de disque avec les test que j'ai fait
ca dépend du hardware du software de l'optimisation proc etc etc
le top reste du solaris officiel et du matos sun

Message par **poulpito** » mer. 31 oct. 2012 17:55

pour ta 1068e (j'ai la même avec les ports externe c'est bien ca )
tu as quel firmware et update par ou (win ou linux)

Message par **psycho-kila** » mer. 31 oct. 2012 18:18

la mienne a 4 port sata interne et 1 x4 externe SFF-8088, mais je crois que le firmware gere toute les cartes 1068/1068e
j'ai fait l'update avec sasflash via win avec le firmware p20 1.32 (date 8 decembre 2010)
j'ai aussi le P21 mais j'ai lu partout qu'ils deconnaient avec le ZFS donc j'ai pas risqué.

je sais plus ou je l'ai trouvé mais c'etait une archive sympa avec tout les firmware entre 2008 et 2010 (y a aussi les IT/IR dedans

)

mais je pense que c'etait le precedant firmware qui etait pas terrible, vu qu'il avait meme du mal en simple raid (de juin 2007)

Message par **poulpito** » mer. 31 oct. 2012 22:00

ok faudrait que j'essai d'upgrader la mienne parceque au final même si en débit je sature le réseau c'est pas énorme pour autant ^^

si tu as le lien ou le fichier en mp ca m'intéresse

Message par **psycho-kila** » jeu. 1 nov. 2012 15:40

je vais essayé de retrouver le site, sinon je te l'envoi via mp

sinon j'ai poussé un peu plus les test sur le SMB, sur la vm win 7 lecture/ecriture qui sature le giga mais sur le pc win 7 bloqué a 40mo/s sans aucune saturation de la part d'opeindiana...

Message par **psycho-kila** » ven. 2 nov. 2012 16:42

j'ai pas retrouvé le site exact mais sur celui ci c'est le meme sans le FW raid

http://lime-technology.com/forum/index. ... c=12767.45

bon sinon j'ai ajouté un peu de ram pour les test, OI a donc 8Gb, a part un passage a 6.5Gb on est dans les 5Gb pour les 2 pool qui bossent en meme temps, coté iscsi c'est tip top, plus aucun soucis, coté smb les debit sont meilleurs mais j'ai toujorus une saturation des vcpu accompagné d'une limitation a 40 Mo/s pour l'ecriture, j'ai essayé de lui mettre les 4 vcpu et meme la entre 80 et 100% du cpu avec les meme debits

je veux bien que le X3430 soit pas une bete de course mais ca me parait un peu beaucoup quand meme...

Message par **augur1** » dim. 4 nov. 2012 01:14

Pour OpenIndiana : 2 Cpu, sinon ZFS s'embrouille.

Dans peu de temps je vais également mettre ZFS dans OpenIndiana sur un x3450 + 16 Go Ram, 2 POOL(1 pour iSCSI, l'autre pour NAS via SMB).

++

Message par **psycho-kila** » dim. 4 nov. 2012 19:25

juste pour openindiana ou tu as autre chose qui tournera avec ?

mon probleme de smb viendrais (du moins je le pense) du pc client principal, je testerais demain avec une autre machine.

sinon j'ai vu qu'on pouvait ajouter des vdev differents aux pool (raidz de 3 HDD + mirror de 2 HDD par exemple), en perf ca tourne normalement mais niveau securité des données ca donne quoi ?

il ne me rete plus qu'a testé sur ubuntu et apres je passe au vrai

Message par **augur1** » dim. 4 nov. 2012 21:07

Dans les 4,125 réponses au topic OpenIndiana sur HardForum, l'un des spécialiste _Gea (le fondateur de Napp IT) indique qu'il faut 2 CPU pour OpenIndiana...
=> http://hardforum.com/showthread.php?t=1573272

Sur le miens tourne sous OpenIndiana XAMP et Subsonic.

Tu peux ajouter des vDev mais par même type de config (mirror, RaidZ, RaidZ2 ...)
Ex :
POOL Storage (équivalent Raid 50)
1 vDev 5x 1 To RaidZ
1 vDev 5x 1 To RaidZ

POOL Perf (équivalent Raid 10)
1 VdeV 2x 600 Go mirror
1 vDev 2x 600 Go mirror
1 vDev 2x 600 Go mirror
1 vDev 2x 600 Go mirror
1 vDev 2x 600 Go mirror

POOL megaperf & storage j'ai de la thune
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror
1 VdeV 3x 4 To mirror

++

Message par **poulpito** » dim. 4 nov. 2012 21:45

pour ma part j'ai que des zpool de deux raidz

pas plus de 4 disques par raidz histoire de garder une forte tolérance aux pannes

Message par **poulpito** » dim. 4 nov. 2012 22:08

et pour la route jme suis trompé c'est une 3801E
mais linux me la voit (et esxi avant) comme une 1068E surement un flash a la con que j'avais pas vu
je vais la reflasher en 3801E puisque c'est une HBA de base

# ./sasflash -list -c 1

****************************************************************************
LSI Corporation SAS FLASH Utility.

SASFlash Version 1.30.00.00 (2011.08.24)

Copyright (c) 2006-2011 LSI Corporation. All rights reserved.
****************************************************************************

Adapter Selected is a LSI SAS 1068E(B3):

Controller Number: 1
Controller: 1068E(B3)
PCI Address: 00:03:00:00
SAS Address: 500605b-0-0084-5900
NVDATA Version (Default): 0x2b00
NVDATA Version (Persistent): 0x2b00
Product ID: 0x2204
Firmware Version: 01.23.02.00
NVDATA Vendor: LSILogic
NVDATA Product ID: SAS3801E
BIOS Version: 06.18.01.00
BIOS Alternate Version: N/A
EFI BSD Version: N/A
FCODE Version: N/A

Finished Processing Commands Successfully.
Exiting SASFlash.

Message par **augur1** » dim. 4 nov. 2012 22:20

pour ma part j'ai que des zpool de deux raidz

pas plus de 4 disques par raidz histoire de garder une forte tolérance aux pannes

Dans L'ananas 24 baies, ce sera 3x vDev RaidZ2 de 6x 3 To sur une m1015 et expander HP.

... les 6 emplacements restant seront pour une pool FCoE (iSCSI 10 GbE) avec SSD cache écriture (ZIL en STEC MACH16) & lecture (L2ARC OCZ Vertex 3)

++

Message par **poulpito** » dim. 4 nov. 2012 23:39

finalement j'avais bien fait de te lancer il y a des années dans le raid soft mdadm avec le kit poulpito

tu fais des trucs bien maintenant

tu m'en donnerai pas un en reconnaissance pour ton éternelle gratitude?

Message par **augur1** » lun. 5 nov. 2012 00:05

finalement j'avais bien fait de te lancer il y a des années dans le raid soft mdadm avec le kit poulpito tu fais des trucs bien maintenant

tu m'en donnerai pas un en reconnaissance pour ton éternelle gratitude?

[center]

[/center]

Message par **poulpito** » lun. 5 nov. 2012 00:28

Message par **Zedoune** » lun. 5 nov. 2012 11:09

Oubliez pas que zfs permet la copie de snapshots incrémentales vers un autre pool par le réseau via ssh, c'est tout simple, ça fait des backup incrémentales parfaites !

On peut même le faire en streaming réplication pour avoir une copie quasi permanente du disque !

Message par **poulpito** » lun. 5 nov. 2012 11:10

perso je m'en sers pas j'en ai pas l'utilité en fait ^^
comme c'est que de la grosse archive

snapshot c'est bien si c'est un volume de travail

merci pour le rappel

Message par **Zedoune** » lun. 5 nov. 2012 11:17

perso je m'en sers pas j'en ai pas l'utilité en fait ^^
comme c'est que de la grosse archive

snapshot c'est bien si c'est un volume de travail merci pour le rappel

Je suis en train de faire un article sur l'utilisation de ce mécanisme sur un autre système pour faire de la haute disponibilité en cluster Active / Passif

C'est tellement compliqué sous linux de faire un truc avec heartbeat/pacemaker et drdb ! Les BSD sont vachements mieux foutus pour ça !