[SONDAGE] ZFS / ZIL / Type SSD

[Moimemeici]

Après avoir Saoulé notre ami Augur en PM sur ZFS,
je vais peut être arrêter de poser plein de question et les posé ici ça peut servir au boulet de ZFS comme moi.


Alors après une longue lecture au sujet de ZFS je me dis que c'est plus tôt pas mal en attendant mieux (Btrfs un jour peut être).


Utilisation:


ESXI 5.5
OmniOS + Napp-it (ZFS donc)
VM + iSCSI (besoin de cloisonner)


De ce que j'ai pu discuter avec Augur1 et lire comme doc, il faut pour avoir quelques pré-requis pour avoir de bonne performance si on veut utiliser déduplication / Compression (?? a voir) / iSCSI.


Il faut donc avoir une multitude de SSD (en gros 3):


2 pour le ZILog (les ssd en mirroir)
1 pour le L2Arc


Concernant de ce que j'ai pu lire, il n'y a pas d'importance pour le type de mémoire (MLC) pour L2Arc, ce qui très bien ça ne coute pas très cher.
Par contre les avis diverges pour la mémoire a utilisé pour le ZIL, certain disent qu'il faut obligatoirement de la SLC et donc le tarif est juste énorme, d'autres disent que l'utilisation de MLC (de bonne qualité) suffit.


Donc je vous demande votre avis, je vous avoues que je n'ai pas envie de me ruiner à acheter 2x SSD SLC ( à moins que vous en vendiez à pas cher), est ce que prendre des SSD MLC pour le ZIL et donc avoir une forte probabilité de les changer souvent est faisable et pour le coups moins cher (tout est question de fric ^^)

De plus qu'elle taille doit avoir un SSD pour ZIL ou L2Arc

A vos votes et commentaires !



(Augur1, ton avis est important et tu as la pointe sur le sujet mais si je t'écoute je vends mon gosse ^^)
(désolé Mosie on ne se connait pas mais fallait trouver quelqu'un)

[Jul77]

J'y connais rien non plus en ZFS mais tu ne précises pas ton utilisation réelle tu indiques juste la config soft. Foutre des SSD pour ça c'est bien c'est sûr mais suivant ton utilisation est-ce que ça vaut vraiment le coup/coût ??

[poulpito]

Tout pareil j'ai ni L2arc ni ZIL et niveau perfs ca déchire sa moman
et j'ai vu aucune baisse de perf en activant dédup sur un volume test

donc tout dépend de ce que tu fais dessus
pas la peine d'acheter une abatteuse pour tomber un arbre .... un tronçonneuse suffit et une scie à main si tu es pas pressé

[Zedoune]

Les SSD ça va améliorer ta vitesse de lecture si tu lis énormément de fichier et que t'as pas beaucoup de ram.

Les SSD pour le log, ça pourra améliorer les performances si tu fais énormément d'écritures de petits fichiers.


Pour la dédup poulpito, faut faire attention, ça ralenti pas vraiment mais ça consomme de la ram. Environ 1 Go / To de disque apparemment. Ce qui est dommage c'est qu'on doit l'activer sur un pool complet et pas un dataset ZFS

[Moimemeici]

@Jul77 : Ce que je veux en faire n'a pas vraiment d'importance, je pense que c'est pour tout le monde c'est la même question.

Est ce que ZFS est une technologie qui est onéreuse et on a pas le choix que des SSD SLC qui côute un oeil ou bien peut on utilisé du MLC même si on a une fiabilité moindre mais correcte....

Mais le but pour étant de fournir un espace de stockage (16*2to) qui permette de faire en sorte que les personnes (2 ou 4 station de travail) puisse accéder aux fichiers sans avoir a transférer la moindre octets sur leur station de travail...

Ok Poulpilto
Ok Zplay (toujours clair)

[poulpito]

toutafais d'accord pour l'histoire du dataset limited
et la consommation ram pour le moment pour 4To je susi a 1.5Go de ram
donc aucun soucis ca reste acceptable vu les quantité qu'on peut mettre maintenant a pas cher

sur mes 32Go de ram je dois en utiliser 20


ZFS n'est pas onereux c'est juste que pour quelques mo/sec de plus les gens sont prêts à payer une fortune
beaucoup de ram des disques pas trop au rabais et ca suffira largement
après tu peux segmenter les disques des 15k pour stocker des fichiers courants et des gros pour les fichiers autres

[gizmo78]

tiens pour te faire une idée:

bonnie ++ -n 0 -u 0 -s 15G sur du zfs

mirror (2*500Go 7200.12 seagate) + L2ARC sur un intel 64Gb SLC:
[cpp]Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
Entreprise 15G 121 98 61611 14 36573 8 323 99 157632 16 621.5 13
Latency 107ms 12369ms 12685ms 39795us 1236ms 707ms
[/cpp]

Raidz-2 (6*2To green wd) sans cache:
[cpp]Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
Yorgi 15G 101 99 148835 38 116542 32 268 97 404268 38 122.9 2
Latency 95682us 10086ms 1510ms 191ms 149ms 862ms
[/cpp]

[vachfolle]

Planté de drapal.

[Moimemeici]

A ce qui utilise des SSD pour le ZILog et L2Arc qu'elle est la taille des SSD à prévoir ?

[vachfolle]

Pour ma part déjà approvisionné :
ZIL : 3x30Go SLC (Raid 1)
L2ARC : 1x120Go SLC

[augur1]

Technologie SLC pour ZIL
-> utile pour avoir un max de IOPS = quand on héberge des VM pour éviter des latences
-> SLC plus endurant que MLC et souvent garantie 5 ans
-> hors bench, dans la réalité, les performances d'un MLC s’effondrent (mosie l'explique mieux que moi) en écriture simultanée / d'affilée...
-> partition ZIL = 1/2 RAM

Pour le L2ARC, un MLC peut être utilisé.

[augur1]

MLC 4 cycle VS SLC 1/2 cycle, bah latence plus grande, donc impact plus violent en QD lourd.

[Moimemeici]

Ok augur1

[augur1]

Je le mets ici aussi ...

Dans la catégorie des THE BEST SSD q1 2014, classé du tiptop meilleur au moins tiptop, en perf MAX IOPS (idéal pour ZIL ZFS)

HGST UltrastarHUSMH8040ASS204

[Jul77]

Meilleur disque dur

HGST Ultrastar C10K900 HUC109090CSS600
-> http://www.hgst.com/hard-drives/enterpr ... ar-c10k900

Je viens de matter ses résultats sur Storage Review (test du Seagate 10k7 qu'est déjà pas dégueulasse)... c'est beau.

[augur1]

Aussi super document concernant : transferts sync & async
... comparaison entre nombre de vdev , utilisation zil, transfert iscsi / cifs

=> "Benchmarks about number of vdevs, sync-write (ZIL) and SSD only pools"
http://www.napp-it.de/doc/manuals/benchmarks.pdf

[mosie]

persso quand petit volume ZFS et conf avec mal mal de ram, ba L2ARC et ZIL on ram

[TheMartel]

Faut pas mal de ram quand meme...
Mais en effet, mettre le zil sur la ram ça me semble une solution très acceptable, dans la limite ou la config est bien ondulée. Niveau coup, selon la ram(et la cm...) 24go de ram dédié à ça c'est pas forcent plus cher que 2 ssd scl, et beaucoup beaucoup plus performant.

[gizmo78]

ouaip c'est sur mais après le risque de corruption/perte de données est quand même vachement accrue par rapport à un ssd quoi. même si serveur ondulé y a toujours un risque de plantage de la machine en elle même

[augur1]

+ une barrette lâche, c'est pas gagné
+ mettre des barrettes à chaud non plus !

[TheMartel]

Enfin si une reste lâche, que se soit en ram utilisée de façon classique ou en ramdisk, t'es zobbé.
Le taux de panne sur un système classique, avec de la ecc reg et hors bidouillages sont quand même très bas sur la ram, bien plus bas que les HDDs et même les ssd pro. Suffit de bien tester tout ça avant de mettre en prod.

[TheMartel]

En système critique, y a toujours possibilité de doubler les serveurs, ce qui doit être faut de toute manière si les assurances de dispo passent en dessous de 48h...

[whiteblood]

bref ... Mosie ne mangera pas beaucoup de caviar

[mosie]

bah persso backup du ZIL sur SSD, vu la faible taille du truc s'est pas un probleme, et osef d avoir des temps de retention long du backup, donc SAVE toute les xH marche bien.

Heu quand je dit conf avec un mini de ram je pense plus a des truc de 125GB et plus ...

Vu le % du volume que prend le ZIL, avec 24G tu va pas loin

mais bon zil on ram plutot que SSD c'est vraiment utile que dans de rare cas, apré quand on peut le mieux ...

[augur1]

... et pour du SAN uniquement en iSCSI ou NFS (tout ce qui est transfert synchro)

Par contre, l'AFP c'est comme du CIFS / SMB ? (Asynchrone ?)