[SONDAGE] ZFS / ZIL / Type SSD

[TheMartel]

c'est de ramdisk qu'on parle depuis le début là...
enfin c'est un peu tordu, parce que en fait ramdisk ça peut etre des modules specialisés (de type iram de chez gigabyte), ou une utilisation de la ram comme disque virtuel (ce dont on parle là).

edit; j'ai jamais vraiment compris l'interet de mosie d'avoir des perf tels qu'il recherche. mais l'aventage c'est que du coup il soulève des problematiques pas courantes, de limitation de performance par la latence par exemple (pour rester dans le simple).
la résilience peut etre assurée a t+x sur un autre système equivalent.
mais pour avoir un peu cherché, il faut faire un choix a certains niveau; des performance hors du commun, ou la sécurité. Tout dépend de l'intéret du SI.
Chez EDF dans la branche calcul hautes perf, leur limitation actuelle est sur la capacité d"échange et de stockage de data (en I/O s'entend). En gros les machines disponibles saturent les possibilités d'écriture/lecture des machines cible. Si la perte de performance liée a cette saturation devient supperieures au cout lié a la perte de la machine cible, il est plus interessant de fragiliser la machine cible pour assurer une utilisation optimale du cluster (on parle de machines dans le top 100 mondial là).


C'est pas notre cas. mais on se contente de chercher le meileur rapport qualité prix.Il s'avère que la ram (2 a 2,5€ le go) est souvent moins cher que les ssd de vraiment bonne qualité, par rapport a la capacité nessaire. D'ou la recherche d'utilisatoin de ram, dans la limite ou la perte/risque lié ne sont pas exessif. Dans mon cas par exemple, je dois pouvoir encaisser 1,5Gbit/s d'écriture, avec des lectures simultannée a plus de 2,6Gbit/s (bientot 11Gbit/s). Ce n'est pas un impératif, c'est juste pour que mon systèmedisque reste plus performant que mon réseau, et qu'il ne devienne pas le point limitant. Je suis cependant près a perdre 15min de data sans problème là dessus. dans mon cas, passer en ramdisk c'est tout benef... Si je pouvait, je serais entièrement en ramdisk (mais la limite arrive avec la taille, 32Go par rette*18 ça fait pas asser clairement, et le prix, parce que au Go le HDD ça reste quand meme bien moins cher )

[poulpito]

avant de dire que ca n'améliore rien parce que c'est pas écrit dans les docs et blabla as tu seulement déjà testé ?

non parce que bon .. moi je suis plutot du genre je crois ce que je vois donc autant de celui qui dit ca boost que de celui qui dit ca sert à rien un tit comparo serait sympa

mosie étant en voyage à l'autre bout du monde tu nous monte une tite conf dafresh ? et un proto de test

si il fallait se limiter a ce qui est "censé" se passer ^^ on aurait jamais évolué de l'age de pierre

edit : je remet aucunement en cause tes compétences ! je suis assez limité sur le zfs même si avec augur on quand même pas mal trifouillé avant de basculer nos storage dessus
mais tu te limite vachement au côté "pro" du truc et je trouve ca dommage
on s'en fou ici a la limite si ca crash pour la démo

[TheMartel]

de mon coté pas (plus) assez de ssd pour comparer.
mais si on part sur le principe que le système de cache sur ssd est juste là pour securiser les données qui devraient etre en ram, et/ou pour pourvoir au manque de ram, et que c'est desactivable, alors je suis tout a fait ok avec toi da.
Je t'avoue que pour le moment mon stockage est géré par un W2012r2, rien de bien fameux, Mais il souffre tellement qu'il faut que je m'occupe de mettre a jour (d'autant que je gache mon matos: 7*3To SAS ES2, ssd système, xeon 4c/8ht, 32Go de ram). Si le passage a un autre système (soft) ne suffit pas, j'ai en réserve un bi e5620 avec 96Go de ram et des 450Go 15k, mais je souhaiterais rester dans des limites de conso/bruit/encombrement plus raisonnable... C'est pour ça que je cherche a optimiser au max ce que j'ai. Mon gros souci c'est quand meme les petits fichiers/bdd, ça fout vraiment la merde niveau débit.

[augur1]

En San, nfs ou iscsi, sync=disable, tu peux te le permettre uniquement avec des SSD capacitor !!

[augur1]

Ce qu'en dit Gea, le demi dieux de ZFS, créateur / developpeur de Napp-It

Usually a filer with SMB, NFS or iSCSI does not request sync writes, so you do not need.

A L2ARC is good if you are low on RAM as it caches last read requests (blockbased) on SSDs and extends RAM/Arc -caching. If you have the option, buy more RAM (much faster for caching) and skip the slower L2Arc SSD. (RAM is 100x faster than SSDs but they are faster than disks). 64 GB RAM without a Cache SSD is always faster than 32 GB with Cache SSD at the same price.

Performance relevant is the blocksize (prefer larger values for first tests) and the writeback cache setting (on=fast, off =secure but slow without ZIL) For first tests I would disable sync (writeback cache=on) and disable compress.
If you add a ZIL for fast secure sync writes, the size must be at least enough to hold 10s of network traffic (even for a single 10 Gb, a 8GB Zil can be enough like a ZeusRAM-the best of all), important is very low latency with very good write performance. A good cheaper ZIL SSD is a Intel S3700.

If you performance tests show massive better writes than reads, I would look also at the Windows side (driver, setting problems etc). Reads should always be better than writes, otherwise you have an additional problem (Windows, drivers, switch, compress, dedup, ashift etc)

compare my values with 10 Gb/ mostly sync vs nonsync
http://napp-it.org/doc/manuals/benchmarks.pdf

Benchmarks are usually values without regarding any caches unless you have a very large cache or very small benchmark files.If you are intereested in cached values, you need a very large cache or very small files. For reads you can push performance with a lot of RAM.

If you disable sync (=enable writeback with iSCSI), all writes for 5s are cached and written as one large sequential write. If you enable sync, this basic behaviour is the same but every single write command must be confirmed from the log device until they go to RAM and the next write command is processed. (ZIL is a separate logging mechanism, not like the regular ZFS write caching that transforms 5s of small writes to one large sequential write). This means, without sync writes, you can loose up to 5s of last writes. This does not affect your pool consistency as this is copy on write. Your file system will not see any corruption unless your pool goes offline if more disks fail than your redundancy level allows. In this case, your pool is lost. But if any disk come back, your pool is ok without any data corruption. You can pull disks during writes and beside last write your pool is ok when you reinsert the disks. This is much different to hardware raid, where such an action my be a reason for a loss af data and raid consistency.

For writes, you can push performance only with fast disks as your write cache is always max 5s of writes (i.e. 5s of your max network traffic)

If you want th compare L2ARC, check the primarycache and secondarycache ZFS properties (I have not tested L2ARC compress myself), see https://www.illumos.org/issues/3137

A lire de haut en bas, bas en haut, droite guache,, gauche droite, en biais, à 4 pattes, sur le dos .... =>> http://napp-it.org/doc/manuals/benchmarks.pdf !!!!!!!!!

[augur1]

Aussi : pour obtenir de meilleures perf en Write si besoin de SSD pour le SLOG / ZIl

"Use reservations or do a "secure erase" on SSDs that are not new
... puis [#ff0000]Overprovisionning [/#ff0000]!!

Cf :
... pdf : http://www.infortrend.com/ImageLoader/LoadDoc/435
... html : http://www.anandtech.com/show/6489/playing-with-op

Utilitaires :
... html http://www.thomas-krenn.com/en/wiki/SSD ... ing_hdparm (via hdpram )
... pdf http://www.hdat2.com/files/cookbook_v11.pdf (tuto de HDAT2 )

[mosie]

DaFresh:

Etant en voyage (Je sort juste d'une semaine sans net dans une famille chinoise dans un coin pommer) j'ai peut de temps devant moi, et si je contnu a rep, je sens les interminable message plein de quote ...

Si ca te tente, on peut pourssuivre le debat de vive voix in skype, tes connaissance ZFS plus les mienne en HW devrais aboutir a un truc sympa

Toujours pas eu le temps de me replonger dans les doc ZFS

[augur1]

DaFresh : quid du protocole AFP ?

... difficile de savoir s'il se comporte comme SMB / CIFS, ou iScsi et NFS :/

As tu des liens et/ou infos là dessus ? J'en ai besoin !

++

[augur1]

L'intérêt n'est pas seulement de faire du time machine.

Les transferts de fichiers sont carrément plus rapide en afp que en smb...

Quand tu as un workflow de montage vidéo / composting qui doivent se partager média et projets, il faut que ça blaste et c'est l'afp qui prédomine au smb...

[Zedoune]

c'est marrant j'ai fait des tests samba / afp depuis des MAC et pour des petits fichiers samba allait beaucoup plus vite

[augur1]

Ok je savais pas, je n'en ai jamais eu d'autre utilisation que de la simple bureautique ou du TimeMachine.
Niveau perf, si c'est possible et si tu ne l'as pas déjà fait, utiliser des jumbo frame pourrait booster encore plus tes perfs.

Tout ceci ne répond pas à la question : si ça réagit comme du iscsi en sync ou smb en async...

c'est marrant j'ai fait des tests samba / afp depuis des MAC et pour des petits fichiers samba allait beaucoup plus vite

De quoi vers quoi ?
Quelle version de osx ?
Connecté à un volume en smb:// ou afp:// ?

T'as testé en NFS aussi ?

[augur1]

Et quand tu enregistrés / capture une vidéo, un enregistrement TV par exemple, on est dans quel mode par rapport à ton explication ?

[augur1]

Bah ZFS en stockage partagé !!!