[FIN] Filer , ZFS , How to ... Help please

[yullito]

Bonjour a tous

je crée un topic pour une demande d'aide sur un sujet qui a été maintes et maintes fois abordé ici .... les serveurs de stockage OpenSource et ZFS


Voila mon petit projet de filer maison qui a la configuration suivante :

Carte mère : supermicro X8STE
processeur : Xeon L5520
memoire : 4 * 4 Go de DDR3-PC8500 ECC
1ere carte controleur RAID : LSI 9240-8i
2eme carte controleur RAID : LSI 9240-8i
1 carte fibre dual port 4 Go ( sera éventuellement remplacé par une intel quad port gigabit si je n'arrive pas a présenter des volumes au travers de la fibre )
Disques durs : Western digital Velociraptor 600 Go : de 1 à N ( en fonction de combien de disques par RAID Z )

L'idée , c'est de présenter des datastores à deux machines ESXi qui auront une carte contrôleur fibre ( si j'ai pas merdé , je peux connecter un des deux ports fibre au premier ESXi et l'autre port au deuxième serveur )

j'ai lu les articles suivants mais j'avoue être un peu perdu avec cette "techno"

http://www.solarisinternals.com/wiki/in ... mendations
http://everythingshouldbevirtual.com/ne ... i-part-2-2
http://info.nexenta.com/rs/nexenta/imag ... e_pool.pdf
http://openindiana.org/download/
et bien entendu , le non moins fameux : http://forum.setiaddicted.com/viewtopic.php?f=4&t=1638

dans un premier temps , j'ai quelques questions à propos de ZFS :

1 - Quelle distribution prendre ?? une toute faite genre nexentastor ?? ou partir d'une distrib unix et mettre la couche ZFS par dessus ( en sachant que je ne suis pas du tout un spécialiste de Linux / Unix ) ?? bon , apres avoir lu les posts de MysterieuseX , je pense partir sur du nexentastor .

2 - Quelles sont les bonnes pratiques pour la création des RAID ?? en sachant que je devrai pouvoir mettre 12 disques dans la becane ( tous identiques )

3 - Comment définit on la taille des disques que l'on peut/doit allouer pour le L2ARC et les LOG ?? Vu le coup des disques SSD en SLC , je passe mon tour pour cette partie . eventuellement les logs si je trouve un petit disque pas trop pourri . 64 Go ca suffirait pour ??


Merci pour toute aide , j'avoue que je voudrai bien en voir la fin de ce filer
Merci surtout pour vos retours d’expérience sur la question

[kalistyan]

dans un premier temps , j'ai quelques questions à propos de ZFS :
1 - Quelle distribution prendre ??

napp-it to go ici

Un exemple de conf.

"napp-it to Go" - High Capacity und bezahlbarer max 200 TB Server (Chenbro RM 91250 max 50 x 4 TB Sata,
USB Bootstick-Mirror, SuperMicro Mainboard X9SRL, max 256 GB RAM, 6 x IBM 1015 SAS Controller ohne Expander, 10GbE.

[Jul77]

J'en sais rien mais je flag, je veux apprendre/comprendre également
A vous les studios

[Zedoune]

FreeBSD ou OpenIndiana !

[leon57]

tu as le choix, ce sera surtout question de tes préférences,

freenas/nexentastor qui utilise respectivement freebsd/openindiana, qui ont l'avantage de faire storage appliance rapidement. freenas n'est pas fermé, tu peux utilisé le cli, recompiler ajouter des fonctions... a tes risques et perils bien sûr

Nexenta est limité a 18Tb brut pour la version gratuite.

Ensuite tu as l'option napp it sur une base que tu choisira.

Pour ZFS
tu peux compter 1go de ram par To géré, plus si tu compte utlisé la dedup/compression
Ensuite pour le L2ARC n'importe quel SSD minimum 1 (pas besoin de raid, c'est un cache en lecture, si il crame, tu perd juste un niveau de cache.
Pour le ZIL, minimum 2 disques SSD de pref pour un raid 1,
Il n'y a pas de max a ma connaissance sauf ton budget pour le nombre de disques dans le L2ARC et le ZIL.

ensuite pour les allouer c'est à la création de tes grappes, mais par contre je n'ai pas souvenir que l'on puisse partitionner un disque/grappe L2ARC/ZIL pour ensuite affecter les différentes partitions a différentes grappes de disques.

Met ton système sur clef usb ou compact flash, ça t’économiseras un disque.

Par contre pour tes grappes de disques, plus y'en a, mieux c'est comme toute grappe. n'oublie pas que ZFS ne supporte pas l'ajout de disque sur une grappe déjà créer. Pour augmenter la taille d'un pool, il te faudra créer une autre grappe et l'ajouter au pool.

Pour ma part je suis parti sur un freenas, qui tourne super depuis 2ans, une upgrade en 8.3 y'a quelque temps... pas de zil/L2ARC car juste un nas pour lire les photos films, 16go de ram ecc pour 6*2TO 5.4k et 2*1TO 5.4k en 2 pools de disques. Les perfs sont très bonnes je trouve vu les disques, faudra que je fasse un benchmark un de ces 4, mais avec du gros fichiers en R et en W ça sature le giga , avec du petit fichier de mémoire ça tourne a 40/50 mo/s en R un chouilla moins en W genre 35/40 mo/s

[Zedoune]

1 To/Go c'est pas la "règle" pour la déduplication seulement ?

[leon57]

Je ne pense pas, car sur mon occupation ram, cela correspond a peu prés a cela 1go /To utile.
Faudrait que je regarde plus en detail avec des test, car je suis passé de 8go de ddr3 1066 et grâce a une bonne occase a 16go de ddr3 1600 ecc, ma carte mère gérant l'ecc.

[gizmo78]

+1 avec leon.

le miens est en raidz2 de 6*2To ears et sur du petit fichier (~650Mo par exemple) ca donne du 48/50Mo/s en écriture

ca tourne sur un X3110 avec 6Go de ram et un ssd crucial C300 pour le ZIL.

le tout sous freebsd 9.1 ou 9.2 je sais plus

[augur1]

FreeBSD ou OpenIndiana !

OmniOS à présent

Pour du DATA Store à VM : éviter le RaidZ mais préférer le stripe en vDev de 2 ou 3 disques mirorred pour un max de IOPS... avec cache SSD SLC si iSCSI ou NFS.
(cache L2ARC & ZIL inutile si partage Ethernet Samba ou AFP)

Partition ZIL (SLOG) : 1/2 RAM ;
[#ff0000]/!\ [/#ff0000]
cher pour avoir des perf correct ; techno SSD en SLC obligatoire
Micron P300 < OWC Mercury Entreprise Pro 100 Go (ref OWCSSDMEP6G100 | OWC SSD MEP 6G 100 , 480 € / garantie 7 ans) < Hitachi Ultrastar SSD400M Enterprise (3200 € en 400 Go) L2ARC : 1x FusionIO Drive2 SLC 600GB
=> ZIL : 2x STEC ZeusRam dualport

[Zedoune]

Je ne pense pas, car sur mon occupation ram, cela correspond a peu prés a cela 1go /To utile.
Faudrait que je regarde plus en detail avec des test, car je suis passé de 8go de ddr3 1066 et grâce a une bonne occase a 16go de ddr3 1600 ecc, ma carte mère gérant l'ecc.

De toute façon ZFS utilisera toujours absolument toute la ram disponible, donc c'est dur de mesurer la consommation par les fonctionnalités.

[poulpito]

après ca dépend de beaucoup de chose
pour faire du Zvol présenté en target FC je suis pas persuadé que le ZIL et le L2ARC boostent autant que ca
par contre j'ai lu que pour présenter du zvol comme target iscsi ou FC il faut énormément de RAM pour s'accorder avec le L2ARC sinon tu n'a aucun bénéfice

si tu partage en NFS le datastore avec une liaison ip standard la demande en RAM est beaucoup moindre

[augur1]

Exemple à suivre de MysterieuseX, lecture d'échange sympa à partir de :
=> http://forum.hardware.fr/hfr/Hardware/H ... m#t8707101

[gizmo78]

elle a l'air de bien toucher sa bille la madame, plusieurs fois que je lis des trucs d'elle et à chaque fois c'est avec des exemples et de l'argumentation.

[augur1]

elle a l'air de bien toucher sa bille la madame, plusieurs fois que je lis des trucs d'elle et à chaque fois c'est avec des exemples et de l'argumentation.

Elle a été à bonne école !

[leon57]

Exemple à suivre de MysterieuseX, lecture d'échange sympa à partir de :
=> http://forum.hardware.fr/hfr/Hardware/H ... m#t8707101

64To, avec saturation des lien FC...

c'est pour un besoin pro ou pour le plaisir?

elle fais quoi cette gente dame?

[augur1]

Pro : hébergement de moulte VM

[gizmo78]

comment tu sais augur? juste ca m'intéresse car je trouve ca top comme taff ce qu'elle fait

[augur1]

comment tu sais augur? juste ca m'intéresse car je trouve ca top comme taff ce qu'elle fait

On a bcp discut' en MP à propos des solutions ZFS : son besoin est similaire à ce que nous proposons sur différents workflow.

++

[leon57]

Pro : hébergement de moulte VM

ah oui,

fin quoique j'ai vu son topic pour un nas multimédia, du raid 10 avec des disques serveurs pour lire du bluray rip... c'est une sacré furieuse...



elle est mariée?

[gizmo78]

ha ouais nan mais c'est une bourrineuse vénère de chez vénère xD

mais c'est agréable de la lire je trouve et surtout enrichissant.

augur: ouaip elle a l'air de monter des solutions de furieux, ca doit être franchement kiffant de travailler sur le même labo qu'elle

[poulpito]

mouai encore des trucs démesurés qui sont exploités à 10%

j'aimerai bien voir les retour de quelques sondes d'usage la dessus
c'est comme des clients qui demandent des machines énormes (de l'argent publique (a) ) et qui dépassent pas les 10-20% d'utilisation sur le mois
GG

[gizmo78]

ha nan mais ca on est d'accord ^^

juste le coté technique et réflexion que je trouve vraiment passionnant

[mosie]

J'ai trouver ma moitier

C'est sur que c'est une nana ?

Y a quand meme 2 / 3 truc que j aurais fait diférament.

mouai encore des trucs démesurés qui sont exploités à 10%

j'aimerai bien voir les retour de quelques sondes d'usage la dessus
c'est comme des clients qui demandent des machines énormes (de l'argent publique (a) ) et qui dépassent pas les 10-20% d'utilisation sur le mois
GG

dans d'autre boite, ils t'aurais mis 15 serv pour le meme taf donc bon ...

[kalistyan]

dans d'autre boite, ils t'aurais mis 15 serv pour le meme taf donc bon ...

[:-pogo:1]

[yullito]

j'aime bien quand mes topics partent completement en live