SMPFR

à tous !


Je viens vers vous pour avoir des avis, des conseils, des retours d'expérience sur la création d'un filer HA.

Une personne m'a contacté pour mener une étude sur ce fameux Filer haute dispo, je n'ai pas beaucoup d'info, je sais simplement que le mec à beaucoup de disques SSD de bonne capacité (beaucoup ... en fait il n'a QUE du disque SSD ).


J’ai pensé à une solution, mais beaucoup de zones d’ombre freinent mon étude. Voici ce que je voudrais monter :
- 2 serveurs avec dans chacun 1 carte HBA avec 2 ports externe ainsi qu’une carte dual port 10GbE
- 1 châssis de 24 disques dual path avec 2 expanders

Je souhaiterai qu’en cas de défaillance d’un des 2 serveurs, l’autre soit capable d’assurer la continuité de service. Je n’ai pas d’impératif sur un fonctionnement actif/actif ou actif/passif des 2 serveurs, c’est à moi d’apporter la solution la plus fiable.



Voici déjà quelques points d’ombre concernant le Hardware :

1. Je ne sais pas si les SSD sont en SATA ou en SAS. Est-ce que les interposers SATA sont fiables et est-il possible de faire du dual path actif/actif ou simplement de l’actif/passif ?

2. Quel est le maximum de disques a mettre sur un expander pour éviter d’avoir un bottleneck sur le lien SAS externe ? Est-ce qu’un lien SAS entre host et expander suffit pour 24 disques ? pour 48 ?

3. Concernant le dual path, peut-on sur chaque host allouer les 24 disques en actif/actif ? Sinon, peut on allouer 12 disques à chaque host et mettre en place un takeover/giveback pour que chaque host puisse récupérer les 12 disques de l’autre en cas de défaillance d’un host ?



Côté software, je souhaiterais utiliser ZFS pour tous les avantages qu’on lui connait ! Voici mes questions :

4. Si l’allocation des 24 disques est possible simultanément sur les 2 hosts et que je crée un pool ZFS, sera-t-il accessible simultanément des 2 hosts à la fois ? ZFS va-t-il retrouver ses petits ?

5. Sinon, dans le cas de l’allocation de 12 disques à chaque host, je vais donc devoir créer un pool ZFS par host. Est-il possible en cas de défaillance d’un host de ré-allouer les 12 disques a l’autre host et de remonter le pool ZFS ? Est-il possible d’automatiser le takeover?

6. Concernant le pool ZFS, avez-vous un retour d’expérience sur un pool constitué uniquement de disques SSD ? Y a-t-il un intérêt de mettre en place un cache L2ARC SSD sur ce type de pool ?



Voila ! ça suffira pour un début
J'avoue que je ne sais pas si ce projet est 100% réalisable ... Merci d'avance pour vos conseils, aide et avis avisés
Si vous avez de la littérature sur ce type de montage, je suis preneur je n'ai pas trouvé beaucoup de choses sur une telle infra à part des docs constructeur type NetApp

Si tu montes le ZFS depuis les 2 machines en même temps, ça va pas marcher.

Pour les SSD, ZFS gère le TRIM à partir de FreeBSD 9.2, pas sur les systèmes Solaris.

Pour la haute dispo, c'est plus compliqué..

C'est bien ce qu'il me semblait mais vu que je n'ai jamais mis en place du dual path, j'avoue que c'est un peu flou

Je bosse souvent sur du NetApp et effectivement pour faire bosser les 2 controlleurs en actif/actif il faut allouer la moitié des disques a un controlleur et l'autre moitié sur l'autre et ensuite ils sont capable de faire du takeover/giveback sur les disques du voisin

Un montage comme ça serait faisable ? comment dire à l'host 2 de récup des les 12 disques de l'host 1 en automatique ?

pk pas utiliser l'équivalent du couple drbd+heartbeat sous freebsd?

Bah sauf erreur de ma part, t'es obligé d'avoir le double de disques ...

pk pas utiliser l'équivalent du couple drbd+heartbeat sous freebsd?

Parce que si tu utilises ça, tu peux pas faire de RAID et t'es obligé d'allouer 50% des disques sur chaque machine.

Exactement

j'utilise également un système de dual path sous Linux en HA, c'est de la merde, je gère ça à la main. Obligé d'utiliser XFS parce que Ext4 recharge pas le journal du système de fichiers quand tu le remontes (genre tu fais une modif sur le serveur A, quand tu passes sur le serveur B y a rien ! ).

J'ai fait un script de type STONITH pour gérer le changement de machine...

Et avec du ZFS ? pas possible ? Créer un pool de 12 HDD sur chaque serveur et remonter le pool sur l'autre host en cas de défaillance ?

Connaissais pas l'acronyme STONITH => http://en.wikipedia.org/wiki/STONITH

bas nan mais tu crée 2 serveurs avec chacun la moitié des disques, ca peut pas le faire?

Bah si mais si tu as disons 24 disques de 100Go, tu alloues 1.2To à chaque host et tu mirror le tout donc tu as une volumétrie utile de 1.2To (brute sans compter de raid ni rien)

En revanche avec le dual path les disques ont deux points d'entrée, ils sont accessibles par 2 hosts. Tu peux basculer les disques d'un hote à l'autre, donc tu as 2.4To de volumétrie utile C'est pour éviter d'avoir des SSD (qui coute la peau des c***lles) qui dorment la moitié du temps

ouais c'est sur.

après t'as des fs qui support le multi acces style glusterfs, lustre and co.

Avec ces FS je peux avoir mes 24 disques alloués aux 2 hosts simultanément ? ... j'ai jamais bossé avec ces FS je connais pas grand chose, mais lustre+ZFS me semble quand même être disproportionné vis a vis de l'infra non ? On tappe dans des technos BIG DATA avec ça, non ?

Pour GlusterFS je vais voir si je trouve de la doc ou un mec qui aurait monté une infra dans ce gout la

Si t'as des liens je suis preneur

mysterieuseX a monté un truc comme ca lustre + zfs

Oui j'ai lu les posts sur le projet ZFS de Yull'

Mais j'ai l'impression que c'est déjà beaucoup plus gros comme infra ... je ne sais pas si ça serait la solution la plus adaptée ... pas beaucoup de doc ou alors ça correspond a des infras de dingue avec 55 PétaOctets de stockage

bas en même temps tu spécifie pas le besoin au départ et vu le matos ca peut pootrer pas mal

Oui c'est vrai que je suis resté flou sur l'utilisation de tous ces disques...

Le but est de monter un filer haute dispo pour héberger des VMs (NFS et iSCSI) ainsi que quelques partages CIFS.

Je ne sais pas si le projet est réalisable avec les techno OpenSource, mais l'idéal serait d'arriver a un fonctionnement proche de celui d'une baie de stockage type NetApp FAS2040 bi cotrolleurs ... (Attention, j'ai pas la prétention de concurrencer NetApp hein je sais ce que coute une telle techno)


EDIT : Je me vois pas dire au mec, dégage tes SSD on va racheter une baie Niveau besoin il n'a pas besoin de plus qu'une baie bi contolleurs pour la HA.

EDIT 2 : L'infra virtuelle n'est pas très grosse derrière (pas plus d'une trentaine de VM) mais c'est des frontaux Web donc la haute dispo sur le filer est indispensable et doit fonctionner au poil !

okay mais pk du ssd alors? car si une trentaine de vm ca nécessite pas ca

Tout simplement parce que le mec les a déjà

En gros, il a du SSD à la pelle, il veut mettre en place l'infra stockage qui va avec ! A moi de trouver la meilleure solution


EDIT : Visiblement son ancien admin sys est un peu trop parti dans son délire

bas il aura un missile quoi ^^

après voir si c'est faisable mais je pense qu'il faut se tourner vers les fs distribués

Oui je pense que coté IO disque ça devrait aller

Cotés FS distribués, est-ce qu'il y en a qui gèrent snapshot + dédup ? Je suppose que Lustre + ZFS peut gérer ça puisqu'il y a la couche ZFS mais j'avoue que ça me semble encore plus complexe à maintenir (jamais testé, mais vu le peu de doc et les exemples d'infra, ça a l'air d'être vraiment monstrueux).


EDIT : Y'a pas moyen d'avoir quelque chose de fonctionnel grace au dual path ? Ca serait dommage de passer a coté de cette techno ...

Je trouve le dual path très dangereux, t'as vite fait de bousiller tes disques si tu montes un truc des 2 côtés :/

Arf ... zut ! Comment ils font chez NetApp et autres contructeurs ?? ... au final y'a que eux qui arrivent a sortir un produit stable en dual path ...


Sinon pour monter 2 hosts en HA avec ZFS, tu ferais quoi ? 12 disques sur chaque host, un device drbd par paire de disque et la couche zfs par dessus ? ....


EDIT : Du coup c'est obligatoirement de l'actif/passif. C'est pas dangereux la couche drbd sous le ZFS en cas de split-brain ?

Jette un œil à ceci :
http://www.opendedup.org/
http://www.quadstor.com/

Hummm ... quadstor a l'air intéressant

T'as déja mis en place un quadstor en HA ? qu'est ce que ça donne ?