Sauvegarde : cluster ZFS ?

Message par **Oshimura** » sam. 3 mai 2014 18:34

Bonjour,

Je suis en train de travailler sur la refonte de la sauvegarde de nos bureaux (10k€ de budget, extensible). Actuellement, l'infrastructure réseau est plutôt standard : chaque site dispose de ses ESXi et de sa baie SAN, voir d'un robot de sauvegarde LTO pour la rétention de fichiers sur bande.

Le site sur lequel je travaille actuellement (nos locaux, ce ne sont pas des données de production) me pose un problème. Il faut que je sauvegarde en local et duplique sur un site distant (connecté via un VPN IPsec en 100MB symétrique) :

- Une sauvegarde des ESXi (+- 3TB de vmdk)
- Un NAS Synology (3TB de données en RAID5)

Sur le même site, je dispose d'une CX4 (8TB de disques SAS en raid10 dont 2TB disponibles) d'un lecteur de bandes LTO4 et d'un serveur DELL r320 (5TB disponibles de disques SATA en RAID5).

J'ai donc 6TB de données à stocker en local et à pousser sur un site distant. Une grosse partie des données est statique, il y aura surement +10% de données par an sur 3 ans.

Pour la sauvegarde en local, je pense pousser les .vmdk sur le serveur Dell r320 (le soft reste à déterminer, on dispose d'une licence backupexec, je vais aussi creuser au niveau de veeam ou ghettoVCB), avec un FreeNAS ou OpenMediaVault dessus (les BSD supportent mal le matériel récent, en plus j'ai des cartes réseau Broadcom dessus). Idem pour la sauvegarde du NAS Synology, je pense pousser les données sur le Dell r320 (via rsync ou autre).

Les données sensibles (

Message par **augur1** » dim. 4 mai 2014 14:54

Ahah !! La "fermette" LTC tourne depuis octobre / novembre (je crois) 24/7 s'en m'en occuper !

Pour ce que tu souhaites mettre en place, regarde plutôt sur du Nexenta en suivant les recommendations pour te monter un système compatible qui poutre bien ou voir du côté de chez Dell
-> http://www.dell.com/learn/fr/fr/frdhs1/ ... ta-storage

Message par **Tadeus** » lun. 5 mai 2014 13:03

Nexenta est sympa, mais niveau licence, ça risque de piquer un peu vu la volumétrie nan ?

Message par **yullito** » lun. 5 mai 2014 16:30

la community edition est gratuite et supporte 18 Tb , ca laisse de la marge pour la suite .

Message par **kalistyan** » lun. 5 mai 2014 16:45

No commercial... :/

Message par **augur1** » mar. 6 mai 2014 22:53

J'ai beau tourner ton "cahier des charges" dans tous les sens, je me mélange entre ce que tu dis / veut faire.

En gros, tu as 6 To à sauvegarder à un endroit et ensuite les envoyer sur un site distant... ?

Et sur quel matos tu veux mettre ZFS ?
As tu check avec OpenIndiana ou OmniOS sit ton matos est supporté ?

Message par **Oshimura** » ven. 9 mai 2014 14:25

En gros, j'ai 6To de données à sauvegarder et à dupliquer sur un site distant (raccordé en VPN sur un lien 100MB symétrique). Après réflexion, je vais plus partir sur 10 To de données à sauvegarder pour avoir un peu de marge.

J'ai un peu regardé Nexenta, OpenSolaris c'est viable sur du long terme ?

Niveau hardware j'ai un peu de news : je pense rapatrier dans nos locaux un ancien serveur de sauvegarde actuellement en production (r510 rempli de disques) pour ma sauvegarde locale. Sur le site distant, je vais prendre une bestiole un peu plus costaud pour supporter la compression Veeam : un bi-e5-2690v2 me semble adapté. Après je suis en train de voir si au niveau budget je remplis ce nouveau serveur de disques où si je lui colle une baie SAN "low cost" comme une PowerVault MD38xx, pour stocker des sauvegardes de production et les 10To de nos bureaux.

Du coup les données vont faire :

--- r320 (nas)-->| dell |--- VPN---> | nouveau serveur (+baie SAN?) |
--- ESXi-------->| r510 |

Niveau software j'ai un peu plus de mal. Les BSD sont assez mal supportés sur les serveurs dell, surtout à cause des cartes broadcom. j'hésite à passer les deux serveurs sur OpenMediaVault, et pousser les données sur le site distant en rSync. L'implémentation de ZFS sur squeeze est stable ? C'est un peu dommage de raisonner au niveau fichier, mais les solutions "non propriétaires" niveau bloc se résument à une peau de chagrin..

Merci en tous cas pour vos réponses !

Message par **Moimemeici** » mar. 13 mai 2014 09:06

Pour OpenMediaVault, la version 0.6 ne devrait pas tarder à sortir (version wheezy avec logiquement le support de ZFSonLinux)

Message par **guigux** » mer. 21 mai 2014 16:13

perso je bosse avec du zfs /solaris , sur les dernieres versions solaris10 aucun soucis ....
As tu assayé freeNas , ou bien veux tu absolument rester San ,?
a+

Message par **Oshimura** » dim. 8 juin 2014 16:01

Après quelques semaines un peu chaudes, je viens de voir les différentes réponses apportées, merci pour vos avis !

Je me suis rendu compte qu'il est assez difficile de sauvegarder une infrastructure basée à la fois sur des serveurs physiques et sur des serveurs virtuels. On utilise actuellement VEEAM (bundle enterprise plus) pour sauvegarder l'infrastructure de production à 100% sous VMWare, c'est vrai que ça marche plutôt bien.

Du coup, je vais monter un clone virtuel du NAS ouvert utilisateur et faire une réplication "à chaud" entre les deux. Le NAS virtuel sera sauvegardé via VEEAM en même temps que les autres VM du bâtiment et poussé sur un autre site via la réplication VEEAM.

Au niveau des achats la facture est un peu plus lourde mais la solution me semble plus pérenne à long terme :

- 2 baies FC powervault 24Tb (une dans notre bâtiment, une sur le site distant) remplie de disques near-line SAS 4Tb (en raid6)
- Un pack de licences VEEAM Enterprise pour les ESX du bâtiment
- Un serveur de sauvegarde récupéré de la production pour gérer les sauvegardes sur bande et piloter VEEAM

Reste à voir comment gérer la synchronisation entre les deux NAS en fonction de la distribution !

Message par **augur1** » dim. 8 juin 2014 17:32

24 baies de 4 to en Raid6 !?

... seriously !? o.O

Message par **biour** » dim. 8 juin 2014 17:37

non 24Tb avec des 4To en raid 6 cela ne fait que 8 disques par baie

Message par **Oshimura** » dim. 8 juin 2014 17:49

Pour du stockage "cheap" ça ne me semble pas délirant (sauf si j'ai loupé un truc) :

Les slots libres de la baie me laissent un peu de marge au cas ou la volumétrie explose d'un coup. Vu que je n'ai pas spécialement besoin d'iops, il y a un intérêt à passer sur des disques de 2TB ?

Message par **TheMartel** » dim. 8 juin 2014 22:40

Vous feriez quoi comme système avec 7 HDDs 3to, sachant que j'ai besoin de 15to en gros?
Évolutif en ajoutant des disques... et j'ai du ssd, et un 4to dispo en plus.

Message par **Oshimura** » lun. 9 juin 2014 15:55

Erratum : j'ai confondu avec un de nos anciens r710 qui font office de rétention de certains backups.. il va falloir diminuer la consommation de rosé le weekend ou moins rester au soleil !

Les deux baies SAN "low cost" (MD3600f) en cours de cotation chez Dell sont remplies de disques (12x2Tb en near-line SAS 3.5"), ce qui me donne 20Tb utile en raid 6

Message par **gizmo78** » lun. 9 juin 2014 16:15

themartel: raid6, pas de zfs vu que tu veux rajouter des disques

Message par **augur1** » mar. 10 juin 2014 13:33

Raid 6 :
... combien de temps ça met pour le crer avec ces capacités ??
... et le write hole ?!
... lors de la perte d'un disque, combien de temps ça met pour recréer le Raid ?
... de quelle ordre est la perte de performance lors de la re création du Raid ?

Et depuis quand en on ne peut pas ajouter de disques ??

En miror : par 2
En RaidZ par 3 / 5 / 9 en advanced format
En RaidZ2 par 4 / 6 / 10 en advanced format

2vdev RaidZ = perf de Raid50

https://calomel.org/zfs_raid_speed_capacity.html

Message par **TheMartel** » mar. 10 juin 2014 14:51

C'est pour du perso

l'idéal serait de pouvoir utiliser l'espace en le partageant sous esxi derrière, sachant que je tiens a ce qu'un seul server tourne chez moi, avec:
- partie routeur. Pfsense a priori.
- partie hébergement web (dans l'idéal, 2 a trois VM, pour prod/test/inté). Sans doute du Debian
- partie serveur local/ftp perso (films, serveur de fichier, ...). Xpenology conviendrait bien a cette partie a priori

je rajoute: les debian a sauvegarder en distant, ainsi que quelques dossier du serveur local, et le pfsense pour pas avoir a tout reconfigurer au cas ou. Le distant c'est un petit serveur avec des vms debian, un xpenology, le tout sous esxi.

Message par **gizmo78** » mar. 10 juin 2014 16:18

augur: merci je sais... juste themartel dit vouloir rajouter des disques et donc je pense au faire et à mesure et pas par 4/6/10... c'est fatiguant desfois augur ce type de réaction

Message par **TheMartel** » mar. 10 juin 2014 17:42

je vois en effet plus un truc qui me permettre de rajouter 3To de temps a autre...
Vais finir par faire gerer ça a windows 2012 moi

Message par **augur1** » ven. 20 juin 2014 18:00

Ajouter des disques un à un = être certain de ne jamais disposer du même firmware sur les disques...
= performance dégradé voir piiiiiirrre :/

Message par **TheMartel** » ven. 20 juin 2014 18:01

ça joue vraiment sur du raid 6?
Sur du r0 je veux bien, mais là...

Message par **augur1** » ven. 20 juin 2014 19:52

ça joue vraiment sur du raid 6?
Sur du r0 je veux bien, mais là...

Y a un bin's avec désynchro et resynchro qui accroit les temps de latence et de construction / reconstruction...

Message par **poulpito** » ven. 20 juin 2014 19:57

euhhhhhh
on parle de pouièmes la ^^