Sauvegarde distribuée et transparente [Linux]

[Tadeus]

Salut à tous !

J'ai une problématique pas évidente que j'aimerais résoudre. Dans le cadre de mon taff, on dispose d'envion 200 sites répartis disposant chacun de 2/3/4 serveurs.

Tout les serveurs sont des machines tournant sous Debian mais avec des capacités disques différentes et des configurations hétérogène.

Actuellement, les backups sont réalisés avec rsync d'un serveur à un autre mais paramétrer à la mimine sur tout les serveurs (qui sauvegarde sur qui essentiellement...). Je trouve cette approche fastidieuse, source d'erreurs et peu flexible.

Je suis donc à la recherche d'un système de fichier distribué qui me permette d'impliquer toutes mes machines et de gérer un espace commun réparti sur les 3 machines, qui résiste à la perte d'une machine et qui me permette de gérer des priorités sur la destination des fichiers stockés. Les serveurs hébergeant des machines virtuelles, il n'est pas question de sauvegarder la vm sur le meme support que la machine physique.

Je suis évidemment limité en terme d'espace dispo.

Si vous avez des idées, je suis preneur !

Merci

[c0bw3b]

Tu voudras probablement jeter un œil à cet article sur LinuxFr.

Avec l'approche "système de fichiers distribué" tu peux te tourner vers tahoe-LAFS.
Mais ce n'est peut-être pas la seule approche possible pour simplifier tes sauvegardes.

[guigux]

une surcouche a rsync , certes n etant pas un file systeme partagé ,
je partirai , perso , sur du rsnapshot .....

[fighting_falcon]

de mon côté on a que 2 sites, mais même problématique, et on se pose les mêmes questions ... on regarde du côté de glusterFS et MooseFS

sinon (juste une remarque au passage),

paramétrer à la mimine sur tout les serveurs

[:electro0007:5]

puppet ?

[Tadeus]

Quand je dis "à la mimine" c'est relatif, on a des interfaces pour gérer ça, mais bon, il faut à un moment donné se poser la question "on met quoi ou ? " et ça, j'aimerais bien que ce soit géré de façon automatisé et transparente.

[augur1]

une surcouche a rsync , certes n etant pas un file systeme partagé ,
je partirai , perso , sur du rsnapshot .....

D'autres utilisent le système de fichier ZFS qui fait justement des snapshot exportable, avec ou sans rsync.
Ce serait mieux que du heardbeat / DRBD qui consomment pas mal en IOPS.... vu que ZFS fait ça à la volée.

http://www.nickebo.net/backup-of-virtua ... and-rsync/
http://www.thelazysysadmin.net/2010/06/ ... snapshots/

++

[guigux]

D'autres utilisent le système de fichier ZFS qui fait justement des snapshot exportable, avec ou sans rsync.
Ce serait mieux que du heardbeat / DRBD qui consomment pas mal en IOPS.... vu que ZFS fait ça à la volée.

http://www.nickebo.net/backup-of-virtua ... and-rsync/
http://www.thelazysysadmin.net/2010/06/ ... snapshots/

++

pas con ....
mais pas super simple

[augur1]

Si tu veux du HA, je suis tombé sur pire encore : Pacemaker pour du clusturing HA
=> http://www.clusterlabs.org/wiki/Main_Page





... le tout en OpenSource, intégré dans Napp-it !

Cf le HowTo: http://booki.cc/howto-setup-openindiana ... s-in-esxi/

Ils en parlent : OpenIndiana + OpenSource Clustering and HA/ High Availablity

++

[Zedoune]

Si tu veux du HA, je suis tombé sur pire encore : Pacemaker pour du clusturing HA
=> http://www.clusterlabs.org/wiki/Main_Page

http://www.clusterlabs.org/mwiki/images ... assive.png http://www.clusterlabs.org/mwiki/images ... plus-1.png

http://www.clusterlabs.org/mwiki/images ... n-to-n.png http://www.clusterlabs.org/mwiki/images ... t-site.png

... le tout en OpenSource, intégré dans Napp-it !

Cf le HowTo: http://booki.cc/howto-setup-openindiana ... s-in-esxi/

Ils en parlent : OpenIndiana + OpenSource Clustering and HA/ High Availablity

++

j'utilise pacemaker + corosync pour mes serveurs haute-dispo. C'est pas marrant à configurer


Pour la sauvegarde, y a Rsnapshot, bacula, j'utilise rsnapshot je connais pas les autres.

[guigux]

on en reviens a rsnapshot ....
c est ce qu il y a de mieux pour faire efficace et simple

j avoue que ce bout la ..... je pige pas "Je suis donc à la recherche d'un système de fichier distribué qui me permette d'impliquer toutes mes machines et de gérer un espace commun réparti sur les 3 machines, qui résiste à la perte d'une machine et qui me permette de gérer des priorités sur la destination des fichiers stockés. Les serveurs hébergeant des machines virtuelles, il n'est pas question de sauvegarder la vm sur le meme support que la machine physique. " hum ?

[guigux]

ah tu voudrais mutualiser des espaces piqués a droite a gauche sur tes serveurs et en faire un espece de pool , vu de l ensemble de tes serveurs et faire un /backup la dedans c est ca ?

[guigux]

j'utilise pacemaker + corosync pour mes serveurs haute-dispo. C'est pas marrant à configurer


Pour la sauvegarde, y a Rsnapshot, bacula, j'utilise rsnapshot je connais pas les autres.

ptain , a ce niveau là , c est plus humain !

[Tadeus]

guigux -> c'est ça, mais avec une gestion de l'organisation des data aec un système de priorité par exemple (mettre telle data ici, en premier, ici en deuxième, etc...)

[kalistyan]

Je viens aux nouvelles ?

[augur1]

... "streaming réplication" en ZFS : http://smpfr.mesdiscussions.net/smpfr/S ... htm#t13848

[kalistyan]

Projet abandonné ?

[augur1]

=> Openstack en debian / ubuntu (OVH hubic like)
=> Nexenta + OpenStack : http://www.nexenta.com/corp/solutions/openstack

[Tadeus]

Nop, mais plus trop de motivation pour le projet en cours

[sumfvm]

=> Openstack en debian / ubuntu (OVH hubic like)
=> Nexenta + OpenStack : http://www.nexenta.com/corp/solutions/openstack

+1.