[Server] Fichier / Backup demande d'avis + ISCSI Performance

[Moimemeici]

Bonjour,

J'aurais un schéma a vous faire approuvé.



Pourriez vous me dire si c'est bon ou bien me dire les points à améliorer.

Cordialement

ps: modification de l'image.

[Jul77]

En fait, je pense que sans aucune autres indications du pourquoi, ça va être dur pour que qq1 te réponde ...
Mais le schéma est bien fait (avec quoi ?)
Les 2x2To en spare sont dispos pour les 2 grappes d'à côté ?

[Moimemeici]

Alors merci pour le schéma, il a été fait sous publisher (j'avais que ça sous la main)

les 2x2to en spare seront effectivement pour les 2 grappes.

Sinon, le but est d'avoir 1 server de fichier qui me permette de ne plus avoir de soucis d'espace et aussi et surtout, minimisé la perte de données ....

Sachant que la partition backup est là pour recevoir un Rsync (ou autre système) des 2 partitions Essentiel. le Rsync se fera entre 1 à 2 fois / semaines

Sachant que dans un avenir proche, la partition Backup sera migré sur un autre server éloigné (dans la cave qui est isolé du reste de la maison) et donc les spares seront multiplié.

[yazyaz]

ca fait 14 To utiles / 31 To raw

[Jul77]

ca fait 14 To utiles / 31 To raw

On va dire que c'est la fatigue qui te fait dire ça

[Moimemeici]

Mince, mon schéma n'est pas compréhensible?

Total disque = 33To
Total Spare / redondance = 16To
Total Utilisé = 17To

Ce n'est pas bien ?

[Zedoune]

Tes backups tu les fais combien de temps et tu les renouvelle combien de temps ? Tu gardes un historique des backups sur combien de fois ?

Y a un truc qui me plait pas trop c'est : "dossier compressé", si ton archives est endommagée tu perds tout le contenu, pour pas beaucoup de gain je pense.

[Moimemeici]

Alors je comptais faire un Backup via Rsync 1 à 2 fois par semaine.
Rsync utilisé avec un checksum logiqement il y a pas trop possibilité de corrompre l'archive non ?

sinon je suis ouvert a d'autre systeme de backup comme BackupPC (linux) mais si vous avez d'autre solution je suis preneur

Zplay: concernant le reste, tu ne vois rien à redire ?

[yazyaz]

On va dire que c'est la fatigue qui te fait dire ça

[Zedoune]

Alors je comptais faire un Backup via Rsync 1 à 2 fois par semaine.
Rsync utilisé avec un checksum logiqement il y a pas trop possibilité de corrompre l'archive non ?

sinon je suis ouvert a d'autre systeme de backup comme BackupPC (linux) mais si vous avez d'autre solution je suis preneur

Zplay: concernant le reste, tu ne vois rien à redire ?

rsync y a pas de soucis. par contre, le fait de stocker autant de données en compressant les dossiers je trouve ça inutile (à moins que tu ais des données hautement compressibles, mais en général c'est pas le genre de chose qui prend de la place). Et puis avoir le checksum de chaque archive, ça te servira juste à voir qu'elle est foireuse et pas à la réparer.

Utilise plutot rsync pour copier tous tes fichiers. A la rigueur, tu peux utiliser rsnapshot qui peut te gérer automatiquement un archivage sur x jours / semaines / mois / annees, et il fait des liens "hard" sur le disque pour éviter que les fichiers ne prennent plus de place qu'avant.

En gros, avec rsnapshot, si tu n'as qu'un fichier qui change, dans la sauvegarde tu retrouves tous tes fichiers qui sont "liés" aux anciens, sauf le nouveau qui est nouveau, tu ne prends donc pas beaucoup plus de place qu'avant.

De plus, le stockage avec des archives, c'est chiant pour extraire UN fichier, et le risque de corruption par transfert est plus important. Si tu veux vérifier le checksum de ton archive, cela signifie qu'elle est déjà créée en locale puis transférée, pourquoi ne pas utiliser rsync directement alors ? Ca t'évitera de transférer tous tes fichiers chaque fois en plus.

[Moimemeici]

Ok pour la partie backup et je vais de ce pas regarder rsnapshot.

Zplay: Donc j'en conclus que le reste est bon pour toi?

[Zedoune]

Pour le reste je dirais que ça dépend de tes besoins..

Pourquoi pas faire de ZFS par exemple ?

[Moimemeici]

Je ne connais pas du tout ZFS et je n'arrive vraiment pas à trouver de document que je puisse comprendre.

MDadm je connais je sais comment le faire évolué (ajout de disque changement etc etc) (et surtout je sais comment récupérer des données sur le couple Mdadm/LVM2)

ZFS me fait peur car je ne connais pas du tout !

[Zedoune]

si tu connais pas, tu peux toujours apprendre

Sinon y a un truc bien si tu as du ZFS des deux côtés, tu peux faire des snapshots sur tes systèmes, et les transférer sur la cible. Tu fais des copies de snapshots et ça marche très bien.

Rsnapshot ça fait à peu près la même chose, sauf qu'il doit tout faire avec rsync, créer des fichiers, les déplacer, supprimer et plein d'opérations. Ca prends un peu de temps quoi ...

Et ZFS ça permet plein d'autres choses, enfin, à toi de voir

[Jul77]

Limite, concernant la question de ZFS, étant donné que tu as l'air d'avoir pas mal de matos à disposition, tu te montes un environnement de test avec une partie de ton matos. Si au bout de quelques semaines tu maitrises ce que tu comptes y faire alors banco, tu refais tout avec tout ton matos. Si non, tu aura fait l'expérience ZFS au moins

[Moimemeici]

bon, alors ZFS a l'air très interressant mais demande des connaissance que je n'ai pas pour l'instant sur cette FS.

Donc je vais construire mon système avec ce que je connais Mdadm/LVM2/ext4 avec rsync ou rsnapshot car j'ai besoin de faire ça le plus rapidement possible.

Par la suite comme dis Jul77, je ferais des tests avec ZFS et quand j'arriverais a comprendre le FS et si c'est mieux pour moi je basculerais le tout sur ZFS.

Donc, pour en revenir a mon schéma ce que j'ai besoin:

- Avoir un système robuste avec peu de chance de perdre des donnée par corruption du Raid
- Avoir un système qui me permette de ne pas perdre de donné par la corruption d'une partition Ext4

- sur la globalité des données seulement 5to sont vitale (aujourd'hui car se rajoutera les données demain)

- permettre de faire des volumes iSCSI et NFS pour faire le partage.

A votre avis, est ce que cela convient? est ce que ça fait parano ou bien ce que je viens d'imaginer ne sert a rien ?

[Jul77]

Moi je me pose la question de l’intérêt de tes 2 grappes R5/6 plutôt qu'une seule R6 avec 2 spares (ou 1 seul même) ?
Ça te fait une grappe en moins à gérer et plus d'espace dispo et 3 HDDs (1 seul spare) qui peuvent flancher avant crash total.

[Moimemeici]

A terme cette grappe (et donc disque dur) vont partir sur une autre machine qui sera délocalisé dans la cave et ne s'allumera que si on a besoin d'elle comme dis dans mon deuxième post.

Sachant que dans un avenir proche, la partition Backup sera migré sur un autre server éloigné (dans la cave qui est isolé du reste de la maison) et donc les spares seront multiplié.

ah moins que sa ne serve à rien ?

[Jul77]

ah oups pardon, je n'avais pas compris ton diagramme comme cela, en fait cette grappe est ton backup, ok ok

[Moimemeici]

Personne d'autre n'a d'avis ?

[Moimemeici]

Bonjour,

j'ai mis en place mon système présenté dans mon schéma au dessus ...
Par contre j'ai un petit soucis.

après ca j'ai pris mon raid 1 hfs+ que j'ai monté en iSCSI dans un autre vm (apple) pour certains besoin de test et l'a horreur les performance sont médiocre pour un transfert je tourne au alentour de 30 / 40mo/s, alors que le me fichier transférer sur la même vm via nfs ou samba je suis alentours de 100mo/s ...

quelqu'un aurait une idée pour booster les perfs entre vm ?

Ah moins que les perfs iSCSI ne peuvent être plus hautes?

[kalistyan]

MTU à 9000 ?

[Moimemeici]

j'ai un serveur ESXi 5.1

2 vm: - 1 vm debian pour monter un raid1 et faire un "partage" iscsi
- 1 vm Macos (pour test)

donc c'est perf son sur le même serveur iscsi. monter le mtu servira ?

[mosie]

ça peut.

+1 pour rsnapshot. simple et perf.

Coter hard, j'aurai procédé autrement, mais je pige pas trop tes besoin réel, type de data, type/nombre de config a dispo, contrôleur, matos d’intercom.

+1 pour zfs, tu te fais chier à avoir plusieurs couche d'agrégation logique/phisique. Des Vdev seront plus simple a géré.

[kalistyan]

Comment la VM Debian accède au raid ?