[SONDAGE] ZFS / ZIL / Type SSD

Avatar de l’utilisateur
augur1
Messages : 10883
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Je cherche un truc du style :
- grappe 9 To sur SSD utilisé durant la journée (rempli dans les 4 To en classique et 6 To les jours chargés), pour de maxi perf i/o sequentielles
- grapes de HDD en masse sur plusieur vdev RaidZ1 de 5 disques
.... et que le soir, la grappe de SSD soit vidée sur HDD pour être réutiliser le lendemain.
L'accès aux données qui étaient sur la grappe SSD doit être le même chemin (même ip et même emplacement de dossier & fichier) sur le HDD, pour ne pas avoir à reindexer des tones de media.

Vous feriez comment ?

Avatar de l’utilisateur
Zedoune
Messages : 14705
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

y a un truc qui manque beaucoup à ZFS c'est la possibilité d'exporter les données entrantes du disque en stdout vers un programme qui copie les données.
HammerFS permet cela. Pour avoir une copie conforme d'un FS à l'autre, on peut faire un truc du genre hammer export pool - | hammer import pool2 - et il est synchro en quasi temps réel (des sorts de zfs send | zfs receive mais temps réel)

Avatar de l’utilisateur
biour
Messages : 19464
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par biour »

merci Z !
perso je fais Rsync -ar --progress en local mais je pense que le buffer sera inutile
Image

Avatar de l’utilisateur
Zedoune
Messages : 14705
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

merci Z !
perso je fais Rsync -ar --progress en local mais je pense que le buffer sera inutile
rsync ne peut pas être bufferisé de toute façon :D

Avatar de l’utilisateur
biour
Messages : 19464
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par biour »

bha voila
Encore merci Madame !
Image

Avatar de l’utilisateur
Zedoune
Messages : 14705
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

bha voila
Encore merci Madame !
par contre pour les sauvegardes (si c'est des sauvegardes et pas de la copie de fichier), je te conseille borgbackup. C'est un programme de sauvegarde en python qui regarde gère la déduplication des données et la compression. Pas très simple à aborder mais très efficace !

Avatar de l’utilisateur
biour
Messages : 19464
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par biour »

ah non c'est un déplacement d'un raid 5 hard vers un raidZ1

donc oui Rsync c'est lent, mais au moins je sais ce qu'il fait :o

edit: je copie le plus gros des fichiers, pour en avoir moins a sync le jour J
Image

Avatar de l’utilisateur
Zedoune
Messages : 14705
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

si c'est pour déplacer tu peux faire :D

tar cvf - /raid5hard/chemin/ | mbuffer | tar zvf - -C /raidZ1soft/chemin/

Avatar de l’utilisateur
biour
Messages : 19464
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par biour »

:o ouaip
Image

Avatar de l’utilisateur
Zedoune
Messages : 14705
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

Simple Quorum Drive for the FreeBSD CTL HA and the BeaST Storage System https://bsdmag.org/download/simple-quor ... ge-system/

ça peut intéresser des gens

Avatar de l’utilisateur
augur1
Messages : 10883
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

En vrac :

NFS : Windows 10 Pro supporterait NFS
.... là où sous windows 7 il fallait la version Entreprise
https://graspingtech.com/mount-nfs-share-windows-10/

ZFS : What is the ZFS ZIL SLOG and what makes a good one
=> https://www.servethehome.com/what-is-th ... -good-one/
... super intéressant !! :sol:

Avatar de l’utilisateur
augur1
Messages : 10883
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

Re: [SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

MEGA TEST : HDD / SSD / NMVe en stockage / ZIL / SLOG ...

=> http://napp-it.org/doc/downloads/optane ... ormane.pdf

Avatar de l’utilisateur
augur1
Messages : 10883
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

Re: [SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Juin 2019 : comparaison rapide entre ZFS / ZoL / OpenZFS
=> https://www.ixsystems.com/blog/zfs-vs-openzfs/

Avatar de l’utilisateur
c0bw3b
Messages : 4970
Inscription : ven. 12 janv. 2018 17:44
Localisation : Lyon

Re: [SONDAGE] ZFS / ZIL / Type SSD

Message par c0bw3b »

Battle testing data integrity verification with ZFS, Btrfs and mdadm+dm-integrity
=> http://www.unixsheikh.com/articles/batt ... grity.html

Répondre