[SONDAGE] ZFS / ZIL / Type SSD

[augur1]

Je cherche un truc du style :
- grappe 9 To sur SSD utilisé durant la journée (rempli dans les 4 To en classique et 6 To les jours chargés), pour de maxi perf i/o sequentielles
- grapes de HDD en masse sur plusieur vdev RaidZ1 de 5 disques
.... et que le soir, la grappe de SSD soit vidée sur HDD pour être réutiliser le lendemain.
L'accès aux données qui étaient sur la grappe SSD doit être le même chemin (même ip et même emplacement de dossier & fichier) sur le HDD, pour ne pas avoir à reindexer des tones de media.

Vous feriez comment ?

[Zedoune]

y a un truc qui manque beaucoup à ZFS c'est la possibilité d'exporter les données entrantes du disque en stdout vers un programme qui copie les données.
HammerFS permet cela. Pour avoir une copie conforme d'un FS à l'autre, on peut faire un truc du genre hammer export pool - | hammer import pool2 - et il est synchro en quasi temps réel (des sorts de zfs send | zfs receive mais temps réel)

[biour]

merci Z !
perso je fais Rsync -ar --progress en local mais je pense que le buffer sera inutile

[Zedoune]

merci Z !
perso je fais Rsync -ar --progress en local mais je pense que le buffer sera inutile

rsync ne peut pas être bufferisé de toute façon

[biour]

bha voila
Encore merci Madame !

[Zedoune]

bha voila
Encore merci Madame !

par contre pour les sauvegardes (si c'est des sauvegardes et pas de la copie de fichier), je te conseille borgbackup. C'est un programme de sauvegarde en python qui regarde gère la déduplication des données et la compression. Pas très simple à aborder mais très efficace !

[biour]

ah non c'est un déplacement d'un raid 5 hard vers un raidZ1

donc oui Rsync c'est lent, mais au moins je sais ce qu'il fait

edit: je copie le plus gros des fichiers, pour en avoir moins a sync le jour J

[Zedoune]

si c'est pour déplacer tu peux faire

tar cvf - /raid5hard/chemin/ | mbuffer | tar zvf - -C /raidZ1soft/chemin/

[biour]

ouaip

[Zedoune]

Simple Quorum Drive for the FreeBSD CTL HA and the BeaST Storage System https://bsdmag.org/download/simple-quor ... ge-system/

ça peut intéresser des gens

[augur1]

En vrac :

NFS : Windows 10 Pro supporterait NFS
.... là où sous windows 7 il fallait la version Entreprise
https://graspingtech.com/mount-nfs-share-windows-10/

ZFS : What is the ZFS ZIL SLOG and what makes a good one
=> https://www.servethehome.com/what-is-th ... -good-one/
... super intéressant !!

[augur1]

MEGA TEST : HDD / SSD / NMVe en stockage / ZIL / SLOG ...

=> http://napp-it.org/doc/downloads/optane ... ormane.pdf

[augur1]

Juin 2019 : comparaison rapide entre ZFS / ZoL / OpenZFS
=> https://www.ixsystems.com/blog/zfs-vs-openzfs/

[c0bw3b]

Battle testing data integrity verification with ZFS, Btrfs and mdadm+dm-integrity
=> http://www.unixsheikh.com/articles/batt ... grity.html

[augur1]

Détarrrrraaaaaaaageeeeeeeee

... ZFS pour Windows !!
=> https://hardforum.com/threads/napp-it-c ... s.2032935/

[Ryu_wm]

Bonne info, mais faudra attendre la première stable.

[Ryu_wm]

Bon, personne ne se presse de faire un retour ?
Je vais donc tester pour vous.

https://github.com/openzfsonwindows/openzfs/releases

[Ryu_wm]

ça aura été rapide

installation du pilote,
création d'un pool raidz1 de 5 disques

Code : Tout sélectionner

zpool.exe create -O casesensitivity=insensitive -O normalization=formD -O compression=lz4 -O atime=off -o ashift=12 ozfs_r5 raidz1 PHYSICALDRIVE3 PHYSICALDRIVE4 PHYSICALDRIVE5 PHYSICALDRIVE6 PHYSICALDRIVE7

ça créé un lecteur sans choix possible de la lettre assignée, le gestionnaire de disques Windows ne le voit pas.
Je lance un benchmark i/o -> rien ne se passe
au bout d'un moment je souhaite arrêter le bench : rien, je force : bsod
reboot : plus de zpool

fin du test.

[dsebire]

ça serait pas parce qu'il était en train d'initialiser le RAID ?
que le gestionnaire de disque le voie pas, ça m'étonne pas plus que ça, c'est du soft, et pas natif à l'OS

[Ryu_wm]

Comme tu le dis c'est du soft, il n'initialise pas.
Le pool 'ozfs_r5' était créé et accessible via f:\

Lors du démarrage du benchmark avec CrystalMark, j'ai vu le fichier de donnés se créer mais plus rien après https://nasts-srv1.myftp.org/portail/pu ... _win/3.png

le déroulé complet ici https://nasts-srv1.myftp.org/portail/in ... 3/20240923

[gizmo78]

vu que t'as zpool.exe, un zpool status ça te donne quoi?

exemple sous gentoo :

Code : Tout sélectionner

zpool status
  pool: tank
 state: ONLINE
status: Some supported and requested features are not enabled on the pool.
	The pool can still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
	the pool may no longer be accessible by software that does not support
	the features. See zpool-features(7) for details.
  scan: resilvered 4.87M in 00:00:02 with 0 errors on Tue Apr 16 18:14:06 2024
config:

	NAME        STATE     READ WRITE CKSUM
	tank        ONLINE       0     0     0
	  raidz2-0  ONLINE       0     0     0
	    sdc     ONLINE       0     0     0
	    sdb     ONLINE       0     0     0
	    sda     ONLINE       0     0     0
	    sdd     ONLINE       0     0     0
	    sde     ONLINE       0     0     0
	    sdf     ONLINE       0     0     0

errors: No known data errors

[Ryu_wm]

Dsl Gizmo, j'ai désinstallé sous Win.
Je l'utilise sous Ubuntu c'est parfaitement fonctionnel t'inquiète.
C'est le portage sous Win qui ne semble pas super stable, ils préviennent et mettent l'accent sur le risques de bsod.