on peut même faire de 'export NFS avec ! ^^nop mais ca me choquera toujours de faire du cifs avec zfs^^
[SONDAGE] ZFS / ZIL / Type SSD
[SONDAGE] ZFS / ZIL / Type SSD
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Need que plusieurs utilisateurs accèdent en même temps aux mêmes fichiers !nop mais ca me choquera toujours de faire du cifs avec zfs^^
... et même parfois, plusieurs utilisateurs doivent pouvoir lire un fichier, vidéo, qui est en train de s'écrire !
[SONDAGE] ZFS / ZIL / Type SSD
Je pense qu'il voulait dire qu'il est choqué que c'est ZFS lui-même qui gère l'export et qu'on passe pas par sambaNeed que plusieurs utilisateurs accèdent en même temps aux mêmes fichiers !
... et même parfois, plusieurs utilisateurs doivent pouvoir lire un fichier, vidéo, qui est en train de s'écrire !
Je sais pas pourquoi ça a été fait comme ça par contre, je me souviens pas avoir lu l'histoire de ce truc là. J'ai un peu suivi l'évolution de ZFS en 2007-2009 quand je participais à OpenSolaris qui avait toujours les nouveautés en ZFS
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
[#ff0000]/!\[/#ff0000] Important notice
There is a critical bug in the L2Arc module of OpenZFS ex in OmniOS 151014.
Under OmniOS 151014, remove an L2Arc and test the pool via scrub or zdb
A fix is on the way from Illumos/OmniOS
more
-> https://www.illumos.org/issues/6214
-> http://blog.gmane.org/gmane.os.omnios.g ... y=20150912
There is a critical bug in the L2Arc module of OpenZFS ex in OmniOS 151014.
Under OmniOS 151014, remove an L2Arc and test the pool via scrub or zdb
A fix is on the way from Illumos/OmniOS
more
-> https://www.illumos.org/issues/6214
-> http://blog.gmane.org/gmane.os.omnios.g ... y=20150912
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Mmmm : Gestion des snapshot des VM par ZFS
Question
=> http://hardforum.com/showthread.php?t=1876623
Question
Réponse de Gea, le développeur de Nappitis there a free version of a plugin like the "Virtual Storage Console" from NetApp for VMware Integration, for ZFS?
The NetApp Plugin allows for Aligning VMs, Provision and Clone VMs on the VMWare console with support from the NetApp internal toolset. VMWare "delegates" snapshotting to the Storage Appliance and no longer needs to "clone" vmdks themself.
Also there is a Monitoring and Host configuration tile, that displays health/statistics of the underlying storage on the VMWare management.
So is there some similar Plugin (free/without payment) for a home Virtualisation platform on a ZFS Storage? Let it be VMware, Citrix, KVM ...
I mean mainly the snapshotting part from the VM Management console?
I have added the option to include ESXi hot memory snaps into ZFS snaps within the free napp-it autosnap feature.
Cloning, Copy, Backup, Snap Access etc can be done without any tools. When you use NFS for ESXi you can share the filesystem additionally via SMB to do this from Windows including Access to Snaps via "Windows Previous Version".
=> http://hardforum.com/showthread.php?t=1876623
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Nouvelle version de ZFS On Linux sortie le 30 septembre v0.6.5.2
-> https://github.com/zfsonlinux/zfs/relea ... fs-0.6.5.2
zfswatcher : Gui pour monitorer rapidement l'état des pool
-> http://zfswatcher.damicon.fi/
... permet avec ledmon : http://sourceforge.net/projects/ledmon/ de visualiser physiquement à même le châssis quel disque est défectueux via sa LED correspondante.
-> https://github.com/zfsonlinux/zfs/relea ... fs-0.6.5.2
zfswatcher : Gui pour monitorer rapidement l'état des pool
-> http://zfswatcher.damicon.fi/
... permet avec ledmon : http://sourceforge.net/projects/ledmon/ de visualiser physiquement à même le châssis quel disque est défectueux via sa LED correspondante.
[SONDAGE] ZFS / ZIL / Type SSD
pas faute de l'avoir link y'a des mois zfswatcher
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
mouarf, furtivement le 01-06-2015 à 19:21:18 ... souvenez vous ^^
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Pour tester les perf de vos partages en SMB avec un client windows :
-> http://www.intel.com/content/www/us/en/ ... olkit.html
-> https://gallery.technet.microsoft.com/N ... w-f8b12769
-> http://www.intel.com/content/www/us/en/ ... olkit.html
-> https://gallery.technet.microsoft.com/N ... w-f8b12769
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Gestion des snapshots : zfs snap manager
-> https://github.com/khenderick/zfs-snap-manager
-> https://github.com/khenderick/zfs-snap-manager
[SONDAGE] ZFS / ZIL / Type SSD
ça c'est chouette, j'ai un script bash maison qui fait déjà ça mais il est un peu compliqué et pas trop adaptable
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
J'arrive pas à savoir un truc sur les snap : combien d'espace ça consomme...
Tu sais toi ?
Genre : fichiers photoshop qui fait 3 Mo.
Modifié le lendemain puis sauvegarder il fait 5 Mo.
Le premier snap : 3 Mo et le second 2 Mo ? (ou ça ne marche pas comme ça / j'ai tout faux)
Tu sais toi ?
Genre : fichiers photoshop qui fait 3 Mo.
Modifié le lendemain puis sauvegarder il fait 5 Mo.
Le premier snap : 3 Mo et le second 2 Mo ? (ou ça ne marche pas comme ça / j'ai tout faux)
[SONDAGE] ZFS / ZIL / Type SSD
non ça fait 5 + 3 Mo. ZFS est un FS COW (Copy On Write). A chaque fois que tu écris le fichier il l'écrit entièrement dans un nouvel endroit. C'est ce qui rend les snapshots très simple puisque comme on modifie pas l'ancien fichier, suffit de garder son accès dans un coin.
Du coup, ton fichier photoshop fait 3 Mo, il est en snapshot, si tu fais un fichier avec le même chemin, il va écraser ton fichier photoshop qui sera toujours accessible dans la snapshot et enregistrera ton nouveau fichier de 5 Mo, ça fait donc 8 Mo.
Il gère pas des fichiers de manière incrémentales (en plus ça marchait qu'avec des fichiers de type log, certainement pas avec une image )
"zfs list -t snapshot" pour savoir combien consomme chaque snapshot et combien elle contient en taille
Du coup, ton fichier photoshop fait 3 Mo, il est en snapshot, si tu fais un fichier avec le même chemin, il va écraser ton fichier photoshop qui sera toujours accessible dans la snapshot et enregistrera ton nouveau fichier de 5 Mo, ça fait donc 8 Mo.
Il gère pas des fichiers de manière incrémentales (en plus ça marchait qu'avec des fichiers de type log, certainement pas avec une image )
"zfs list -t snapshot" pour savoir combien consomme chaque snapshot et combien elle contient en taille
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Ah wé okokokokokok !!!!
Sur tous les différents forums, les réponses faisaient des pages pour ne rien dire, ou dire des trucs qui ne collaient pas avec des .psd ou des fichiers vidéo.
Du coup, j'ai neau lire depuis des années les doc à propos des snapshoft, je bloquais à chaque fois sur un truc.
Super Merci encore une fois Z !!
En ayant un stockage [#ff0000]Chaud[/#ff0000] "Main" et [#000fff]Froid[/#000fff] "Backup" et faisant utilisant des snapshots toutes les 30 min, et avec ZFS Send du [#ff0000]Main[/#ff0000] / Recieve vers [#0000ff]Backup[/#000fff] :
=> Sur le [#ff0000]Main[/#ff0000], la pool Media1 :
[*]dispose de 12 To de capacité
[*]en 7x vdev mirored 2 To WD SE (le cheksum / metadata de ZFS + la taille des disques formatés : 1,8 To semblent faire perdre pas mal de place)
[*]elle est occupée de 9 To de donnée, soit 3 To restant
[*]4x filesystem, tous en 128ko
--> \projets : fichiers de 1Ko à 5 Mo // 1,4 Go occupés
--> \sources : fichiers de 1Mo à 10 Go // 3,9 Go occupés
--> \videos : fichiers de 1 Mo à 80 Go // 3,0 Go occupés
--> \exports : fichiers de 700 Mo à 80 Go // 600 Go occupés
... les 3 filesystem qui ont besoin de grosse performance + de snapshots incrémentales toutes les 30 minutes sont \projets, \sources et \vidéos, à envoyer dans le stockage [#0000ff]Backup[/#0000ff]
=> Sur le [#0000ff]Backup[/#0000ff], la pool Media2
[*]dispose de 32 To de capacité
[*]en 4x RaidZ2 2 To WD RED Pro
[*]5x filesystem, tous en 128ko
--> \projets
--> \sources
--> \videos
--> \exports
--> \documents
-> QUESTION : il me faudrait donc sur le [#ff0000]Main[/#ff0000] ~ 8 To supplémentaire (voir bien davantage vu que \projets, \sources, \vidéo ne cessent de grossir) pour pouvoir ensuite envoyer dans le [#0000ff]Backup[/#0000ff] ?
Sur tous les différents forums, les réponses faisaient des pages pour ne rien dire, ou dire des trucs qui ne collaient pas avec des .psd ou des fichiers vidéo.
Du coup, j'ai neau lire depuis des années les doc à propos des snapshoft, je bloquais à chaque fois sur un truc.
Super Merci encore une fois Z !!
En ayant un stockage [#ff0000]Chaud[/#ff0000] "Main" et [#000fff]Froid[/#000fff] "Backup" et faisant utilisant des snapshots toutes les 30 min, et avec ZFS Send du [#ff0000]Main[/#ff0000] / Recieve vers [#0000ff]Backup[/#000fff] :
=> Sur le [#ff0000]Main[/#ff0000], la pool Media1 :
[*]dispose de 12 To de capacité
[*]en 7x vdev mirored 2 To WD SE (le cheksum / metadata de ZFS + la taille des disques formatés : 1,8 To semblent faire perdre pas mal de place)
[*]elle est occupée de 9 To de donnée, soit 3 To restant
[*]4x filesystem, tous en 128ko
--> \projets : fichiers de 1Ko à 5 Mo // 1,4 Go occupés
--> \sources : fichiers de 1Mo à 10 Go // 3,9 Go occupés
--> \videos : fichiers de 1 Mo à 80 Go // 3,0 Go occupés
--> \exports : fichiers de 700 Mo à 80 Go // 600 Go occupés
... les 3 filesystem qui ont besoin de grosse performance + de snapshots incrémentales toutes les 30 minutes sont \projets, \sources et \vidéos, à envoyer dans le stockage [#0000ff]Backup[/#0000ff]
=> Sur le [#0000ff]Backup[/#0000ff], la pool Media2
[*]dispose de 32 To de capacité
[*]en 4x RaidZ2 2 To WD RED Pro
[*]5x filesystem, tous en 128ko
--> \projets
--> \sources
--> \videos
--> \exports
--> \documents
-> QUESTION : il me faudrait donc sur le [#ff0000]Main[/#ff0000] ~ 8 To supplémentaire (voir bien davantage vu que \projets, \sources, \vidéo ne cessent de grossir) pour pouvoir ensuite envoyer dans le [#0000ff]Backup[/#0000ff] ?
[SONDAGE] ZFS / ZIL / Type SSD
j'ai pas compris la question en fait
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Pour faire un snapshotj'ai pas compris la question en fait
[*]des filesystèmes \projets, \sources, \vidéo
[*]de la pool Media 1 du rack Main
[*]toutes les 30min
[*]et l'envoyer vers la pool Media 2 du rack Backup
=> de quel espace aurais je besoin sur le Main pour procéder ainsi ?
[SONDAGE] ZFS / ZIL / Type SSD
Bah, c'est pas très compliqué.
Sachant que tu consommes l'espace de la snapshot + l'espace de ce qui a changé depuis la création de la snapshot, tu fais la somme.
Sachant que si tu transfert dès que tu as ta snapshot, faut voir si tu peux la transférer en moins de 30 minutes aussi.
Tu les supprimes juste après 30 minutes ?
Sachant que tu consommes l'espace de la snapshot + l'espace de ce qui a changé depuis la création de la snapshot, tu fais la somme.
Sachant que si tu transfert dès que tu as ta snapshot, faut voir si tu peux la transférer en moins de 30 minutes aussi.
Tu les supprimes juste après 30 minutes ?
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Donc :Sachant que tu consommes l'espace de la snapshot + l'espace de ce qui a changé depuis la création de la snapshot, tu fais la somme.
Capacité utilisé : 9 To
1er Snap : 9 To
Snap qui suivent : xTo suivant le nombre de Go ajouté / modifié ?
= il faut que j'ajoute au minimum 9 To au stockage actuel ?
Cnx en 10GbE / 40 GbE ; 400 Mo/s avec 7vdev.Sachant que si tu transfert dès que tu as ta snapshot, faut voir si tu peux la transférer en moins de 30 minutes aussi.
Je peux ajouter encore 3 à 5 vdev
En terme de débit v'est en fait 80 Mo/To utile.
Idéalement, supprimé juste après l'avoir ZFS Send à l'autre rack Backup...Tu les supprimes juste après 30 minutes ?
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
ZFS Snapshot, Send / receive
-> http://docs.oracle.com/cd/E23823_01/htm ... html#gbscu
Super utilitaire : ZREP
=> http://forums.nas4free.org/viewtopic.php?t=8606
... une interface graphique serait la bienvenue
Documentation : http://www.bolthole.com/solaris/zrep/zr ... l#overview
GIThub : https://github.com/bolthole/zrep
Explication simplifiée : https://www.grendelman.net/wp/fast-freq ... with-zrep/
Autres scripts cron : http://wiki.complete.org/ZFSAutoSnapshots
-> http://docs.oracle.com/cd/E23823_01/htm ... html#gbscu
Super utilitaire : ZREP
=> http://forums.nas4free.org/viewtopic.php?t=8606
... une interface graphique serait la bienvenue
Documentation : http://www.bolthole.com/solaris/zrep/zr ... l#overview
GIThub : https://github.com/bolthole/zrep
Explication simplifiée : https://www.grendelman.net/wp/fast-freq ... with-zrep/
Autres scripts cron : http://wiki.complete.org/ZFSAutoSnapshots
[SONDAGE] ZFS / ZIL / Type SSD
tu devrais linker le bon lien pour ZFSayutosnapshot
c'est sur le git de zfsonlinux
c'est sur le git de zfsonlinux
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Je cherche à voir pour du HA, ce que ZREP pourrrait proposer.tu devrais linker le bon lien pour ZFSayutosnapshot
c'est sur le git de zfsonlinux
Style genre, avec 1 ordi au mileu (ou 2 pour du vrai HA) qui gère(nt) les commandes SSH
[SONDAGE] ZFS / ZIL / Type SSD
et tu veux pas juste passer à un truc pro
plutôt que de bricoler (avec de la réduction de cout certe) sur un truc tributaire de release beta et de mecs dans leur garage
la tu attaque de la quasi prod
plutôt que de bricoler (avec de la réduction de cout certe) sur un truc tributaire de release beta et de mecs dans leur garage
la tu attaque de la quasi prod
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
Mwé nan.
ZoL > 0.62 est ok pour de la prod.
Ca ferait parti d'un environnement global de solution et non pas qu'un systeme de stockage.
... viens, on t'embauche ^^
Tu proposerais quoi en stockage de media partagé ?
ZoL > 0.62 est ok pour de la prod.
Ca ferait parti d'un environnement global de solution et non pas qu'un systeme de stockage.
... viens, on t'embauche ^^
Tu proposerais quoi en stockage de media partagé ?
- augur1
- Messages : 13149
- Inscription : ven. 12 janv. 2018 17:44
- Localisation : où tout est neuf et tout est sauvage
- Contact :
[SONDAGE] ZFS / ZIL / Type SSD
ZoL : Improve ZFS Storage Browsing
[cpp]zfs set xattr=sa[/cpp]
* All known and reported SA bugs have been fixed in 0.6.4.
http://www.nerdblog.com/2013/10/zfs-xat ... linux.html
https://github.com/zfsonlinux/zfs/issues/443
[cpp]zfs set xattr=sa[/cpp]
* All known and reported SA bugs have been fixed in 0.6.4.
http://www.nerdblog.com/2013/10/zfs-xat ... linux.html
https://github.com/zfsonlinux/zfs/issues/443