NAS assez puissant - Projet été 2019
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
NAS assez puissant - Projet été 2019
Salut,
Bon alors voila, j'ai déjà un DS916+ (Synology) en BTRFS raid5 (3x4to),
sauvegardé par un DS411 (Synology) en EXT4 raid5 (3x3to).
90% du temps, cela me suffit.
Et puis voila, de temps en temps, j'aimerai avoir un NAS plus puissant que le
DS916+ pour un besoin ponctuel.
Pour ne pas acheter encore un Syno, j'ai décidé de reconvertir
mon ex-workstation en serveur NAS "occasionnel".
La workstation en question a les caractéristiques suivantes :
CM : Asrock Z97 Extreme4 --------------- PROC : Xeon E3-1270 v3
RAM : 32 Gb DDR3 --------------- SDD système : (Un 64Go je crois) Intel P600 (M2 Nvme)
Le boitier est un Cooler Master RC-690 II Advanced.
Au niveau des disques durs de données, je ne sais pas encore trop.
Potentiellement, cela pourrait être pour commencer 2 DD 6To wd red pro (235/250 en R/W).
Niveau SSD j'ai pour le moment un Samsung 840 de 128 Go (484/386 en R/W) et un Sandisk plus de 240 Go (500/416 en R/W).
Je vais avoir aussi une carte LSI MegaRAID SAS 9341-4i que je pense flasher en mode IT.
Pour le système de fichier du/des volumes de données : Reste à voir parmi EXT4 ou ZFS ou mdadm.
Pour l'OS : Reste à voir. actuellement j'ai Opensuse qui pourrait me suffire.
Je regarde un peu les distribs NAS mais cela me parait non prioritaire.
Concernant la virtualisation, c'est une possibilité à envisager forcément mais cela ne fait pas partie du besoin de départ.
A noter que je ne virtualise qu'avec Virtualbox pour le moment et je n'ai pas encore utilisé la virtualisation du DS916+.
Merci d'avance de vos remarques/idées.
Liens de référence :
CARTES A BASE DE CONTROLEURS LSI et COMMANDES D'ADMINISTRATION LSI
https://forums.servethehome.com/index.p ... odels.599/
https://www.admin-linux.fr/memo-megacli ... d-delllsi/
BENCHS et INFOS
https://www.pugetsystems.com/labs/artic ... llers-545/
http://forums.storagereview.com/index.p ... -in-raid0/
FLASH IT
https://www.servethehome.com/flash-lsi- ... 1215-mode/
( NOTE : J'avais pas de jumper, un bout d'aluminium a suffit. )
https://www.broadcom.com/support/knowle ... i-sas-hbas
(Mon cas est le numéro 7 (IR->IT, pour carte 12 Gb/s) : EFI : sas3flash.efi -o -f SAS9300_4i_IT.bin -b mptsas3.rom )
https://www.broadcom.com/products/stora ... #downloads
https://www.broadcom.com/products/stora ... #downloads
Un cas d'exemple avec des problèmes à résoudre (j'ai eu les même) : https://www.youtube.com/watch?v=IPcY32r0fxk&t=618s
ZFS et BTRFS
https://www.supinfo.com/articles/single ... steme-unix
AUTRES
https://www.asrock.com/mb/Intel/Z97%20Extreme4/
SATA 600 De base : Six ports controlés par le chipset Z97. + Deux ports controlés par une puce ASMedia ASM1061 chip.
RAID possible uniquement avec les ports du chipset Z97 mais je n'ai pas prévu d'utiliser cette possibilité.
Réglage M2/SATA : Au niveau du bios, il y a un réglage pour privilégier le M2 par rapport au nombre de lignes. Les 3 possibilités sont :
(1)Auto: M2_1/SATA3_4, SATA3_5 auto switch
(2)Force_SATA: Switch to SATA3_4, SATA3_5 et
(3)Force_M2_1: Switch to M2_1.
Actuellement le choix adopté est le numéro (3) , ce qui empêche l’accès à SATA3_4 et SATA3_5
Le port SATA Express 10 Gb/s (partagé selon le réglage que je viens d'expliquer avec SATA3_4, SATA3_5) est utilisé par le disque M2.
Expansion Slot 3.0 : 3 x PCI Express 3.0 x16 Slots (PCIE2/PCIE5/PCIE6: single at x16 (PCIE2); dual at x8 (PCIE2) / x8 (PCIE5); triple at x8 ou alors x8 x4 x4, pas clair : à voir (PCIE2)
Actuellement un seul de ses 3 ports est utilisé, par une CG que je ne peux pas enlever car le xeon n'a pas de GPU.
NOTE : Niveau réseau, il y a un seul lien Gb ethernet dans l'ordi pour le moment (= Puce de la carte mère = Intel i218V PHY).
Bon alors voila, j'ai déjà un DS916+ (Synology) en BTRFS raid5 (3x4to),
sauvegardé par un DS411 (Synology) en EXT4 raid5 (3x3to).
90% du temps, cela me suffit.
Et puis voila, de temps en temps, j'aimerai avoir un NAS plus puissant que le
DS916+ pour un besoin ponctuel.
Pour ne pas acheter encore un Syno, j'ai décidé de reconvertir
mon ex-workstation en serveur NAS "occasionnel".
La workstation en question a les caractéristiques suivantes :
CM : Asrock Z97 Extreme4 --------------- PROC : Xeon E3-1270 v3
RAM : 32 Gb DDR3 --------------- SDD système : (Un 64Go je crois) Intel P600 (M2 Nvme)
Le boitier est un Cooler Master RC-690 II Advanced.
Au niveau des disques durs de données, je ne sais pas encore trop.
Potentiellement, cela pourrait être pour commencer 2 DD 6To wd red pro (235/250 en R/W).
Niveau SSD j'ai pour le moment un Samsung 840 de 128 Go (484/386 en R/W) et un Sandisk plus de 240 Go (500/416 en R/W).
Je vais avoir aussi une carte LSI MegaRAID SAS 9341-4i que je pense flasher en mode IT.
Pour le système de fichier du/des volumes de données : Reste à voir parmi EXT4 ou ZFS ou mdadm.
Pour l'OS : Reste à voir. actuellement j'ai Opensuse qui pourrait me suffire.
Je regarde un peu les distribs NAS mais cela me parait non prioritaire.
Concernant la virtualisation, c'est une possibilité à envisager forcément mais cela ne fait pas partie du besoin de départ.
A noter que je ne virtualise qu'avec Virtualbox pour le moment et je n'ai pas encore utilisé la virtualisation du DS916+.
Merci d'avance de vos remarques/idées.
Liens de référence :
CARTES A BASE DE CONTROLEURS LSI et COMMANDES D'ADMINISTRATION LSI
https://forums.servethehome.com/index.p ... odels.599/
https://www.admin-linux.fr/memo-megacli ... d-delllsi/
BENCHS et INFOS
https://www.pugetsystems.com/labs/artic ... llers-545/
http://forums.storagereview.com/index.p ... -in-raid0/
FLASH IT
https://www.servethehome.com/flash-lsi- ... 1215-mode/
( NOTE : J'avais pas de jumper, un bout d'aluminium a suffit. )
https://www.broadcom.com/support/knowle ... i-sas-hbas
(Mon cas est le numéro 7 (IR->IT, pour carte 12 Gb/s) : EFI : sas3flash.efi -o -f SAS9300_4i_IT.bin -b mptsas3.rom )
https://www.broadcom.com/products/stora ... #downloads
https://www.broadcom.com/products/stora ... #downloads
Un cas d'exemple avec des problèmes à résoudre (j'ai eu les même) : https://www.youtube.com/watch?v=IPcY32r0fxk&t=618s
ZFS et BTRFS
https://www.supinfo.com/articles/single ... steme-unix
AUTRES
https://www.asrock.com/mb/Intel/Z97%20Extreme4/
SATA 600 De base : Six ports controlés par le chipset Z97. + Deux ports controlés par une puce ASMedia ASM1061 chip.
RAID possible uniquement avec les ports du chipset Z97 mais je n'ai pas prévu d'utiliser cette possibilité.
Réglage M2/SATA : Au niveau du bios, il y a un réglage pour privilégier le M2 par rapport au nombre de lignes. Les 3 possibilités sont :
(1)Auto: M2_1/SATA3_4, SATA3_5 auto switch
(2)Force_SATA: Switch to SATA3_4, SATA3_5 et
(3)Force_M2_1: Switch to M2_1.
Actuellement le choix adopté est le numéro (3) , ce qui empêche l’accès à SATA3_4 et SATA3_5
Le port SATA Express 10 Gb/s (partagé selon le réglage que je viens d'expliquer avec SATA3_4, SATA3_5) est utilisé par le disque M2.
Expansion Slot 3.0 : 3 x PCI Express 3.0 x16 Slots (PCIE2/PCIE5/PCIE6: single at x16 (PCIE2); dual at x8 (PCIE2) / x8 (PCIE5); triple at x8 ou alors x8 x4 x4, pas clair : à voir (PCIE2)
Actuellement un seul de ses 3 ports est utilisé, par une CG que je ne peux pas enlever car le xeon n'a pas de GPU.
NOTE : Niveau réseau, il y a un seul lien Gb ethernet dans l'ordi pour le moment (= Puce de la carte mère = Intel i218V PHY).
Dernière modification par jsonline_bis le mer. 17 juil. 2019 18:24, modifié 34 fois.
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
J'ai reçu la carte HBA aujourd'hui (11 juin), avec beaucoup d'avance donc. Voici ses caractéristiques.
![Image]()
Dernière modification par jsonline_bis le ven. 14 juin 2019 16:15, modifié 5 fois.
Re: NAS assez puissant - Projet été 2019
![hello :hello:](./images/smilies/hello.gif)
Distrib. au choix + ZFS puis export NFS / SMB / ISCSI en fonction des besoins.
![;) ;)](./images/smilies/wink.gif)
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
Du peu que j'en sais, ZFS me tente bien au moins pour le tester.
Le point faible de ZFS (par rapport à ext4 ou mdadm), dans le cadre de mon projet, c'est que (je pense que) mes NAS synology seraient incapables de lire
directement un disque extrait physiquement de mon "new NAS".
Le point faible de ZFS (par rapport à ext4 ou mdadm), dans le cadre de mon projet, c'est que (je pense que) mes NAS synology seraient incapables de lire
directement un disque extrait physiquement de mon "new NAS".
Re: NAS assez puissant - Projet été 2019
Export de ton/tes volume(s) ZFS en ISCSI/NFS vers tes Syno. ![;) ;)](./images/smilies/wink.gif)
![;) ;)](./images/smilies/wink.gif)
Re: NAS assez puissant - Projet été 2019
sachant que ZFS sait faire de l'export NFS en natif
Re: NAS assez puissant - Projet été 2019
pas sur que ce soit déjà dans ZoL par contre, j'ai rien vu passer la dessus mais en tout cas c'est une bonne nouvelle!
Re: NAS assez puissant - Projet été 2019
j'ai utilisé ça y a 10 ans, mais ça a du rester sur Solaris ![whistle :whistle:](./images/smilies/whistle.gif)
![whistle :whistle:](./images/smilies/whistle.gif)
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
J'ai enfin réussi le flash de la carte LSI hier (=29/6).
J'avais d'abord essayé en dos et en shell EFI, à partir de la carte mère asrock extrem4 (avec dernier bios 2.6). Cela ne voulait pas passer.
J'ai changé la carte LSI d'ordi hier (vers une CM ASUS PRIME X470-PRO). Et là j'ai pu faire le flash en shell EFI.
Pour la suite du projet les 2 disques red sont prêts.
(EDIT : ) ET J'ai reçu (=3/7) un cable d'alimentation (be quiet! S-ATA Power Cable CS-3440) pour eux.
ET La carte LSI avait un cable mini sas vers 4 sata inclus.
J'espère trouver le temps de faire un petit test rapide avant de partir en vacances samedi 6/7.
J'avais d'abord essayé en dos et en shell EFI, à partir de la carte mère asrock extrem4 (avec dernier bios 2.6). Cela ne voulait pas passer.
J'ai changé la carte LSI d'ordi hier (vers une CM ASUS PRIME X470-PRO). Et là j'ai pu faire le flash en shell EFI.
Pour la suite du projet les 2 disques red sont prêts.
(EDIT : ) ET J'ai reçu (=3/7) un cable d'alimentation (be quiet! S-ATA Power Cable CS-3440) pour eux.
ET La carte LSI avait un cable mini sas vers 4 sata inclus.
J'espère trouver le temps de faire un petit test rapide avant de partir en vacances samedi 6/7.
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
Bon alors je viens de récupérer et d'installer :
megaraid_sas-07.710.06.00-1dkms.noarch.rpm
MR_SAS_Unified_StorCLI_007.1017.0000.0000.zip
Puis j'ai obtenu (avec lspci -vv) :
Puis :
Et enfin :
megaraid_sas-07.710.06.00-1dkms.noarch.rpm
MR_SAS_Unified_StorCLI_007.1017.0000.0000.zip
Puis j'ai obtenu (avec lspci -vv) :
Puis :
Et enfin :
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
J'ai fait un premier test, je ne sais pas si il est valide ou pas en particulier les résultats en lecture me paraissent trop forts :
NOTE : Je n'ai fait que les tests Record_file=1Mo avec File_size=8Go, pour que cela prenne moins de temps.
https://openbenchmarking.org/result/190 ... MPFRJSON82
Kernel de la machine : 4.12.14
Système de fichiers de la partition : ZFS
Contrôleur de stockage : LSI MegaRAID SAS 9341-4i en IT mode
Disques utilisés : WD6003FFBX x 2
Nombre de disques et type d'array raid si présents : 2
Cache du contrôleur : 0
Observations sur le contrôleur : LSI SAS3008 PowerPC 476 controller @ 1.2 GHz
Connectivité du contrôleur : PCI-X
Connectivité des disques : SATA
Carte mère et mémoire utilisée : Asrock Z97 extreme 4 avec 32 Go de DDR3-1333.
NOTE : Je n'ai fait que les tests Record_file=1Mo avec File_size=8Go, pour que cela prenne moins de temps.
https://openbenchmarking.org/result/190 ... MPFRJSON82
Kernel de la machine : 4.12.14
Système de fichiers de la partition : ZFS
Contrôleur de stockage : LSI MegaRAID SAS 9341-4i en IT mode
Disques utilisés : WD6003FFBX x 2
Nombre de disques et type d'array raid si présents : 2
Cache du contrôleur : 0
Observations sur le contrôleur : LSI SAS3008 PowerPC 476 controller @ 1.2 GHz
Connectivité du contrôleur : PCI-X
Connectivité des disques : SATA
Carte mère et mémoire utilisée : Asrock Z97 extreme 4 avec 32 Go de DDR3-1333.
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
Pour le montage automatique de mon premier volume zfs, que j'ai appelé mypoolname/test j'ai vu le sujet : viewtopic.php?t=2517
Mais j'ai lu aussi sur le net que zfs n'avait pas forcement besoin d'une édition du fstab, du coup je suis un peu perdu.
Pour le moment, j'ai une erreur de montage "zfs_member" unknown.
Mais j'ai lu aussi sur le net que zfs n'avait pas forcement besoin d'une édition du fstab, du coup je suis un peu perdu.
Pour le moment, j'ai une erreur de montage "zfs_member" unknown.
Re: NAS assez puissant - Projet été 2019
ah non non non zfs tu as rien besoin de faire dans le Fstab surtout si c'est ZoL
je donnais déjà la rep la : viewtopic.php?p=56445#p56445
pas uniquement pour ubuntu mais les autres je suis pas sur, dans /etc/default/zfs mettre le mount yes umount yes
et c'est tout quand tu fais un create ou un import il te créer le point de montage et au reboot il importe les pool selon le fichier de cache présent sur ton disque (si il y est pas faut juste faire un zpool import tonnomdepool)
/!\ tu dis mypoolname/test
mais la tu as 2 notions :
ton pool qui est mypoolname et test qui est un dataset inscript sur le pool mypoolname
mypoolname tu l'affiche avec zpool status par exemple
test tu l'affiche avec zfs list
je donnais déjà la rep la : viewtopic.php?p=56445#p56445
pas uniquement pour ubuntu mais les autres je suis pas sur, dans /etc/default/zfs mettre le mount yes umount yes
et c'est tout quand tu fais un create ou un import il te créer le point de montage et au reboot il importe les pool selon le fichier de cache présent sur ton disque (si il y est pas faut juste faire un zpool import tonnomdepool)
/!\ tu dis mypoolname/test
mais la tu as 2 notions :
ton pool qui est mypoolname et test qui est un dataset inscript sur le pool mypoolname
mypoolname tu l'affiche avec zpool status par exemple
test tu l'affiche avec zfs list
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
zpool status et zfs list marchent bien chez moi, merci.
Par contre je n'ai pas trouvé de dossier /etc/default/zfs dans mon install opensuse,
car oui clairement je voulais faire ce que tu avais préconisé là : viewtopic.php?p=56445#p56445
Pour l'export/import j'ai tenté cela déjà hier soir.
Ca m'a fait une mauvaise surprise (bon il n'y a aucune donnée sur le pool, mais j'aime pas trop les trucs imprévus) car après l'export, je ne voyais plus le pool, après l'import il était "revenu"...
Ceci dit je n'ai probablement pas lancé les bonnes commandes au niveau des options en particulier.
Je peux dire aussi que j'ai tenté l'export import sans bien comprendre ce que je faisais.
Pour le moment, tout cela n'est pas encore bien clair pour moi... ceci dit niveau complexité c'est très loin de l'univers Synology... Niveau documentation sur le net je suis déçu de ne trouver presque exclusivement des infos à destination de Ubuntu et pas de Opensuse. En fait, de ce que j'ai lu, Opensuse semble préconiser plutôt btrfs que zfs... Et en tous cas zfs n'est pas supporté, par rapport au pb de licence...
Par contre je n'ai pas trouvé de dossier /etc/default/zfs dans mon install opensuse,
car oui clairement je voulais faire ce que tu avais préconisé là : viewtopic.php?p=56445#p56445
Pour l'export/import j'ai tenté cela déjà hier soir.
Ca m'a fait une mauvaise surprise (bon il n'y a aucune donnée sur le pool, mais j'aime pas trop les trucs imprévus) car après l'export, je ne voyais plus le pool, après l'import il était "revenu"...
Ceci dit je n'ai probablement pas lancé les bonnes commandes au niveau des options en particulier.
Je peux dire aussi que j'ai tenté l'export import sans bien comprendre ce que je faisais.
Pour le moment, tout cela n'est pas encore bien clair pour moi... ceci dit niveau complexité c'est très loin de l'univers Synology... Niveau documentation sur le net je suis déçu de ne trouver presque exclusivement des infos à destination de Ubuntu et pas de Opensuse. En fait, de ce que j'ai lu, Opensuse semble préconiser plutôt btrfs que zfs... Et en tous cas zfs n'est pas supporté, par rapport au pb de licence...
Re: NAS assez puissant - Projet été 2019
c'est normal l'export c'est pour détacher toute la conf du pool et le virer du PC
l'import te liste tous les pool visibles et tu peux les importer un par un après
je m'en sers pour basculer les pool d'une VM à une autre même si tu peux forcer un import sans avoir fait d'export avant.
ZoL t'affiche aussi une mise en garde disant que c'est pas compatible avec ubuntu mais reste 100% compatible
pourquoi opensuse d'ailleurs ?
brtfs c'est une autre philosophie tout aussi viable
y'a pas de mieux / moins bien chaque solution a ses avantages
tu as aussi les couples mergerFS + snapraid qui sont redoutables
après c'est pour faire un NAS complet et pas te faire chier tu as freenas qui t'apporte tout le gui et la simplicité pour la gestion
même si ZFS en cli c'est très très explicite et simple mais il faut le temps de bien se documenter / tester
l'import te liste tous les pool visibles et tu peux les importer un par un après
je m'en sers pour basculer les pool d'une VM à une autre même si tu peux forcer un import sans avoir fait d'export avant.
ZoL t'affiche aussi une mise en garde disant que c'est pas compatible avec ubuntu mais reste 100% compatible
pourquoi opensuse d'ailleurs ?
brtfs c'est une autre philosophie tout aussi viable
![:) :)](./images/smilies/smile.gif)
tu as aussi les couples mergerFS + snapraid qui sont redoutables
après c'est pour faire un NAS complet et pas te faire chier tu as freenas qui t'apporte tout le gui et la simplicité pour la gestion
même si ZFS en cli c'est très très explicite et simple mais il faut le temps de bien se documenter / tester
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
Opensuse parce que c'est la distrib linux que j'utilise actuellement, et qu'elle est donc déjà installée sur l'ordi en question.
J’apprécie KDE et le packaging RPM. J'ai utilisé Mageia et même un peu Mandrake il y a longtemps.
Hors DSM de Synology je n'ai utilisé aucune distribution dédiée NAS.
J'ai commencé à regarder (cf le sujet "Distribution NAS" viewtopic.php?f=2&t=2495) , il me faudrait un truc le plus simple possible, OpenMediaVault peut être...
EDIT : Bon je viens de commencer à tester OMV avec Virtualbox , cf viewtopic.php?f=2&t=2495&start=125#p323625
J’apprécie KDE et le packaging RPM. J'ai utilisé Mageia et même un peu Mandrake il y a longtemps.
Hors DSM de Synology je n'ai utilisé aucune distribution dédiée NAS.
J'ai commencé à regarder (cf le sujet "Distribution NAS" viewtopic.php?f=2&t=2495) , il me faudrait un truc le plus simple possible, OpenMediaVault peut être...
EDIT : Bon je viens de commencer à tester OMV avec Virtualbox , cf viewtopic.php?f=2&t=2495&start=125#p323625
- jsonline_bis
- Messages : 42
- Inscription : mer. 20 mars 2019 09:48
Re: NAS assez puissant - Projet été 2019
Juste un mot pour dire que je n'ai pas avancé sur ce projet là.
J'ai toujours opensuse sur cet ordi dont je ne me sers toujours qu'occasionnellement.
Niveau filesystem je n'ai pas gardé longtemps ZFS car j'ai préféré avoir du btrfs, comme sur mon NAS principal,
pour garder une homogeneité de mes environnements.
OMV est toujours dans sa petite VM et je ne m'en sers pas du tout. Clairement je n'ai pas eu le temps/l'envie de bien comprendre cette distrib alors je ne peux pas dire si elle me convient ou pas.
J'espère avoir le temps de regarder comment faire progresser le projet cet été.
J'ai toujours opensuse sur cet ordi dont je ne me sers toujours qu'occasionnellement.
Niveau filesystem je n'ai pas gardé longtemps ZFS car j'ai préféré avoir du btrfs, comme sur mon NAS principal,
pour garder une homogeneité de mes environnements.
OMV est toujours dans sa petite VM et je ne m'en sers pas du tout. Clairement je n'ai pas eu le temps/l'envie de bien comprendre cette distrib alors je ne peux pas dire si elle me convient ou pas.
J'espère avoir le temps de regarder comment faire progresser le projet cet été.