Un gros NAS.

Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Un gros NAS.

Message par Ryu_wm »

Vous le savez, j'aime bien bricoler avec du matos de récup' ou des vieilleries qui n'ont plus de valeur.
Mon projet en cours survient après le déclassement de ma station de travail principale qui était à base d'i5-6600K.

Je vais faire de cette station un "NAS" mais je ne vais pas miser sur la capacité de stockage car je n'ai pas *besoin* de stocker énormément.
En tout et pour tout, entre les ISO, les programmes, les sauvegardes de documents, les espaces réseau, quelques vidéos et photo, je dois arriver à la somme mirifique de 2.5 To.
Si j'ajoute les sauvegardes systèmes, je rajoute 1 à 1.5 To.
Donc vraiment au maximum du besoin, je stocke 4 To actuellement.

Premier constat : pas besoin de disques de grande capacité.

Pendant un temps, j'ai stocké des sauvegardes sur des disques durs branchés sur un dock USB. C'est efficace, mais il faut jongler avec les disques et surtout il faut être physiquement présent. Même avec un bon taux de transfert de 125 Mo/s il faut tout de même parfois des heures de sauvegarde/synchronisation.
Surtout, depuis que le disque dur existe, on sait qu'il fonctionne parfaitement ... jusqu'au prochain démarrage et là on peut avoir des surprises.
Alors on peut vite avoir envie de sauvegarder la sauvegarde ou de la sécuriser et petit à petit les coûts augmentent.

Alors j'aurais pu acheter 3 disques de 4 To, en mettre 2 en miroir et un autre en spare au sein d'un raid. Oui, simple et efficace, mais pas vraiment marrant.

Après avoir bricolé un peu avec ZFS, NFS, iSCSI je me tourne vers une solution de stockage résiliente avec majoritairement de la récup'.

La station est basée sur une carte mère Gygabite Z170-HD3 https://www.gigabyte.com/fr/Motherboard ... v-10/sp#sp
image -> https://static.gigabyte.com/StaticFile/ ... /webp/2000

Elle embarque un Core i5-6600K, 16 Go de DDR4 PC-2133 et un NVme de 512 Go pour le système.
De base elle possède 6 ports SATA qui peuvent être convertis en SATA Express. Je n'ai jamais eu besoin de performance donc je n'ai jamais testé.
https://en.wikipedia.org/wiki/SATA_Express
En revanche, avec les ports PCIe il y a un truc à faire.

Je souhaitais tester ce genre de carte :
Image
mais il lui faut une fonctionnalité précise qui est le PCIe split qui permet d'utiliser le PCIe 16x en PCIe 4*4x, mais la carte mère ne le gère pas dans cette version (1.0) que je possède, il est précisé que cela a été implémenté dans la v3.
De toute façon j'aurais pu utiliser 1 pool de 4 "disques" à grande vitesse mais je n'ai pas besoin de vitesse.

En effet je suis limité par mon infra réseau. Un jour je pourrai peut-être passer les dessertes en fibre si je récupère des switchs à dessein, en attendant je suis bloqué en cuivre 1 Gbps.
Ma desserte réseau comporte une travée principale qui s'étend sur 80 mètres avec 2 switchs 1gbps à chaque extrémité, et au milieu j'ai 2 spots wifi et une branche en CPL.
Mon "coin informatique" est dans un bâtiment à l'opposé du cœur de réseau, relié par du L120 qui a bientôt 20 ans, qui est semi enterré mais aussi avec une portion à l'air libre qui a cuit au soleil et que j'ai maintenant (enfin) protégé par une gaine.
Quoi qu'il en soit, tout ceci reste fonctionnel malgré le temps et l'usure et un test de débit réseau atteint correctement le gigabit ( allez, 980 mbps en pic, 960 en stable.).

C'est donc mon principal goulot d'étranglement : 1 gbps = 125 Mo/s
A partir de ce constat, si je mets en place un NAS, je sais que je n'ai pas besoin de plus que des disques mécaniques en SATA car de toute façon le réseau est moins rapide.
Je peux donc améliorer le réseau : je n'ai pas ce qu'il faut et par conséquent il me faudrait tout acheter, quand je vois le prix d'un switch fibre je ne l'envisage même pas.
J'ai réfléchi au fait de sacrifier les accès à ce NAS pour le mettre en point à point avec une seule station : tests non concluants viewtopic.php?t=9513 Cela tombe bien car décentraliser la solution de sauvegarde ne me plaisait pas, Si le test avec été concluant j'aurais probablement mis en place un pont/routage de réseaux mais bon, la question ne se pose plus.

Je n'ai pas besoin de performances, pas besoin d'espace de stockage indécent, il me faut juste de la résilience, car je ne compte plus le nombre de sauvegardes perdues en 30 ans (CD/DVD RW illisibles, disques et bandes HS quand on en a besoin, sauvegarde ET sauvegarde de la sauvegarde corrompues). Même si ça permet de faire le ménage dans les données, j'ai irrémédiablement perdu certaines photos et vidéos des premières années de mon enfant et autres document plus facilement remplaçables maintenant que le monde s'est globalement numérisé.

Donc je vais me servir de la station comme d'un NAS, je vais utiliser les 4 ports PCIe pour mettre du stockage M2.Sata.
J'utilise déjà 1 carte avec succès sous Windows comme Linux depuis 2 ans

Image

J'en suis très satisfait même si elle refuse de fonctionner avec certains stockages M2.Sata (SK Hynix et Western Digital), mais elle coute tout de même, encore à l'heure actuelle, 79€ fdpout pour 5 ports M2.Sata.
Des tests de débit sous Windows avec le cache désactivé, ou sous Linux avec hdparm ou dd, situent la vitesse moyenne de lecture à 480 Mo/s et 280 Mo en écriture séquentielles, on est à 2x la vitesse du réseau pour ce qui est de l'écriture, donc ça encaisse.

Je viens de passer une commande pour le même type de carte mais pour les slots PCIe 4x et 1x de la carte mère

Image

En théorie le PCIe 3.0 1x peut soutenir 985 Mo/s, si je dois utiliser un pool de 4 disques en simultané, 985/4 = 246.5 Mo/s, je suis légèrement en dessous de la vitesse max d'écriture sur les M2.Sata. A voir en situation réelle.
Si cela fonctionne correctement, il faut savoir que le prix des 3 cartes fdpin est de 56€

Au total, ce "NAS" devrait embarquer :
1* 5* 256 Go M2.Sata
3* 4* 256 Go M2.Sata

Dans les faits, les 256 Go font 238 Go, après selon le système de fichiers, si il y a du RAID et du CRC on perd encore.
Disons donc tout de même 5+12*238 = 4046 Go utilisables.
Pourquoi des 256 Go ? Et bien c'est tout ce que j'ai sous la main, je ne vais pas acheter 17*512 Go :lol:
Avec du stripping je suis donc à l'espace maximal dont j'ai besoin. Mais pas de résilience du tout !
Il va donc falloir que je réfléchisse à quel type de Raid je vais faire appel.
Il reste 6 ports SATA, qui sont également capables de la même vitesse (mieux même : vitesse écriture et lecture symétriques).
Je dispose justement d'un lot de disques SSD allant de 120 Go à 512. Je dois avoir 4*256 1*240 et 1*512.
Quoi qu'il en soit je vais être "short" si je veux mettre en place du Raidz 1 2 ou 3 sur différents pools.
Je ne sauvegarderai surement pas tout sur ce NAS pour l'instant.

Il est clair que je vais utiliser ZFS.
J'aurai peut être 1 dataset en iSCSI mais globalement l'ensemble sera adressable en NFS et SMB.

Le NAS sera sur onduleur donc je n'ai pas besoin de ZILog ou L2Arc, j'espère pouvoir être en mesure d'augmenter la RAM (16 Go actuellement) et c'est tout. D'ailleurs viewtopic.php?t=2684 tout le monde se pose la question pour ZILog, alors du temps des disques mécaniques oui, désormais avec du stockage grande vitesse je n'en vois pas l’intérêt (juste mon avis ;) )

Je n'utiliserai pas de propriétés ZFS comme la déduplication, en revanche une compression standard type lz4 est transparente et me convient.

Une fois que j'aurais réfléchi à comment créer les pools ZFS (enfin, leur types et tailles) l'étape suivante sera d'assurer la synchronisation des données vers ce NAS via Rsync pour les stations Linux et Windows de manière automatisée (je le fais déjà pour les systèmes Linux).
Il me faudra juste retrouver comment j'avais mis Rsync en oeuvre sous Windows et si c'est toujours compatible avec 10 et 11.
Avatar de l’utilisateur
lls
Messages : 1746
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par lls »

Alors perso je suis comme toi sur la crainte de perdre les photos vidéos de familles. Du coup, je sais on n'aime pas forcément le cloud mais c'est pratique et je l'utilise en plus.
Je sauvegarde sur un disque de plusieurs tera ces données particulières avec un raid miroir. Je synchronise automatiquement ce chemin dans le cloud, donc déjà 3 sauvegardes si on compte le miroring et en plus je fais un robocopy avec la fonction de synchronisation sur un disque externe crypté 2.5" que j'ai toujours sur moi. Du coup je suis assez secure sur ces données. Et je pars du principe que la capacité des disques augmentent avec le temps et donc que je peux continuer un petit moment comme ça.
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

Alors en effet pas mal.
De mon côté je n'ai même pas la démarche intellectuelle d'héberger mes données à l'extérieur.
Non pas que je sois parano où extrêmement critique lorsqu'il s'agit de ma vie privée, non, je n'ai juste pas intégré cette possibilité car je ne m'en sers jamais :)

Disque chiffré, je te rejoins (je suis un fervent adepte de Veracrypt), moins sur robocopy, mais il rend bien le service.
Avatar de l’utilisateur
lls
Messages : 1746
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par lls »

disons que robocopy permet la synchro de mes disques durs physique vers le disque portable crypté, un batch à cliqué et ca se fait tout seul :)

Après le cloud je l'ai utlisé car je synchronise directement mes photos prises avec nos téléphones portables sur le cloud en temps réel depuis la 4G/5G comme ca si je me fait piquer mon tél ou s'il vient à être cassé tout est immédiatement sauvegardé sur le cloud.

Après oui on peut discuter des data sur les cloud etc... mais honnêtement ca rend bien service pour ma part.

Après l'alternative serait de faire mon propre cloud hébergé à l'extérieur et ca reviendrait au même (mais un peu plus cher en terme de coûts)
arank-thnar
Messages : 4953
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par arank-thnar »

Trop cool !
J'adore ce type de projet !
Avatar de l’utilisateur
biour
Messages : 24335
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par biour »

Yop alors pour le réseau, tu peux regarder les carte pcie 2.5 et 5gbps rj45 (entre 20 et 40€ sur amazon compatible linux et windows) ou sfp+ en 10g
Pour les switch, un 2.5g coûte 30€ pour 4 ou 5ports
50€ pour un 8ports.
Sauf que ben tu as dessus 1 a 2 sfp+ 10g.
Et la fibre c'est pas cher!
Sinon bourrin tu prends des mikrotik 4 ports sfp+ comme moi avec des sfp+ vers 10g et de la fibre jusqu'à la box!
Image
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

Je viens de zieuter car je n'avais aucune idée des prix.
Des cartes 5 Gpbs exotiques aux chipsets inconnus c'est entre 75 et 100 balles pièce.
Les switchs 10 Gpbs c'est pas loin de 300 balles pièces et il m'en faut absolument 2.

Après il y a moins cher effectivement avec du 2.5 Gbps, mais si j'achète du neuf pour seulement doubler le débit ... bof.
Mais merci à toi.
Avatar de l’utilisateur
biour
Messages : 24335
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par biour »

Un 4ports sfp+ c'est 150€ sur amazon
https://amzn.eu/d/9fVllQy
Mais oui c'est peut être un peu juste si besoin de plus de port
Pour les carte exotique c'est du realtek dedans dans 99% des cas

Ps: suis dans l'avion donc je lag un poil sur les réponses
Dernière modification par biour le lun. 10 mars 2025 11:31, modifié 2 fois.
Image
Avatar de l’utilisateur
lls
Messages : 1746
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par lls »

depuis quand @Ryu_wm tu achètes du neuf :D
gizmo78
Messages : 20468
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par gizmo78 »

t'as des chelsio SR320E donc 10G à genre 30€/carte et des kits avec 2 cartes + DAC pour genre 70€ sur ebay
Albat!
Messages : 207
Inscription : mar. 2 juil. 2019 13:30

Re: Un gros NAS.

Message par Albat! »

Les copper 10Gbe c'est 60/70€ après https://mikrotik.com/product/s_rj10 faut bien réfléchir au moment d'acheter, ça va bien si tu peux tout passer en fibre / dac.

Si ya pas besoin de vlan, ya le NETGEAR (GS108MX) (130/150€), sinon il y a le NETGEAR XS708E aux alentours de 400€ (8 ports dont un combo eth/sfp+, light-managed), et le Zyxel XGS1250-12 avec 3 ports Multi-Gig (1, 2.5, 5 et 10Gbe) , 1 port sfp+ et 8 ports Gbe à 195€ (je découvre cette ref et ça me semble pas mal pour mon use case).
gizmo78
Messages : 20468
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par gizmo78 »

le 10G copper c'est pas forcément le mieux, ça chauffe beaucoup plus, ça consomme beaucoup plus et c'est plus chiant sur les longueurs (surtout mini)
Albat!
Messages : 207
Inscription : mar. 2 juil. 2019 13:30

Re: Un gros NAS.

Message par Albat! »

Si t'es comme moi et que t'as que du grade qui passe dans les murs (sans possibilité / envie de t'embêter à refaire passer des fibres à côté des eth) t'as pas forcément le choix, d'où l'intérêt d'un switch 10GBe plutôt que des coppers.

Sinon t'as ça sur la baie de dispo https://www.ebay.fr/itm/275966988252?_u ... f=11&gQT=0 :D
Avatar de l’utilisateur
biour
Messages : 24335
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par biour »

Oui les convertisseur chauffe a mort (sfp+ vers rj45 10g)
70° facile
Sauf que ben un bête ventilateur en 5v pour ampli home cinéma en refroidit 5, a 35° au ralenti
Image
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

Merci pour vos réponse, je ne vais pas les citer toutes mais voici ma réponse.

Il me faut 2 switchs pour communiquer entre le bureau à l'étage de la maison et un bâtiment 70 M plus loin.
Dans le bureau il y a l'arrivée internet en Fo<->box<-> Parefeu sur un brin et TV sur un autre.
En sortie de parefeu j'ai un switch 1Gpbs 8 ports qui est complet, 2 ports partent sur du L120 qui dessert l'autre bâtiment, là je récupère le récupère le réseau : un routeur wifi sur un brin et un switch 1 Gbps 5 ports (4 occupés) sur l'autre.

Soit je mets le NAS au plus prêt du parefeu et je peux desservir toute la maison et en remplaçant le swi 1 Gpbs par un 10 gpbs soit ..
.
attendez, je vais dessiner, ça sera plus simple pour la compréhension.
Le temps de trouver un truc ...
Dernière modification par Ryu_wm le mar. 11 mars 2025 09:19, modifié 1 fois.
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

Dans les grandes lignes : une arrivée internet dans un bâtiment (habitation) , une desserte dans ce bâtiment et plusieurs machines / objets.
Une liaison inter bâtiments (artère principale),
Une desserte dans un autre bâtiment et plusieurs machines / objets.
Aucun PC/objet n'a une interface réseau qui opère à une vitesse supérieure à 1 Gbps.

Image

Il y a un NAS (un PC qui fait office de serveur de sauvegarde) qui est répliqué sur le NAS du second bâtiment.
Ces NAS sont activés par alarme RTC et WOL et se synchronisent entre eux et sauvegardent les PC de leur périmètre.
Dernière modification par Ryu_wm le mar. 11 mars 2025 09:10, modifié 2 fois.
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

Le besoin que j'évoque dans ce sujet est le besoin d'une liaison rapide entre la station de travail tour dans le second bâtiment et un NAS pour des accès SMB/NFS/iSCSI selon si besoin d'accès à des ressources sous Windows ou machines virtuelles ou montage vidéo.

La solution la plus couteuse est celle-ci
Elle ne profite, pour l'instant, à aucun équipement du fait de leur vitesse d'interface réseau à 1 Gbps max, sauf si remplacement des interfaces station et NAS, mais le surcoût principal vient du remplacement des switchs.

Image
Dernière modification par Ryu_wm le mar. 11 mars 2025 09:23, modifié 2 fois.
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

La solution que je testais via des interfaces réseau multiports et ce que propose Gizmo avec deux interfaces en DAC, me parait plus souhaitable et plus économique.
Elle m'impose de conserver 2 NAS, ce qui est un plus plus la pérennité des sauvegardes car, à moins de réveiller à chaque fois la station qui ferait office de pont, les autres équipements informatiques n'auraient plus accès au 'NAS 2'

Image
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

Enfin, il existe aussi cette possibilité avec le remplacement d'un switch et l'ajout de 2 interfaces réseaux afin de ne pas couper toutes les machines du NAS et qui permet d'en supprimer un.

Image

Cette solution me plait également même si plus onéreuse que celle d'avant.
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

gizmo78 a écrit : lun. 10 mars 2025 13:43 t'as des chelsio SR320E donc 10G à genre 30€/carte et des kits avec 2 cartes + DAC pour genre 70€ sur ebay

:jap: peux-tu, je te prie, me fournir un lien, je ne trouve pas (rapidement) ce type de kit.
lls a écrit : lun. 10 mars 2025 11:26 depuis quand @Ryu_wm tu achètes du neuf :D
ben des fois ...
Avec l'âge je m'encanaille, j'ai bien mis 10K€ dans une voiture d'occasion il y a peu. La première fois que je mets autant dans une voiture :lol:
gizmo78
Messages : 20468
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par gizmo78 »

je trouve plus de kit mais genre cette carte :
https://www.ebay.fr/itm/225209434114

c'est pas jeune mais pour faire du 10G simple sous linux ça se fait sans soucis
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

ok merci, ça j'en ai eu sous la main mais je n'avais que des DAC HPE sous la main et ça ne fonctionnait pas (DAC SFP+ 10Gbps pourtant)
du coup trouver un kit fonctionnel me rassurerait.
---
je viens de faire un nouvel essai avec un DAC qui vient de rentrer https://www.alliedtelesis.com/fr/fr/pro ... ources-tab
20250311_144904.jpg
20250311_144904.jpg (63.93 Kio) Consulté 26950 fois
concluant, mais je n'ai que des cartes 1G sous la main là :whistle:
Dernière modification par Ryu_wm le mar. 11 mars 2025 14:52, modifié 1 fois.
gizmo78
Messages : 20468
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par gizmo78 »

ça mange n'importe quoi en sfp+, testé par moi avec du cisco, alcatel, FS.com
c'est l'avantage de chelsio, pas de restriction côté sfp+.

Intel faut du badgé intel sinon au mieux c'est unsupported, au pire (genre les x710), ça kernel panic le driver
Avatar de l’utilisateur
Ryu_wm
Messages : 8017
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par Ryu_wm »

très bons renseignements notés, merci.
Avatar de l’utilisateur
biour
Messages : 24335
Inscription : ven. 12 janv. 2018 17:44

Re: Un gros NAS.

Message par biour »

IMG-20250102-WA0002(1).jpg
IMG-20250102-WA0002(1).jpg (41.19 Kio) Consulté 26782 fois
IMG-20250104-WA0001.jpg
IMG-20250104-WA0001.jpg (30.2 Kio) Consulté 26782 fois
Exemple de sfp+ dans mes mikrotik (ce n'est pas a jour)
Image
Répondre