NAS Maison Base Norco 4220 + NAS HP Proliant MicroServeur

Message par **yop57** » dim. 13 oct. 2013 14:32

Bonjour

INTRODUCTION
Après 1 an de stand-by sur mon projet de NAS et de machine a tout faire via de la virtualisation en ESXi.

En effet, j'ai un bureau qui ressemble plus a un atelier avec du matériel a droite et a gauche. Autant dire que j'ai plus du PAF dans la gueule, que du WAF.
Bref faut que ça change.

PRÉSENTATION GÉNÉRAL DU PROJET
Donc mon projet est double.
1. Mettre en place de la virtualisation pour me débarrasser de toutes mes machines de tests etc ... via de la virtualisation (ESXi par exemple)
2. Mettre en place un NAS en tant que machine Virtuel qui synchronisera avec un 2eme NAS distant (HP Proliant Microserver).

Du coup ça permettra a mon frère et a moi d'avoir chacun nos NAS et de "backuper" les données pour se prémunir du vol/incendie/panne

Pour l'instant mon NAS HP me sert de NAS principale.

Sur le principe c'est en gros le même projet de filou59 (mais avec un NAS supplémentaire pour qu'ils se synchronisent)
voici un lien vers son topic:
http://smpfr.mesdiscussions.net/smpfr/H ... 1684_1.htm

Je vais essayer via ce topic de faire un tuto, le plus complet possible.
Désoler par avance si je met quelques info qui pour certains seront peut etre superflus

CONFIGURATION MATERIEL
Je compte finaliser la liste de matériel avant fin octobre.

Config Materiel - Machine Principale
Boitier: type Norco (24baies) - OK
Alimentation: Seasonic 660W Platinium
Carte mere: SuperMicro type X8, X9 voir X10 (mais X10 presque introuvable)
Pros: Xeon E3 12xx V2, ou V3 (TDP le plus faible possible
RAM: 2 ou 4 x 8Go ECC
SAS controleur: IBM M1015 avec firmware IT (plusieurs en stock)
Expandeur: HP 468406-B21 avec firmware 2.21/2.26 pour le faire fonctionner en 6Gb
HDD Boot: 2 SSD en mirror (pour l'ESXi et y mettre les VM)
HDD Pool: 9 x 2To (le cout du Go sur les 2To WD Red est inférieur au 3To)
6 pour le stockage, 2 pour le ZFS2, 1 pour le Spare
HDD Cache: Pas prévu pour l'instant
HDD LOG: Pas prévu pour l'instant

J'ai déjà tout le matos pour cette 2eme machine
Config Matériel - HP Proliant Micro Serveur (pour l'instant le boot se fait via un SSD)
- RAM : 8Go (2 x 4Go ECC)
- SAS contrôleur : IBM M1015 avec le firmware IT
- Cable SAS/SATA: 2 x SFF-8087
- HDD Boot: Clef(s) USB ou 1 x SSD (via le contrôleur de la machine hôte) - voir possibilité de mirrorer le boot
- HDD LOG: 1 x SSD ( a voir si boot sur USB pour avoir la place de le mettre
- HDD Pool: 6 x 3To (3 x 3To pour le stockage + 2 x 3To pour ZFS2 + 1 x 3To pour le Spare)

Quelques rappel concernant ZFS et ESXi
1. Préconisations disques pour ZFS:
* En RaidZ (équivalent Raid 5), le nombre de disque recommandé est : 3, 5, 9
* En RaidZ2 (équivalent Raid 6), le nombre de disque recommandé est : 4, 6, 10

2. Préconisations RAM pour ZFS:
* RAM ECC obligatoire pour ZFS
* Conseillé 1Go de mémoire ECC / To géré

3. ESXi
La licence est gratuite jusqu’à 32Go de RAM

CONFIGURATION SOFTWARE
On en rediscutera plus tard une fois que le matériel sera fixé.
Mais sur le principe, sur la config principale ESXi,virtualisé toutes les futur machine dont le NAS. Pour le NAS pour l'instant ca reste ouvert, mais je suis pour l'instant assez partant pour FreeNas ou Napp-it.

Voila pour le projet

------------------------------------------------------------
Question
Avez vous des préconisations bon plan sur la machine principale
Pour info, j'ai pas non plus besoin de perf de la mort... mais de quelques choses qui rame pas non plus
Pour les VM, j'ai pas encore grand choses de prevu : NAS, Domotique, Exchange/Domino, Domaine sur du 2k8, mais ça va certainement grandir grace a la facilité de mise en œuvre de la virtualisation

Message par **poulpito** » dim. 13 oct. 2013 14:36

Quelques rappel concernant ZFS et ESXi
1. Préconisations disques pour ZFS:
* En RaidZ (équivalent Raid 5), le nombre de disque recommandé est : 3, 5, 9
* En RaidZ2 (équivalent Raid 6), le nombre de disque recommandé est : 4, 6, 10

2. Préconisations RAM pour ZFS:
* RAM ECC obligatoire pour ZFS
* Conseillé 1Go de mémoire ECC / To géré

1. faux pour le nombre de disques, aucun impact constaté sur des disques de 2To en PRATIQUE ! constaté aussi sur des 1To
sorte de légende urbaine qui impacte 1% de perfs

2. faux surtout pour le 1Go/To c'est uniquement si tu fais de la dédup ou de la compression
sinon ça sert à rien DU TOUT
8Go de ram pour 24To et j'ai pas mal de service gourmands en mémoire qui tournent dessus

Message par **Jul77** » dim. 13 oct. 2013 17:36

Si je résume, à terme tu vas avoir chez toi la machine principale (avec NAS virtualisé) et le Proliant chez ton frère (qui sera le 2e NAS offsite sync avec celui de la machine principale ?).

NB: Esxi 5.5 n'a plus la limite de 32GB pour la version free.

Beau projet sinon, flag

Message par **gizmo78** » dim. 13 oct. 2013 18:52

drap aussi

Message par **yop57** » lun. 14 oct. 2013 00:12

Merci poulpito pour ton feedback

Si je résume, à terme tu vas avoir chez toi la machine principale (avec NAS virtualisé) et le Proliant chez ton frère (qui sera le 2e NAS offsite sync avec celui de la machine principale ?).

NB: Esxi 5.5 n'a plus la limite de 32GB pour la version free.

Beau projet sinon, flag

Cest exactement ca.
Merci pour la precision ram pour esxi 5.5
Merci, mais cest pas gagné d'avance

Sauf que pour le soft nas, pour l'instant j'hésite entre freenas et l'un des couples omnios/indiana+nappit.
Idealement cest de virtualiser le tout sur ma machine principale qui ira dans mon armoire server dans le garage.
Pourquoi virtaliser mon nas, tout simplement pour la faciliter de maintenance. Apres faut voir si ca tourne correctement (stabilité) en étant virtualisé
- Avec napp-it, il y a une vm tout prete

sur leur site.
- Freenas en revanche pour l'instant aucune idée si ca tourne correctement sur esxi. J'ai trouvé un super tuto TRES complet et TRES accessible au noobs.
http://www.durindel.fr/informatique/tut ... de-freenas
http://www.durindel.fr/informatique/uti ... de-freenas
http://mogsub.com/2013/03/27/building-a ... d-freenas/

Message par **Jul77** » lun. 14 oct. 2013 06:58

Je voterai pour du ZFS, je le trouve plus intéressant qu'une distrib Freenas et en plus sur ce fofo tu as une pleine poignée de pro de cette techno

Message par **Fungraphic** » lun. 14 oct. 2013 08:01

Je voterai pour du ZFS, je le trouve plus intéressant qu'une distrib Freenas et en plus sur ce fofo tu as une pleine poignée de pro de cette techno

Pourquoi tu dis ZFS et pas FreeNAS

Vu que le FreeNAS est une Distro Basé sur du FreeBSD et qui gère le ZFS UFS NTFS et d'autre encore....

Test là sur une VM ça prend 10 minutes à installé tu veras c'est tip top et il y a des addon dont le Plex serveur pour toute la diffusion multimédia.

Message par **poulpito** » lun. 14 oct. 2013 08:02

et puis
1- tu sais comment c'est fait car tu config tout a la main
2- si ca tombe en panne tu sais vite d'ou ca peut venir

donc +1 solution maison et pas du freenas et cie moi je suis réfractaire aux jolis trucs qui font ... bah tu sias pas ! autant mettre les mains dans le cambouis

Message par **Fungraphic** » lun. 14 oct. 2013 08:25

et puis
1- tu sais comment c'est fait car tu config tout a la main
2- si ca tombe en panne tu sais vite d'ou ca peut venir

donc +1 solution maison et pas du freenas et cie moi je suis réfractaire aux jolis trucs qui font ... bah tu sias pas ! autant mettre les mains dans le cambouis

Ok donc tu prend quoi pour mettre en place ton ZFS?

Message par **poulpito** » lun. 14 oct. 2013 08:35

debian ou bsd selon la préférence pour ma part c'est que du debian de partout
+ samba configuré pour partage windows
+ target iscsi au besoin pareil config super simple
+ partage des fichiers avec subsonic en intranet/internet
pour la lecture on va dire diffusion média c'est XBMC qui s'en charge avec l'index de la médiathèue + client xbmc sur android qui récupère le stream

Message par **Fungraphic** » lun. 14 oct. 2013 08:42

debian ou bsd selon la préférence pour ma part c'est que du debian de partout
+ samba configuré pour partage windows
+ target iscsi au besoin pareil config super simple
+ partage des fichiers avec subsonic en intranet/internet
pour la lecture on va dire diffusion média c'est XBMC qui s'en charge avec l'index de la médiathèue + client xbmc sur android qui récupère le stream

Ok donc ça revient au même que prendre FreeNAS , la différence c'est que FreeNAS tu passe par une interface WEB pour la configuration des partages et de la sécu.

Message par **Jul77** » lun. 14 oct. 2013 09:10

Freenas est une formule tout en un, et comme dit poulpi tu sais pas vraiment ce que t'as installé.
Tu peux gérer ton ZFS via une interface admin également.
Bref Freenas est moins prise de tête mais au final je trouve qu'aller au fond de la chose en mettant en place du omnios+nappit est plus enrichissant.

Message par **yop57** » lun. 14 oct. 2013 09:28

Freenas est une formule tout en un, et comme dit poulpi tu sais pas vraiment ce que t'as installé.
Tu peux gérer ton ZFS via une interface admin également.
Bref Freenas est moins prise de tête mais au final je trouve qu'aller au fond de la chose en mettant en place du omnios+nappit est plus enrichissant.

Suis d'accord avec toi. C'est pour ca que j'ai un pincement au coeur.
Entre aller vite, et faire bien les choses .

Pour le principe les NAS doivent avoir ses fonctions avancés:
- Envoyer un mail (sur adresse externe type @gmail.com) lors de la défaillance d'un disque
- Administrable à distance
- Accès FTP
- UPNP
- Les 2 NAS doivent pouvoir se répliquer entre eux, via rsync ou autre
- ... (je compte sur vos retours pour compléter ainsi que pour des liens de tuto)
Sur FreeNAS apparemment aucun problème tous y est sur ces deux tuto:
http://www.durindel.fr/informatique/tut ... de-freenas
http://www.durindel.fr/informatique/uti ... de-freenas

Sur Napp-it, faut juste chercher un peu, mais a priori ça devrait être possible. Ça manque juste un peu de tuto complet sur le net

Je vais préciser mon 1er post pour qu'il soit plus complet prochainement. En effet, un de mes sous projet c'est d'utiliser un Raspery Pi avec XBMC dessus qui ira chercher les données sur le NAS.

Pour en revenir au NAS ce que j'ai avec FreeNAS c'est que c'est noobs power donc facile a prendre en main.
En revanche, étant geek dans l’âme, j'aime bien avoir la main sur ce que je fais, mais c'est chronophage.
De toute façon, la 1ere tache finaliser le hardware. S'en suivra un petit test de napp-it, freenas, autre si vous avez des propositions.

ATTENTION: je suis du monde windows donc ne connais pas vraiment tout ce qui touche a linux solaris. Mais je suis curieux.... et ne demande qu'a apprendre et maitriser un minimum la chose.

Pour faire avancer les choses je me suis fixé un calendrier pour me forcer a faire des choix rapidement.
31.10 - Clôture sélection matériel + commande
xx.11 - Test de config de NAS
01.12 - Fin des test
31.12 - Mise en production

Message par **Jul77** » lun. 14 oct. 2013 09:39

Ouai, y'a qu'en testant les produits que tu te feras une idée de la faisabilité. D'ailleurs tu peux très bien tester dès à présent avec vmware workstation (ou player à la rigueur).

Message par **poulpito** » lun. 14 oct. 2013 10:20

+1 c'est ce que j'ai fait
des mois sous vmware workstation / esxi pour faire des VM test avec des disques de 1Go ou 2go pour simuler les disques physiques et les opérations

ca aide bien!

Message par **yop57** » lun. 14 oct. 2013 15:02

Ouai, y'a qu'en testant les produits que tu te feras une idée de la faisabilité. D'ailleurs tu peux très bien tester dès à présent avec vmware workstation (ou player à la rigueur).

Je sais, tu as raison.
J'utilise justement du VMware server pour certains vieux truc
Mais c'est la fainéantise de devoir mettre les main dans le cambouis d'une machine existante.

J'attendais d'avoir la nouvelle machine pour m'y mettre ...
J'ai un "vieux i3", qui ne sert pas. Faut que je me motive à mettre les mains dans le cambouis.
Aller promis, je m'y met dans la semaine.

Message par **filou59** » mer. 16 oct. 2013 08:11

Par contre quand on regarde bien il est apparement déconseillé de virtualiser Freenas. Donc c'est un point a prendre en compte.

Moi de mon coté je vais essayé Openmediavault, c'est une distrib orienté stockage basé sur une débian.
Je la connais pas du tout pour le moment ca serra l'occasion de mettre les mains dedans.

Message par **augur1** » mer. 16 oct. 2013 11:29

Il y a exactement 2 ans et 4 jours que poulpito & moi même avions fait les recherches nécessaires
-> poulpi sur Linux & ZFS
-> moi sur FreeNas, OpenMediavault, Thecus... pour finir en Napp-it avec OpenIndiana installé sur 2x HP Microserver Proliant NL40, qui tourne sans souci depuis début 2012.

. . .

Message par **yop57** » mer. 16 oct. 2013 13:20

Il y a exactement 2 ans et 4 jours que poulpito & moi même avions fait les recherches nécessaires
-> poulpi sur Linux & ZFS
-> moi sur FreeNas, OpenMediavault, Thecus... pour finir en Napp-it avec OpenIndiana installé sur 2x HP Microserver Proliant NL40, qui tourne sans souci depuis début 2012.

. . .

C'etait il y a 2ans. Depuis FreeBSD a evolué donc FreeNAS aussi par la meme occasion.
FreeNAS est a present a la version 9.x

J'ai terminé l'install d'ESXi sur une vieille machine pour mes tests.
J'ai du me contenté de ESXi 5.1 (la 5.5 ne reconnaissant pas ma carte réseau !!!).
Vais essayer de jeter un oeil dans les prochains jours pour avoir une première impression.

Merci pour ton lien je vais jeter un oeil ce soir

Sinon en alternative au final je peux toujours me faire un server dédié NAS genre FreeNAS (sans ESXi)
Une autre pour ESXi pour mes VM.
Mais la faut que je revois tout notamment au niveau budget (je ne veux pas depasser les 1500 euro).
J'ai deja quelques elements comme le boitier 24baies, des M1015, Alim, des vieux SSD.

Pour l'instant je me tiens a mon idées de depart un ESXi four tout dont le NAS.

Message par **yop57** » mer. 16 oct. 2013 13:22

Par contre quand on regarde bien il est apparement déconseillé de virtualiser Freenas. Donc c'est un point a prendre en compte.

Moi de mon coté je vais essayé Openmediavault, c'est une distrib orienté stockage basé sur une débian.
Je la connais pas du tout pour le moment ca serra l'occasion de mettre les mains dedans.

OK n'hesite pas a mettre a jour ton topic avec tes impressions.
Ca pourrais servir ...

Message par **whiteblood** » mer. 16 oct. 2013 15:09

tu as un lien, pour le conseil de ne pas virtualiser Freenas ? passssssssque vu comme ca, je vois pas ou est le probleme ?!

Message par **c0bw3b** » mer. 16 oct. 2013 16:08

Doc officielle : FreeNAS in a Virtual Environment

FreeNAS can be run inside a virtual environment for development, experimentation, and educational purposes. Please note that running FreeNAS in production as a virtual machine is not recommended. If you decide to use FreeNAS® within a virtual environment, read this post first as it contains useful guidelines for minimizing the risk of losing your data.

Aucun problème technique pour le faire à la maison donc.
A condition de bien savoir ce qu'on fait niveau archi : passthrough, contrôleurs RAID, cache, FS utilisé, etc...

Message par **yop57** » ven. 18 oct. 2013 12:54

Pour ceux qui ont peur de se lancer via la virtualisation, quelques liens utiles pour les rassurer.
En gros, pour l'installation pas besoin d'avoir fait un bac+12.

installation de omnios + napp-it sur ESXi 5.5: http://www.servethehome.com/omnios-napp ... i-minutes/

Configuration du Passthrough dans ESXi :
http://www.servethehome.com/configure-p ... usb-drive/

Mise a part le layout du client web de napp-it qui est plus austère que freenas, ca me rassure plus d'avoir une config plus professionnel.
Faut que je trouve maintenant un/des tuto napp-it qui reprend mes exigences.

Message par **augur1** » dim. 20 oct. 2013 20:25

/!\ ESXi 5.1 : limité à 2 To
.... limitation supprimée avec ESSXi 5.5

Message par **Jul77** » dim. 20 oct. 2013 21:24

Limitation à 62To dans 5.5.