[SONDAGE] ZFS / ZIL / Type SSD

Message par **augur1** » jeu. 3 sept. 2015 16:58

M1015 A 8087-> 7 disques
M1015 B 8087-> 7 disques

genre :
vdev1
- disque 0 de M1015 A
- disque 1 de M1015 B
vdev2
- disque 2 de M1015 A
- disque 3 de M1015 B
vdev3
- disque 4 de M1015 A
- disque 5 de M1015 B
....

=> moitié sur une moitié sur l'autre, sur Rack Entropia Ananas, style genre Norco 4224, backplane 6 Gb.

Message par **poulpito** » jeu. 3 sept. 2015 17:00

oui apres est-ce que tu as pas un soucis sur une de tes cartes
ta liaison donne quoi avec iperf entre les deux ?
malheureusement

faut fouiner

Message par **gizmo78** » jeu. 3 sept. 2015 17:02

t'as fais un test en local? car c'est bizarre que le write soir 3x supérieur au read oO

Message par **poulpito** » jeu. 3 sept. 2015 17:08

ah mon avis il a inversé les deux ^^ mais même

Message par **augur1** » jeu. 3 sept. 2015 17:26

ta liaison donne quoi avec iperf entre les deux ?

Vais fouiner avec iperf https://iperf.fr/iperf-download.php
+ check sur
... ZFSGuru (192.168.2.1) & OmniOS (192.168.110) : iperf -P 1 -c 192.168.2.50 (client windows 8.1)

It turns out that SMB wants asynchronous io to be enabled in order to be fast :

cd /usr/ports/net/samba36
make config
# Turn on AIO_SUPPORT
make install clean

t'as fais un test en local? car c'est bizarre que le write soir 3x supérieur au read oO

Avec le benchmark interne à ZFSGuru
[cpp]Test size : 64 GiB
normal read : 1 GB/s
normal write : 961 MB/s
I/O bandwidth : 27 GB/s[/cpp]

ah mon avis il a inversé les deux ^^ mais même

Non :/

Message par **augur1** » sam. 5 sept. 2015 19:07

Note pour plus tard : SMB Multichannel en SMB > 3.0
-> http://blogs.technet.com/b/josebda/arch ... b-3-0.aspx

Message par **augur1** » dim. 6 sept. 2015 11:49

Un élément de réponse face aux pietres perf en SMB :

All free Illumos distributions like OI or OmniOS are SMB 1 (kernel based SMB server)
Gordon Ross from Nexenta is working on an upstream of SMB 2.1

Currently you can only use the commercial options for SMB 2.1
- NexentaStor CE (free up to 18 TB raw, noncommercial use only)
- Oracle Solaris 11.3 (free for demo and developer use, currently the most feature rich ZFS server)

or must use SAMBA

Message par **kalistyan** » lun. 7 sept. 2015 19:48

Benchmark interne à ZFS guru

SAMSUNG HD103UJ
4 x 1 To
RAID1 (mirroring)

Les disques sont attachés en directpath.

ZFSguru 0.3.1 (10.2.003) pool benchmark
Pool            : zfs (928G, 0% full)
Test size       : 32 GiB
normal read	: 101 MB/s
normal write	: 49 MB/s
I/O bandwidth	: 34 GB/s

J'ai juste créé une vm avec 4 Go de Ram, puis lancé ZFS guru en livecd et créé le pool.

Message par **augur1** » lun. 7 sept. 2015 21:09

Ces prochains temps, j'ai prévu de tester les 14x 2 To en mirrored + SMB sous :
[*]Solaris 11.3
[*]OmiOS + Nappit
[*]OniOS + Nappit, connecté via IB en iSCSI à du Windows 2008 ou 2012r2 ou 8.1 pro, avec Starwind VSan, puis de partager le volume monté via SAMBA avec une Intel 10 GbE XFP+ pour tester avec client en 10 GbE
[*]OniOS + Nappit dans du Hyper-V de Win 2012r2 ou 8.1 Pro et faire de même

On verra ce qui est concluant.

QQ liens avec SMB 3 :
- Why R2? Your Next SAN with SMB 3.02 Scale-out File Servers : http://blogs.technet.com/b/keithmayer/a ... -sofs.aspx
- Windows Server 2012 - How to Scale-Out a File Server using Hyper-V : https://channel9.msdn.com/Shows/TechNet ... ng-Hyper-V
- Scale-Out File Server for Application Data Overview : https://technet.microsoft.com/en-us/lib ... 31349.aspx

Le truc fun à faire également avec 2 racks :
[*]A : 1x rack 4u 24b avec carte mère/cpu/ram/alim/24hdd + 3x contrôleur SAS/SATA + 1x contrôleur SAS/SATA SFF8087 externe + carte IB... sous OmniOS + Nappit
[*]B : 1x rack 4u 24b avec carte mère/cpu/ram/alim/24hdd + carte IB + carte 10GbE... sous Windows 2012r2 ou 8.1 Pro + avec un expander HP sur la carte mère qui va vers les 24hdd

... comme ça en 2 rack on a 2 systèmes qui tournent avec 48 HDD ^^
-> cartes IB du rack A et B reliées entre elles
-> contrôleur SAS/SATA SFF8087 externe du A relié à l'expander du B
-> OmniOs qui gère le ZFS et iSCSI via carte IB du A
-> en B, Windows qui reçoit le iSCSI de la carte IB du A, et via Starwind VSan le connecter pour partager le tout 10 GbE

Message par **TheMartel** » ven. 11 sept. 2015 10:30

En gros À sert juste à présenter les disques à B?
J'ai du mal à voir l'utilité j'avoue

A moins que les performances soient vraiment meilleures qu'en virtualisé, et que tu ais VRAIMENT besoin des fonctions de stockage de l'OS du A et de partage de l'OS du B...
L'IB c'est bien, mais c'est quand même des latences en plus, même si c'est sans doute la méthode d'interfaçage la moins coûteuse à ce niveau là. Autant la BP ça pas de souci, même sur les vielles génération, on est toujours un ou deux niveaux au dessus des interfaces réseau de type Éthernet: mais par contre les quelques macro/micro secondes peuvent avoir une vrai influence. Je préfère un truc virtualisé, les latences sont souvent moindre.

Mosie avait fait des tests qui il me semble mettaient en évidence ça avec un système de RamDisk déporté connecté en IB...

Message par **gizmo78** » ven. 11 sept. 2015 10:47

le problème avec l'IB c'est la qualité des drivers, sous debian c'est pas top, mais RHEL/centos c'est mieux.

Ca restera toujours plus rapide que du 10G en ethernet et avec une latence moindre

Message par **poulpito** » ven. 11 sept. 2015 10:49

largement mieux RHEL

les cluster HPC sont fait avec ca

(base RHEL et opti maison ici)

Message par **gizmo78** » ven. 11 sept. 2015 10:51

ca en discute un peu la:
http://forum.hardware.fr/hfr/OSAlternat ... 8_9952.htm

Message par **poulpito** » ven. 11 sept. 2015 10:57

même pas jvai lire HFR ... trop de boulets et de mecs qui se gargarisent sur des trucs qu'ils font pas ^^ si c'était un forum de tecos ça se saurait

Message par **gizmo78** » ven. 11 sept. 2015 11:03

t'as regardé le topic avant de dire ca???

regarde pas alors je force pas....

Message par **Zedoune** » ven. 11 sept. 2015 11:04

ça veut dire quoi IB ?

Message par **gizmo78** » ven. 11 sept. 2015 11:05

Infini Band

Message par **TheMartel** » ven. 11 sept. 2015 11:37

Sur HFR de temps à autre il y a des trucs bien branlés.
C'est rare, alors quand y en a fait regarder

Message par **gizmo78** » ven. 11 sept. 2015 11:39

c'est le cas de ce topic, sinon je ne le citerais pas.

Message par **augur1** » ven. 11 sept. 2015 19:22

Alors, donc : config identique et retour à Xubuntu 14.04 en reimportant la pool.

Même station et système sur le client windows 8.1, toujours en samba, toujours en 10GbE Intel.

Read : 650 Mo/s
Write : 1080 Mo/s
... toujours avec Blackmagic Speedtest et fichier de 5 Go sur partage samba.

Pour le bricoli du haut, oui Them c'est pour presenter le stockage à B en 2 racks de 24 hdd au lieu de 1 rack 24 hdd + 1 rack jbod 24 hdd + 1 rack pour windows 2012r2 / 8.1

Message par **TheMartel** » ven. 11 sept. 2015 22:00

Dans le sens qu'apres ça pourrait etre tout sur une platerforme unique, avec que la carte exepender dans le deuxieme boitier. ça fait economiser une config quoi.

Message par **augur1** » ven. 11 sept. 2015 22:27

En virtualisant dans Hyper-V OmniOS, oui.

Ca fait parti des tests de novembre.

Mais là déjà les debits poutrent bien mieux sous Xubuntu : version smb 3.4 vs Smb 1 sur OmniOS / ZFSGuru.

Message par **augur1** » dim. 13 sept. 2015 13:33

Gestions des droits & partage via SAMBA / CIFS sous ZFS On Linux ZOL
-> http://smpfr.mesdiscussions.net/smpfr/B ... tm#t130784
... ZFS est prioritaire sur SMB.

c'est ZFS qui gère le partage samba ici

Pour donner les droits à Windows de les gérer : activer les ACL

[cpp]# zfs set acltype=posixacl yala/pouet[/cpp]

If I wanted to set the acltype back to stock configuration (default), I would do the following (Thanks to DeHackEd from #zfsonlinux freenode channel for letting me know about this):

[cpp]# zfs inherit acltype yala/pouet[/cpp]

POSIX ACLs on ZFS on Linux 0.6.3
=> https://fearedbliss.wordpress.com/2014/ ... nux-0-6-3/

Message par **Zedoune** » dim. 13 sept. 2015 14:04

Comme quoi je dis pas que des bêtises

Message par **poulpito** » dim. 13 sept. 2015 14:54

nop mais ca me choquera toujours de faire du cifs avec zfs^^