SMPFR

M1015 A 8087-> 7 disques
M1015 B 8087-> 7 disques

genre :
vdev1
- disque 0 de M1015 A
- disque 1 de M1015 B
vdev2
- disque 2 de M1015 A
- disque 3 de M1015 B
vdev3
- disque 4 de M1015 A
- disque 5 de M1015 B
....

=> moitié sur une moitié sur l'autre, sur Rack Entropia Ananas, style genre Norco 4224, backplane 6 Gb.

oui apres est-ce que tu as pas un soucis sur une de tes cartes
ta liaison donne quoi avec iperf entre les deux ?
malheureusement faut fouiner

t'as fais un test en local? car c'est bizarre que le write soir 3x supérieur au read oO

ah mon avis il a inversé les deux ^^ mais même

ta liaison donne quoi avec iperf entre les deux ?

Vais fouiner avec iperf https://iperf.fr/iperf-download.php
+ check sur
... ZFSGuru (192.168.2.1) & OmniOS (192.168.110) : iperf -P 1 -c 192.168.2.50 (client windows 8.1)

It turns out that SMB wants asynchronous io to be enabled in order to be fast :

cd /usr/ports/net/samba36
make config
# Turn on AIO_SUPPORT
make install clean

t'as fais un test en local? car c'est bizarre que le write soir 3x supérieur au read oO

Avec le benchmark interne à ZFSGuru
[cpp]Test size : 64 GiB
normal read : 1 GB/s
normal write : 961 MB/s
I/O bandwidth : 27 GB/s[/cpp]

ah mon avis il a inversé les deux ^^ mais même

Non :/

Note pour plus tard : SMB Multichannel en SMB > 3.0
-> http://blogs.technet.com/b/josebda/arch ... b-3-0.aspx

Un élément de réponse face aux pietres perf en SMB :

All free Illumos distributions like OI or OmniOS are SMB 1 (kernel based SMB server)
Gordon Ross from Nexenta is working on an upstream of SMB 2.1

Currently you can only use the commercial options for SMB 2.1
- NexentaStor CE (free up to 18 TB raw, noncommercial use only)
- Oracle Solaris 11.3 (free for demo and developer use, currently the most feature rich ZFS server)

or must use SAMBA

Benchmark interne à ZFS guru

SAMSUNG HD103UJ
4 x 1 To
RAID1 (mirroring)

Les disques sont attachés en directpath.

ZFSguru 0.3.1 (10.2.003) pool benchmark
Pool            : zfs (928G, 0% full)
Test size       : 32 GiB
normal read	: 101 MB/s
normal write	: 49 MB/s
I/O bandwidth	: 34 GB/s

J'ai juste créé une vm avec 4 Go de Ram, puis lancé ZFS guru en livecd et créé le pool.

Ces prochains temps, j'ai prévu de tester les 14x 2 To en mirrored + SMB sous :
[*]Solaris 11.3
[*]OmiOS + Nappit
[*]OniOS + Nappit, connecté via IB en iSCSI à du Windows 2008 ou 2012r2 ou 8.1 pro, avec Starwind VSan, puis de partager le volume monté via SAMBA avec une Intel 10 GbE XFP+ pour tester avec client en 10 GbE
[*]OniOS + Nappit dans du Hyper-V de Win 2012r2 ou 8.1 Pro et faire de même

On verra ce qui est concluant.

QQ liens avec SMB 3 :
- Why R2? Your Next SAN with SMB 3.02 Scale-out File Servers : http://blogs.technet.com/b/keithmayer/a ... -sofs.aspx
- Windows Server 2012 - How to Scale-Out a File Server using Hyper-V : https://channel9.msdn.com/Shows/TechNet ... ng-Hyper-V
- Scale-Out File Server for Application Data Overview : https://technet.microsoft.com/en-us/lib ... 31349.aspx

Le truc fun à faire également avec 2 racks :
[*]A : 1x rack 4u 24b avec carte mère/cpu/ram/alim/24hdd + 3x contrôleur SAS/SATA + 1x contrôleur SAS/SATA SFF8087 externe + carte IB... sous OmniOS + Nappit
[*]B : 1x rack 4u 24b avec carte mère/cpu/ram/alim/24hdd + carte IB + carte 10GbE... sous Windows 2012r2 ou 8.1 Pro + avec un expander HP sur la carte mère qui va vers les 24hdd

... comme ça en 2 rack on a 2 systèmes qui tournent avec 48 HDD ^^
-> cartes IB du rack A et B reliées entre elles
-> contrôleur SAS/SATA SFF8087 externe du A relié à l'expander du B
-> OmniOs qui gère le ZFS et iSCSI via carte IB du A
-> en B, Windows qui reçoit le iSCSI de la carte IB du A, et via Starwind VSan le connecter pour partager le tout 10 GbE

En gros À sert juste à présenter les disques à B?
J'ai du mal à voir l'utilité j'avoue
A moins que les performances soient vraiment meilleures qu'en virtualisé, et que tu ais VRAIMENT besoin des fonctions de stockage de l'OS du A et de partage de l'OS du B...
L'IB c'est bien, mais c'est quand même des latences en plus, même si c'est sans doute la méthode d'interfaçage la moins coûteuse à ce niveau là. Autant la BP ça pas de souci, même sur les vielles génération, on est toujours un ou deux niveaux au dessus des interfaces réseau de type Éthernet: mais par contre les quelques macro/micro secondes peuvent avoir une vrai influence. Je préfère un truc virtualisé, les latences sont souvent moindre.

Mosie avait fait des tests qui il me semble mettaient en évidence ça avec un système de RamDisk déporté connecté en IB...

le problème avec l'IB c'est la qualité des drivers, sous debian c'est pas top, mais RHEL/centos c'est mieux.

Ca restera toujours plus rapide que du 10G en ethernet et avec une latence moindre

largement mieux RHEL les cluster HPC sont fait avec ca (base RHEL et opti maison ici)

ca en discute un peu la:
http://forum.hardware.fr/hfr/OSAlternat ... 8_9952.htm

même pas jvai lire HFR ... trop de boulets et de mecs qui se gargarisent sur des trucs qu'ils font pas ^^ si c'était un forum de tecos ça se saurait

t'as regardé le topic avant de dire ca???

regarde pas alors je force pas....

ça veut dire quoi IB ?

Infini Band

Sur HFR de temps à autre il y a des trucs bien branlés.
C'est rare, alors quand y en a fait regarder

c'est le cas de ce topic, sinon je ne le citerais pas.

Alors, donc : config identique et retour à Xubuntu 14.04 en reimportant la pool.

Même station et système sur le client windows 8.1, toujours en samba, toujours en 10GbE Intel.

Read : 650 Mo/s
Write : 1080 Mo/s
... toujours avec Blackmagic Speedtest et fichier de 5 Go sur partage samba.

Pour le bricoli du haut, oui Them c'est pour presenter le stockage à B en 2 racks de 24 hdd au lieu de 1 rack 24 hdd + 1 rack jbod 24 hdd + 1 rack pour windows 2012r2 / 8.1

Dans le sens qu'apres ça pourrait etre tout sur une platerforme unique, avec que la carte exepender dans le deuxieme boitier. ça fait economiser une config quoi.

En virtualisant dans Hyper-V OmniOS, oui.

Ca fait parti des tests de novembre.

Mais là déjà les debits poutrent bien mieux sous Xubuntu : version smb 3.4 vs Smb 1 sur OmniOS / ZFSGuru.

Gestions des droits & partage via SAMBA / CIFS sous ZFS On Linux ZOL
-> http://smpfr.mesdiscussions.net/smpfr/B ... tm#t130784
... ZFS est prioritaire sur SMB.

c'est ZFS qui gère le partage samba ici

Pour donner les droits à Windows de les gérer : activer les ACL

[cpp]# zfs set acltype=posixacl yala/pouet[/cpp]

If I wanted to set the acltype back to stock configuration (default), I would do the following (Thanks to DeHackEd from #zfsonlinux freenode channel for letting me know about this):

[cpp]# zfs inherit acltype yala/pouet[/cpp]

POSIX ACLs on ZFS on Linux 0.6.3
=> https://fearedbliss.wordpress.com/2014/ ... nux-0-6-3/

Comme quoi je dis pas que des bêtises

nop mais ca me choquera toujours de faire du cifs avec zfs^^