[SONDAGE] ZFS / ZIL / Type SSD

Message par **Zedoune** » lun. 9 mai 2016 15:28

Dans ton tableau, à quelle ligne correspond les Iops ?

total time * 1000 / per-request statistics (avg) => request / seconde ?

Message par **gizmo78** » lun. 9 mai 2016 15:38

je ne crois pas que sysbench puisse sortir les iops.

Bonnie ++ peut être, faudrait que je regarde

Message par **kvm** » lun. 9 mai 2016 21:14

Bonnie ça renvoie les iops c'est sûr.

Message par **gizmo78** » lun. 9 mai 2016 23:20

bon je vais voir pour faire joujou avec bonnie++ demain

Message par **augur1** » lun. 9 mai 2016 23:43

Message par **gizmo78** » mar. 10 mai 2016 13:24

Bon alors voila ce que ca donne:

Raid 0 4*146Go 10K:

root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   101  99 288160  60 49961  11   250  82 261287  19 343.1  26
Latency               109ms     206ms    4038ms    2108ms     208ms     600ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 15749  94 +++++ +++ 15251  97 14320  98 +++++ +++ 15448  99
Latency             26239us    1690us    1716us   51733us      15us     130us
1.97,1.97,openstack,1,1462892850,63G,,101,99,288160,60,49961,11,250,82,261287,19,343.1,26,16,,,,,15749,94,+++++,+++,15251,97,14320,98,+++++,+++,15448,99,109ms,206ms,4038ms,2108ms,208ms,600ms,26239us,1690us,1716us,51733us,15us,130us

Raid 0 4*74Go 15K:

root@openstack:~# bonnie++ -d /mnt/tank2 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   100  99 379535  72 83280  19   305  97 420317  29 593.6  31
Latency               104ms     195ms     695ms     235ms     224ms     298ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 16956  98 +++++ +++ 15891  99 15340  98 +++++ +++ 17009  99
Latency             25199us    1688us    1759us   50605us      11us     133us
1.97,1.97,openstack,1,1462863572,63G,,100,99,379535,72,83280,19,305,97,420317,29,593.6,31,16,,,,,16956,98,+++++,+++,15891,99,15340,98,+++++,+++,17009,99,104ms,195ms,695ms,235ms,224ms,298ms,25199us,1688us,1759us,50605us,11us,133us

Message par **gizmo78** » mar. 10 mai 2016 14:17

Raidz 4*74Go 15K:

root@openstack:~# bonnie++ -d /mnt/tank2 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G    94  99 277790  67 70010  17   278  88 274354  22 220.6  19
Latency               148ms   74531us     913ms     639ms     463ms     325ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2365  23 +++++ +++  6578  43  5928  36 +++++ +++  4679  34
Latency             25557us    1698us    1757us   19004us      20us     247us
1.97,1.97,openstack,1,1462864205,63G,,94,99,277790,67,70010,17,278,88,274354,22,220.6,19,16,,,,,2365,23,+++++,+++,6578,43,5928,36,+++++,+++,4679,34,148ms,74531us,913ms,639ms,463ms,325ms,25557us,1698us,1757us,19004us,20us,247us

Raidz 4*146Go 10K:

root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G    95  99 215251  55 29246   7   273  86 227249  17 207.2  15
Latency             88171us   64476us    6067ms     835ms    1036ms     527ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 15602  91 +++++ +++ 17233  98 14949  98 +++++ +++ 17269  99
Latency             25213us    1529us    1603us   51532us      51us     132us
1.97,1.97,openstack,1,1462864313,63G,,95,99,215251,55,29246,7,273,86,227249,17,207.2,15,16,,,,,15602,91,+++++,+++,17233,98,14949,98,+++++,+++,17269,99,88171us,64476us,6067ms,835ms,1036ms,527ms,25213us,1529us,1603us,51532us,51us,132us

Message par **gizmo78** » mar. 10 mai 2016 14:21

explication des résultats:
https://www.jamescoyle.net/how-to/599-b ... and-bonnie

voir à la fin de l'article

Message par **gizmo78** » mar. 10 mai 2016 14:54

Si je récap (d'après le lien juste au dessus):

IOps:
Raid 0 146: 343
Raid 0 74: 593
RaidZ 146: 220
RaidZ 74: 207

Bizarre la diff quand même en raid 0 mais je pense que j'ai un disque de 146Go qui fatigue.

Message par **Zedoune** » mar. 10 mai 2016 14:59

faudrait un bench des disques seuls pour comparer efficacement non ?

Message par **augur1** » mar. 10 mai 2016 15:02

Ou un pb de ashift ?

Message par **gizmo78** » mar. 10 mai 2016 15:14

Z: c'est prévus

j'ai juste pas d'accès ssh au taff...

augur: je n'ai pas touché à ce paramètre. sur xtba j'ai lu vos échanges la dessus mais je me suis pas penché plus que ca sur le sujet

Message par **gizmo78** » mar. 10 mai 2016 21:29

un disque de 146Go:

root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...

done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   643  98 55907   6 27339   3  1733  59 60790   3  86.7   4
Latency             13533us    1849ms    4951ms     411ms    3021ms     721ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 10093  15 +++++ +++ +++++ +++ 32456  49 +++++ +++ +++++ +++
Latency               458us     546us    1109us     789us      14us    1037us

un disque de 74Go:

root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   370  58 54232   6 24975   3  1055  37 69858   4 281.2  17
Latency              1068ms    3703ms    5223ms     435ms     639ms     812ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 22574  33 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
Latency               771us     543us    1557us     516us      65us    1030us

Message par **kvm** » mar. 10 mai 2016 22:51

86 IOPS sur un 10k ça fait peu... et 281 IOPS sur un 15k ça fait un peu beaucoup

Message par **gizmo78** » mer. 11 mai 2016 09:40

ouais c'est ce que je me suis dis aussi

Message par **augur1** » dim. 15 mai 2016 23:31

What does it mean that ZFS is included in Debian?
-> https://bits.debian.org/2016/05/what-do ... debian.org

Message par **gizmo78** » mar. 17 mai 2016 12:53

Deux petites questions:
- le ashift est à surveiller que sur du raidz1/2? pas en mirror?
- fragmentation 12% moyen de réduire ca? un coup de scrub?

merci

Message par **poulpito** » mar. 17 mai 2016 13:48

nop scrub ne fait rien
et à ma connaissance (que j'ai pas update récemment) pas de moyen hors
backup destroy recreate

Message par **gizmo78** » mar. 17 mai 2016 14:08

okay c'est bien ce qui me semblait.

mon constat: j'ai eu beau augmenter le arc, les IOWait explosent, c'est juste que les disques sont à fond et du coup ca ralentit le cpu.

Donc passage avec un L2ARC/ZLOG sur ssd comme testé avant histoire de décharger un peu les disques.

Message par **augur1** » ven. 20 mai 2016 17:34

C'est beau : http://www.supermicro.com/products/moth ... -7TP4F.cfm
... 520 € !

Message par **augur1** » lun. 12 sept. 2016 09:13

Microserver Proliant NL40, 5x 2 To WD Green, IBM Br10i flashé LSI IT
[*]mars 2012 : OpenIndiana 151 + Napp-It
[*]novembre 2014 : shutdown
[*]septembre 2016 : start / Xubuntu 16.04.1 + Napp-It

=> import de la Pool
..... & rock'n rocks ^^

Message par **biour** » mar. 20 déc. 2016 13:11

augur?
http://everycity.co.uk/alasdair/2010/07 ... s-receive/

tu en pense quoi ?

Message par **Zedoune** » mar. 20 déc. 2016 13:43

https://dataswamp.org/~solene/article-mbuffer.html

je sais pas si c'est clair sur mon blog, si vous voulez des explications sur mbuffer hésitez pas, c'est cool comme programme

Message par **biour** » mar. 20 déc. 2016 13:45

Merci jeune fille

Message par **Zedoune** » mar. 20 déc. 2016 13:57

c'est surtout utile si t'as de la ram et que le programme qui absorbe les données est plus lent que celui qui envoie les données.

Dans certain cas, le programme qui envoie peut se retrouver bloqué car le programme qui consomme est lent, mais dès que celui qui consomme devient de nouveau disponible celui qui envoie peut se retrouver dans une phase de lenteur. Avec mbuffer, disons que l'émetteur a toujours un coup d'avance sur les données à fournir au consommateur. Typiquement, dans mon exemple de base de données, pendant que la nouvelle base ajoute les données le dump d'origine s'arrête, et dès qu'il peut transmettre des données il perd du temps car il doit se préparer à dumper la prochaine table et ça prend du temps, pendant ce temps la nouvelle base ne fait plus rien. Avec mbuffer, il y a toujours des données en attente dedans et ça évite des blocages du dump.