[SONDAGE] ZFS / ZIL / Type SSD

Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

Dans ton tableau, à quelle ligne correspond les Iops ?
total time * 1000 / per-request statistics (avg) => request / seconde ?
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

je ne crois pas que sysbench puisse sortir les iops.

Bonnie ++ peut être, faudrait que je regarde
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par kvm »

Bonnie ça renvoie les iops c'est sûr.
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

bon je vais voir pour faire joujou avec bonnie++ demain :)
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

:bounce:
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

Bon alors voila ce que ca donne:

Raid 0 4*146Go 10K:
root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   101  99 288160  60 49961  11   250  82 261287  19 343.1  26
Latency               109ms     206ms    4038ms    2108ms     208ms     600ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 15749  94 +++++ +++ 15251  97 14320  98 +++++ +++ 15448  99
Latency             26239us    1690us    1716us   51733us      15us     130us
1.97,1.97,openstack,1,1462892850,63G,,101,99,288160,60,49961,11,250,82,261287,19,343.1,26,16,,,,,15749,94,+++++,+++,15251,97,14320,98,+++++,+++,15448,99,109ms,206ms,4038ms,2108ms,208ms,600ms,26239us,1690us,1716us,51733us,15us,130us
Raid 0 4*74Go 15K:
root@openstack:~# bonnie++ -d /mnt/tank2 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   100  99 379535  72 83280  19   305  97 420317  29 593.6  31
Latency               104ms     195ms     695ms     235ms     224ms     298ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 16956  98 +++++ +++ 15891  99 15340  98 +++++ +++ 17009  99
Latency             25199us    1688us    1759us   50605us      11us     133us
1.97,1.97,openstack,1,1462863572,63G,,100,99,379535,72,83280,19,305,97,420317,29,593.6,31,16,,,,,16956,98,+++++,+++,15891,99,15340,98,+++++,+++,17009,99,104ms,195ms,695ms,235ms,224ms,298ms,25199us,1688us,1759us,50605us,11us,133us
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

Raidz 4*74Go 15K:
root@openstack:~# bonnie++ -d /mnt/tank2 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G    94  99 277790  67 70010  17   278  88 274354  22 220.6  19
Latency               148ms   74531us     913ms     639ms     463ms     325ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2365  23 +++++ +++  6578  43  5928  36 +++++ +++  4679  34
Latency             25557us    1698us    1757us   19004us      20us     247us
1.97,1.97,openstack,1,1462864205,63G,,94,99,277790,67,70010,17,278,88,274354,22,220.6,19,16,,,,,2365,23,+++++,+++,6578,43,5928,36,+++++,+++,4679,34,148ms,74531us,913ms,639ms,463ms,325ms,25557us,1698us,1757us,19004us,20us,247us
Raidz 4*146Go 10K:
root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G    95  99 215251  55 29246   7   273  86 227249  17 207.2  15
Latency             88171us   64476us    6067ms     835ms    1036ms     527ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 15602  91 +++++ +++ 17233  98 14949  98 +++++ +++ 17269  99
Latency             25213us    1529us    1603us   51532us      51us     132us
1.97,1.97,openstack,1,1462864313,63G,,95,99,215251,55,29246,7,273,86,227249,17,207.2,15,16,,,,,15602,91,+++++,+++,17233,98,14949,98,+++++,+++,17269,99,88171us,64476us,6067ms,835ms,1036ms,527ms,25213us,1529us,1603us,51532us,51us,132us
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

explication des résultats:
https://www.jamescoyle.net/how-to/599-b ... and-bonnie

voir à la fin de l'article
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

Si je récap (d'après le lien juste au dessus):

IOps:
Raid 0 146: 343
Raid 0 74: 593
RaidZ 146: 220
RaidZ 74: 207

Bizarre la diff quand même en raid 0 mais je pense que j'ai un disque de 146Go qui fatigue.
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

faudrait un bench des disques seuls pour comparer efficacement non ?
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Ou un pb de ashift ?
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

Z: c'est prévus :) j'ai juste pas d'accès ssh au taff...

augur: je n'ai pas touché à ce paramètre. sur xtba j'ai lu vos échanges la dessus mais je me suis pas penché plus que ca sur le sujet
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

un disque de 146Go:
root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...

done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   643  98 55907   6 27339   3  1733  59 60790   3  86.7   4
Latency             13533us    1849ms    4951ms     411ms    3021ms     721ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 10093  15 +++++ +++ +++++ +++ 32456  49 +++++ +++ +++++ +++
Latency               458us     546us    1109us     789us      14us    1037us
un disque de 74Go:
root@openstack:~# bonnie++ -d /mnt/tank1 -r 32165 -u root
Using uid:0, gid:0.
Writing a byte at a time...done
Writing intelligently...done
Rewriting...done
Reading a byte at a time...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.97       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
openstack       63G   370  58 54232   6 24975   3  1055  37 69858   4 281.2  17
Latency              1068ms    3703ms    5223ms     435ms     639ms     812ms
Version  1.97       ------Sequential Create------ --------Random Create--------
openstack           -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 22574  33 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
Latency               771us     543us    1557us     516us      65us    1030us
kvm
Messages : 871
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par kvm »

86 IOPS sur un 10k ça fait peu... et 281 IOPS sur un 15k ça fait un peu beaucoup :D

gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

ouais c'est ce que je me suis dis aussi :D
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

What does it mean that ZFS is included in Debian?
-> https://bits.debian.org/2016/05/what-do ... debian.org
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

Deux petites questions:
- le ashift est à surveiller que sur du raidz1/2? pas en mirror?
- fragmentation 12% moyen de réduire ca? un coup de scrub?

merci :)
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

nop scrub ne fait rien
et à ma connaissance (que j'ai pas update récemment) pas de moyen hors
backup destroy recreate
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

okay c'est bien ce qui me semblait.

mon constat: j'ai eu beau augmenter le arc, les IOWait explosent, c'est juste que les disques sont à fond et du coup ca ralentit le cpu.

Donc passage avec un L2ARC/ZLOG sur ssd comme testé avant histoire de décharger un peu les disques.
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Microserver Proliant NL40, 5x 2 To WD Green, IBM Br10i flashé LSI IT
[*]mars 2012 : OpenIndiana 151 + Napp-It
[*]novembre 2014 : shutdown
[*]septembre 2016 : start / Xubuntu 16.04.1 + Napp-It

=> import de la Pool
..... & rock'n rocks ^^ :)
Avatar de l’utilisateur
biour
Messages : 24064
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par biour »

Image
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

https://dataswamp.org/~solene/article-mbuffer.html

je sais pas si c'est clair sur mon blog, si vous voulez des explications sur mbuffer hésitez pas, c'est cool comme programme
Avatar de l’utilisateur
biour
Messages : 24064
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par biour »

:love:
Merci jeune fille :jap:
Image
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

c'est surtout utile si t'as de la ram et que le programme qui absorbe les données est plus lent que celui qui envoie les données.

Dans certain cas, le programme qui envoie peut se retrouver bloqué car le programme qui consomme est lent, mais dès que celui qui consomme devient de nouveau disponible celui qui envoie peut se retrouver dans une phase de lenteur. Avec mbuffer, disons que l'émetteur a toujours un coup d'avance sur les données à fournir au consommateur. Typiquement, dans mon exemple de base de données, pendant que la nouvelle base ajoute les données le dump d'origine s'arrête, et dès qu'il peut transmettre des données il perd du temps car il doit se préparer à dumper la prochaine table et ça prend du temps, pendant ce temps la nouvelle base ne fait plus rien. Avec mbuffer, il y a toujours des données en attente dedans et ça évite des blocages du dump.
Répondre