ZFS probleme de débit en Lecture

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

ZFS probleme de débit en Lecture

Message par Moimemeici »

Bonjour
j'ai un soucis assez énervant avec ZFS
J'ai un réseau 10gbe

J'ai une grappe zfs raidz1 composé de 3 disque x 3 sous grappe.
Je suis sous Debian avec ZfsOnLinux
J'ai un taux transfert qui atteind les 300Mo/s en écriture
Mais mon taux de transfert en Lecture débute à 300Mo/s et s’effondre au bout d'un moment sur les gros fichier dépassant les 4Go...
Je ne sais pas trop comment résoudre ce problème ...

Donc Si vous pouviez m'aider ça serait vraiment cool .

Amicalement

gizmo78
Messages : 16838
Inscription : ven. 12 janv. 2018 17:44

Re: ZFS probleme de débit en Lecture

Message par gizmo78 »

t'as quoi comme ram? occupation cpu?

Avatar de l’utilisateur
poulpito
Messages : 11438
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: ZFS probleme de débit en Lecture

Message par poulpito »

tu as quoi comme contrôleur sas/sata ? tu as vérifié la vitesse de tes disques dans dmesg ?
option de ton volume ? (compression surtout)

tu as cherché quoi comme pistes avant de demander :p

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

Bonjour,
J'ai 32 GO de ECC.
J'ai une occupation de 812Mo / 32 GO
Intel Xeon E5-2420 v2 Occupation on pourrait même pas 10%
Contrôleur LSI M1015 (il y a mieux ?)

Vitesse SSD :


/dev/disk/by-id/ata-CT120BX500SSD1_1936E19865EB:
Timing cached reads: 18818 MB in 1.99 seconds = 9444.15 MB/sec
Timing buffered disk reads: 820 MB in 3.00 seconds = 273.05 MB/sec

/dev/disk/by-id/ata-CT120BX500SSD1_1936E19872BC:
Timing cached reads: 18464 MB in 1.99 seconds = 9265.90 MB/sec
Timing buffered disk reads: 820 MB in 3.00 seconds = 272.90 MB/sec

/dev/disk/by-id/ata-CT120BX500SSD1_1936E19872BF:
Timing cached reads: 18540 MB in 1.99 seconds = 9304.23 MB/sec
Timing buffered disk reads: 820 MB in 3.00 seconds = 273.01 MB/sec
Vitesse DD
/dev/disk/by-id/ata-ST2000DL003-9VT166_5YD0Z93M:
Timing cached reads: 18334 MB in 1.99 seconds = 9200.74 MB/sec
Timing buffered disk reads: 380 MB in 3.00 seconds = 126.47 MB/sec

/dev/disk/by-id/ata-ST2000DM001-1CH164_Z1E3LZT4:
Timing cached reads: 18548 MB in 1.99 seconds = 9307.89 MB/sec
Timing buffered disk reads: 548 MB in 3.00 seconds = 182.38 MB/sec

/dev/disk/by-id/ata-ST2000DM001-1CH164_Z1E6T3P9:
Timing cached reads: 18568 MB in 1.99 seconds = 9317.67 MB/sec
Timing buffered disk reads: 512 MB in 3.01 seconds = 170.28 MB/sec

/dev/disk/by-id/ata-ST2000DM008-2FR102_WFL34AS3:
Timing cached reads: 18014 MB in 1.99 seconds = 9039.06 MB/sec
Timing buffered disk reads: 650 MB in 3.01 seconds = 216.15 MB/sec

/dev/disk/by-id/ata-ST2000DM008-2FR102_WFL34B3F:
Timing cached reads: 18524 MB in 1.99 seconds = 9296.68 MB/sec
Timing buffered disk reads: 660 MB in 3.00 seconds = 219.79 MB/sec

/dev/disk/by-id/ata-ST2000DM008-2FR102_WFL34BY7:
Timing cached reads: 18388 MB in 1.99 seconds = 9226.90 MB/sec
Timing buffered disk reads: 660 MB in 3.01 seconds = 219.34 MB/sec

/dev/disk/by-id/ata-ST2000DM008-2FR102_WFL34C1N:
Timing cached reads: 18310 MB in 1.99 seconds = 9188.04 MB/sec
Timing buffered disk reads: 644 MB in 3.01 seconds = 214.24 MB/sec

/dev/disk/by-id/ata-WDC_WD20EARS-00J2GB0_WD-WCAYY0133434:
Timing cached reads: 17848 MB in 1.99 seconds = 8955.62 MB/sec
Timing buffered disk reads: 290 MB in 3.00 seconds = 96.60 MB/sec

/dev/disk/by-id/ata-WDC_WD20EARX-00PASB0_WD-WMAZA7329293:
Timing cached reads: 18288 MB in 1.99 seconds = 9176.01 MB/sec
Timing buffered disk reads: 374 MB in 3.01 seconds = 124.13 MB/sec
Je vois que j'ai 3 DD qui sont à la rue dans la grappe ... (Mince, je ne pensais pas qu'il était aussi à la rue)
zfs get all test
NAME PROPERTY VALUE SOURCE
test type filesystem -
test creation Mon Feb 17 11:51 2020 -
test used 31.5G -
test available 10.5T -
test referenced 128K -
test compressratio 1.03x -
test mounted yes -
test quota none default
test reservation none default
test recordsize 128K default
test mountpoint /test default
test sharenfs off default
test checksum off local
test compression lz4 local
test atime off local
test devices on default
test exec on default
test setuid on default
test readonly off default
test zoned off default
test snapdir hidden default
test aclinherit restricted default
test createtxg 1 -
test canmount on default
test xattr sa local
test copies 1 default
test version 5 -
test utf8only off -
test normalization none -
test casesensitivity sensitive -
test vscan off default
test nbmand off default
test sharesmb off default
test refquota none default
test refreservation none default
test guid 11041537946356084486 -
test primarycache all default
test secondarycache all default
test usedbysnapshots 0B -
test usedbydataset 128K -
test usedbychildren 31.5G -
test usedbyrefreservation 0B -
test logbias latency default
test objsetid 54 -
test dedup off default
test mlslabel none default
test sync disabled local
test dnodesize legacy default
test refcompressratio 1.00x -
test written 128K -
test logicalused 32.7G -
test logicalreferenced 42K -
test volmode default default
test filesystem_limit none default
test snapshot_limit none default
test filesystem_count none default
test snapshot_count none default
test snapdev hidden default
test acltype off default
test context none default
test fscontext none default
test defcontext none default
test rootcontext none default
test relatime off default
test redundant_metadata all default
test overlay off default
test encryption off default
test keylocation none default
test keyformat none default
test pbkdf2iters 0 default
test special_small_blocks 0 default
test omvzfsplugin:uuid 449cc98b-62cc-4e64-b559-c4a1002e62ae local
Après j'ai tenté pas mal de modification comme:

vi /etc/modprobe.d/zfs.conf
options zfs zfs_arc_min=12884901888
options zfs zfs_arc_max=25769803776
options zfs zfs_vdev_async_read_min_active=1
options zfs zfs_vdev_async_read_max_active=1
options zfs zfs_prefetch_disable=1
options zfs zfs_vdev_cache_bshift=17
options zfs zfs_vdev_async_read_max_active=12
options zfs zfs_vdev_async_read_min_active=12
options zfs zfs_vdev_async_write_max_active=12
options zfs zfs_vdev_async_write_min_active=12
options zfs zfs_vdev_sync_read_max_active=12
options zfs zfs_vdev_sync_read_min_active=12
options zfs zfs_vdev_sync_write_max_active=12
options zfs zfs_vdev_sync_write_min_active=12

J'ai fait un test en créant un pool qu'avec les bon "Disque Dur", c'est toujours pareil en Lecture les premiers temps du transfert ce passe bien Et d'un coup le transfert s'écroule pour plafonner jusqu'à la fin.

Image

gizmo78
Messages : 16838
Inscription : ven. 12 janv. 2018 17:44

Re: ZFS probleme de débit en Lecture

Message par gizmo78 »

EARS/EARX c'est des disques à 5400/5900 rpm, les autres c'est des 7200 si je dis pas de bêtises donc déjà, ça va pas aider.

avant de tester par le réseau, monte ton volume zfs en local et test une copie avec dd d'un gros fichier

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

Tu aurais la commande dd que je ne fasse pas d'erreur stp ?

gizmo78
Messages : 16838
Inscription : ven. 12 janv. 2018 17:44

Re: ZFS probleme de débit en Lecture

Message par gizmo78 »

un truc du genre :
dd if=/dev/zero of=/tmp/test.file bs=1G count=20 oflag=direct

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

dd if=/dev/zero of=/test/perf/test.file bs=1G count=20 oflag=direct
20+0 records in
20+0 records out
21474836480 bytes (21 GB, 20 GiB) copied, 13.0288 s, 1.6 GB/s

gizmo78
Messages : 16838
Inscription : ven. 12 janv. 2018 17:44

Re: ZFS probleme de débit en Lecture

Message par gizmo78 »

dd if=/dev/random of=/tmp/test.file bs=1G count=40 oflag=direct

et avec ça? car la y a du cache en ram pour avoir ce débit

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

pour le coup cela donne rien ... 0kb

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

dd if=/dev/zero of=/test/perf/perf/test.file bs=1G count=40 oflag=direct
40+0 records in
40+0 records out
42949672960 bytes (43 GB, 40 GiB) copied, 35.1115 s, 1.2 GB/s

Avatar de l’utilisateur
poulpito
Messages : 11438
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: ZFS probleme de débit en Lecture

Message par poulpito »

et du coup tu peux tester en lecture ? maintenant que tu as déjà fait l'écriture
dd if=/test/perf/perf/test.file of=/dev/null bs=1G

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

dd if=/test/perf/perf/test.file of=/dev/null bs=1G
40+0 records in
40+0 records out
42949672960 bytes (43 GB, 40 GiB) copied, 12.6417 s, 3.4 GB/s

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

j'ai tenté d'utiliser iPerf
Client connecting to 192.168.0.18, TCP port 5001
TCP window size: 2.82 MByte (default)
------------------------------------------------------------
[ 3] local 192.168.0.7 port 59650 connected with 192.168.0.18 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 3.33 GBytes 2.86 Gbits/sec

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

Je met pour information j'ai une carte QLogic 57810 (2 port) (a priori)
Pourquoi ai je autant de port ?
02:00.0 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.1 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.2 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.3 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.4 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.5 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.6 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
02:00.7 Ethernet controller: Broadcom Limited NetXtreme II BCM57810 10 Gigabit Ethernet Multi Function (rev 10)
D’ailleurs je ne peux pas mettre un jumboframe de 9000

gizmo78
Messages : 16838
Inscription : ven. 12 janv. 2018 17:44

Re: ZFS probleme de débit en Lecture

Message par gizmo78 »

sur du 10G t'as pas besoin

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

OK pour le jumboframe ...
je cherche toujours ... mon problème de performance en lecture ...

Avatar de l’utilisateur
poulpito
Messages : 11438
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: ZFS probleme de débit en Lecture

Message par poulpito »

autant de ports c'est peut être que tu as SRIO-V activé et qu'elle est déjà virtualisée ?

sinon la tout de suite hormis un soucis sur l'autre machine qui copie (ou le réseau) je vois pas
celle la tu as bien 1+Gbs ecriture et 3+ en lecture donc ....

Iperf3(ouai pas le normal) tu fais un coup en -P10 -R et un coup juste avec le -P10 ca te permet de tester les 2 sens avec 10thread de test si tu veux avoir ta pleine capacité

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

J'ai un début de réponse,

Le ssd intel ssd6p flanche lors de gros transfert ...
ce qui n'est pas le cas sur un autre ssd ...

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

Dans votre fichier zfs.conf...
Vous avez mis quelques choses pour amélioré les Perfs ?

Avatar de l’utilisateur
poulpito
Messages : 11438
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: ZFS probleme de débit en Lecture

Message par poulpito »

rien du tout pourquoi tu veux modifier ... tes perfs sont bonnes la xD

gizmo78
Messages : 16838
Inscription : ven. 12 janv. 2018 17:44

Re: ZFS probleme de débit en Lecture

Message par gizmo78 »

clairement! à part désactiver la compression/déduplication j'ai rien fais d'autre

Avatar de l’utilisateur
poulpito
Messages : 11438
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: ZFS probleme de débit en Lecture

Message par poulpito »

pareil dédup/compression
SIL/Zlog t'apporteront rien vu les gros transfert et en passant la ram pareil 32Go ca sert que si tu fais de la dédup pour ... 32To (on size 1G/1T)
sinon pour juste du transfert de fichier 8Gb ca suffit dans tousss les cas

Moimemeici
Messages : 29
Inscription : dim. 28 janv. 2018 12:47

Re: ZFS probleme de débit en Lecture

Message par Moimemeici »

Il y'a surtout des fichiers qui vont de 1mo à 6mo, après il y a beaucoup d'accès car je voudrais qu'on n'utilise plus de disque interne au PC/MAC et qu'on travaille sur le serveur directement.

Avatar de l’utilisateur
poulpito
Messages : 11438
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

Re: ZFS probleme de débit en Lecture

Message par poulpito »

dans ce cas oui tu met un SSD ou mieux un NVME en pour cache et log ca aide vraiment les perfs pour des petits fichiers accédés souvent
surtout si y'a pas mal d'accès concurrents
et oui virer dédup/compression qui bouffe pas mal de ram / cpu

Répondre