Xfs sur une grappe Raid ?

Message par **Tadeus** » lun. 18 janv. 2010 16:26

Salut à tous,

La situation:

1 Grappe raid 6 de 14 disques de 1 To (cache du controlleur activé, cache des disques désactivé, stripe size de 256 Ko)

Je teste avec spew: http://linux.die.net/man/1/spew

Procédure de test:

spew --raw -b 256k -u=M -d -i=4 5G /mnt/Stockage/TEST2

Pour monter les disques:

mount -o nobarrier /dev/sdb1 /mnt/Stockage

Je lis bien les manuels et j'en déduis la commande suivante pour ma config:

mkfs.xfs -d sunit=512,swidth=7168 -f /dev/sdb1

xfs_info me donne

meta-data=/dev/sdb1 isize=256 agcount=11, agsize=268435392 blks
= sectsz=512 attr=2
data = bsize=4096 blocks=2928660983, imaxpct=5
= sunit=64 swidth=896 blks
naming =version 2 bsize=4096
log =internal bsize=4096 blocks=32768, version=2
= sectsz=512 sunit=64 blks, lazy-count=0
realtime =none extsz=4096 blocks=0, rtextents=0

Les tests donne:

Iteration: 1 Total runtime: 00:00:19
WTR: 274.68 MB/s Transfer time: 00:00:19 IOPS: 1047.81

Iteration: 1 Total runtime: 00:00:27
RTR: 652.35 MB/s Transfer time: 00:00:08 IOPS: 2488.53

Iteration: 2 Total runtime: 00:00:47
WTR: 275.20 MB/s Transfer time: 00:00:19 IOPS: 1049.79

Iteration: 2 Total runtime: 00:00:55
RTR: 663.05 MB/s Transfer time: 00:00:08 IOPS: 2529.34

Iteration: 3 Total runtime: 00:01:14
WTR: 282.99 MB/s Transfer time: 00:00:18 IOPS: 1079.51

Iteration: 3 Total runtime: 00:01:22
RTR: 668.40 MB/s Transfer time: 00:00:08 IOPS: 2549.75

Iteration: 4 Total runtime: 00:01:42
WTR: 266.39 MB/s Transfer time: 00:00:20 IOPS: 1016.19

Iteration: 4 Total runtime: 00:01:50
RTR: 641.98 MB/s Transfer time: 00:00:08 IOPS: 2448.96

J'essaye de formatter la partition en laissant tout par défaut:

mkfs.xfs -f /dev/sdb1

meta-data=/dev/sdb1 isize=256 agcount=11, agsize=268435455 blks
= sectsz=512 attr=2
data = bsize=4096 blocks=2928660983, imaxpct=5
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096
log =internal bsize=4096 blocks=32768, version=2
= sectsz=512 sunit=0 blks, lazy-count=0
realtime =none extsz=4096 blocks=0, rtextents=0

Les test donnent:

Iteration: 1 Total runtime: 00:00:22
WTR: 243.45 MB/s Transfer time: 00:00:22 IOPS: 928.71

Iteration: 1 Total runtime: 00:00:29
RTR: 677.11 MB/s Transfer time: 00:00:07 IOPS: 2582.99

Iteration: 2 Total runtime: 00:00:51
WTR: 248.73 MB/s Transfer time: 00:00:21 IOPS: 948.82

Iteration: 2 Total runtime: 00:00:59
RTR: 688.18 MB/s Transfer time: 00:00:07 IOPS: 2625.20

Iteration: 3 Total runtime: 00:01:21
WTR: 243.59 MB/s Transfer time: 00:00:22 IOPS: 929.22

Iteration: 3 Total runtime: 00:01:28
RTR: 708.97 MB/s Transfer time: 00:00:07 IOPS: 2704.49

Iteration: 4 Total runtime: 00:01:52
WTR: 232.66 MB/s Transfer time: 00:00:23 IOPS: 887.51

Iteration: 4 Total runtime: 00:01:59
RTR: 758.01 MB/s Transfer time: 00:00:07 IOPS: 2891.59

Bref, bilan, l'optimisation d'Xfs me fait très légèrement gagner en écriture mais me fait perdre vraiment beaucoup en lecture... quelqu'un à une idée, cause probable ?

Message par **Albator78** » mer. 20 janv. 2010 19:46

Ta partition est-elle alignée sur 256 Ko ? (elle devrait démarrer au secteur n°512 pour l'être)

Au niveau du formattage, comme tu es en raid-6, tu as 14 disques soit 12 de données et 2 de parité (si je me gourre pas). Donc ton swidth devrait être 512 * 12 = 6144 et non pas 7168 ...

Message par **Tadeus** » ven. 29 janv. 2010 14:57

Tu as tout à fait raison pour le swidth

Bien vu

Pour la partition, je peux pas la faire commencer avant 17,4 kb.

Cependant, voila les reglages que j'ai fait pour le moment:

Adaptec 51645
NCQ désacitvé (si je l'active, problème de timeout, scsi hang ? -> et crash complet)
256K de stripe size
Batterie présente
Cache des disques désactivés
Cache du controleur Activé en lecture et écriture

Si j'ai le malheur d'activer le NCQ, le controleur se crash apres ces messages: scsi hang ? aac0...

Apres pas mal de recherche, j'ai appris que le timeout était en cause...

( -> http://lists.freebsd.org/pipermail/free ... 35612.html par exemple)

Le seul hic c'est que même en mettant un timeout élevé, le problème ne se résoud pas. Qui plus est, je n'arrive pas à modifier la queue_depth de /sys/block/sdb/device/queue_depth ou le type de queue... :/
A chaque fois que je modifie le fichier, il reprend sa valeur d'origine en quelques secondes...

Du coup, sans le NCQ, je tourne à environ:

Iteration: 1 Total runtime: 00:00:05
WTR: 184.22 MB/s Transfer time: 00:00:05 IOPS: 702.75

Iteration: 3 Total runtime: 00:00:22
RTR: 570.01 MB/s Transfer time: 00:00:01 IOPS: 2174.42

Si quelqu'un à une idée de comment regler la carte avec le NCQ, je suis preneur

(je pense qu'en modifiant la profondeur de queue, ca doit pouvoir aider... mais je sais pas comment la changer)

Systeme: Debian Lenny sur un noyau 2.6.32

Message par **Zedoune** » ven. 29 janv. 2010 17:28

j'ai une petite question, pourquoi utiliser XFS plutot qu'un autre plus répandu ?

Message par **Albator78** » ven. 29 janv. 2010 21:10

Le driver aacraid d'adaptec est toujours aussi stable à ce que je vois

j'avais déja eu tout un tas de problème il y a qques années ...

Je te suggère de voir si adaptec ne fournit pas un driver aacraid plus récent que celui du noyau linux directement sur son site... en général, les drivers adaptec dans le noyau sont des versions anciennes modifiées pour continuer à fonctionner sur des noyaux récents.

Pour l'alignement de ta partition, je te suggère de la faire débuter à 256 Ko (au secteur n°512).

Quand aux réglages queue_depth et queue_type, à priori ils ne sont pas applicables aux disques "raid hardware".

Message par **Tadeus** » ven. 29 janv. 2010 23:10

Je tourne déjà sur la dernière version du pilote :/ (24900)

Xfs me semble le plus adapté pour une aussi grosse partition...

Message par **gizmo78** » ven. 29 janv. 2010 23:23

fat32

xD

Message par **poulpito** » sam. 30 janv. 2010 14:03

pourquoi pas l'ext4 ?