Questions sur les résultats de bench RAID5

Message par **dricfr** » jeu. 6 août 2009 10:58

Salut les pro,

Comme je recommence à m'intéresser un peu aux systèmes raid, et raid5 en particulier, je me suis amusé à faire différents tests avec le logiciel hdtune. N'y connaissant pas vraiment grand chose je me pose quelques questions sur la relation type raid / taille du strip / taille cluster / taille fichiers [:cereal_killer:6] .

J'ai effectué des tests sur windows 7 RC, avec une lsi megaraid U320-2E qui gère une aire raid5 de 4x36Go U320 15k : latence PCI à fond, cached I/O, write back (par forcément d'intérêt puisque les tests sont en lecture), strip : 64ko.
L'aire raid 5 est décomposée en 2 partitions : 1 formatée par W7 lors de l'installation (40Go), l'autre formatée avec des cluster de 64ko (60Go).
J'ai pris le temps de faire un formatage complet des partitions afin que l'aire soit initialisée.

Ensuite, avec HDtune, j'ai effectué des benchs avec une taille croissante du block de données:
Avec un block de 512 octets, le débit moyen est dans les 8Mo/s
Avec un block de 64k (taille des clusters), le débit moyen est dans les 75 Mo/s
Avec un block de 8Mo, le débit moyen est de 200 Mo/s

J'ai effectué des tests intermédiaires, et globalement, plus les blocs de données sont importants, plus le débit est importants.

Je me suis amusé à faire pareil avec un DD sata "simple" (80Go Maxtor sata1 7200tr), et je retrouve exactement la même tendance jusqu'au débit maximum du DD.

Autre constat concernant le raid5, jusqu'à une taille de bloc de données jusqu'à 4 Mo, la courbe marque une saturation au niveau du débit moyen, voir même une augmentation nette du débit vers la fin de l'aire (les 15 derniers %). C'est peut-être du à un cache qui se vide ?

Je ne vois pas "pourquoi" avec des blocs de données de petite taille le débit et si petit ? Grosso modo, pour un bloc de données de 512Ko, le débit est 150% supérieur au débit d'un bloc de données de 512 octets. (je dis ça à la louche, mais ce doit être dans ces eaux là, 130 à 150%).
D'où vient ce phénomène de saturation ? Est-ce que c'est moi qui ai mal configurée l'aire raid ?

@+

Message par **dsebire** » jeu. 6 août 2009 11:22

quand tu ecris ou lis un bloc sur une aire RAID, tu lis tout le cluster.
donc pour lire 512o, t'es obligé de lire 64ko dans ton cas. le problème est que ton cluster va etre reparti sur les 3 disques (4 -1 de parité)dans les stripes. comme le controleur ne sait lire que des stripes entiers (pour la parité ensuite) tu lis en fait un stripe sur chaque disque donc 192ko

192ko lus pour 512o de données, le rendement est pas top

si c'est de la lecture aléatoire, (non séquentielle) le cache ne sert a rien, resultat, tu te retrouve avec des perfs minables.

la taille du cluster est a choisir en focntion des fichiers que tu vas mettre dessus.
si c'est une majorité de petits fichiers, il faut mettre des petits clusters et inversement.
pareil pour choisir la taille du stripe en focntion de la taille du cluster

en resumé poru avoir des perfs tops:
choisir la taille du cluster.
avoir un nombre de disque impair (bah oui, les divisions par 2 c'est plus simple en binaire) un nombre pair (N) de disque de données + 1 de parité

taille du stripe = taille cluster / N

attention, la taille des stripes a une taille minimale (4 ou 8k en général), donc ne pas choisir une taille de cluster trop petit.

de toute façon, le RAID 5 c pas toppour des petits fichiers. le RAID1 marche 10x mieux pour la lecture ! (load balancing entre les disque donc temps d'acces plus faible)

ces differentes remarques sont valables pour l'ecriture en pire.
en effet, tu es obligé de lire tout un cluster (donc plusieurs stripes) pour pouvoir ecrire une donnée, si petite soit-elle. donc il faut absolument essayer d'accorder taille des clusters avec taille des stripes.

Message par **dricfr** » jeu. 6 août 2009 15:34

quand tu ecris ou lis un bloc sur une aire RAID, tu lis tout le cluster.
donc pour lire 512o, t'es obligé de lire 64ko dans ton cas. le problème est que ton cluster va etre reparti sur les 3 disques (4 -1 de parité)dans les stripes. comme le controleur ne sait lire que des stripes entiers (pour la parité ensuite) tu lis en fait un stripe sur chaque disque donc 192ko

192ko lus pour 512o de données, le rendement est pas top

si c'est de la lecture aléatoire, (non séquentielle) le cache ne sert a rien, resultat, tu te retrouve avec des perfs minables.

la taille du cluster est a choisir en focntion des fichiers que tu vas mettre dessus.
si c'est une majorité de petits fichiers, il faut mettre des petits clusters et inversement.
pareil pour choisir la taille du stripe en focntion de la taille du cluster

en resumé poru avoir des perfs tops:
choisir la taille du cluster.
avoir un nombre de disque impair (bah oui, les divisions par 2 c'est plus simple en binaire) un nombre pair (N) de disque de données + 1 de parité

taille du stripe = taille cluster / N

attention, la taille des stripes a une taille minimale (4 ou 8k en général), donc ne pas choisir une taille de cluster trop petit.

de toute façon, le RAID 5 c pas toppour des petits fichiers. le RAID1 marche 10x mieux pour la lecture ! (load balancing entre les disque donc temps d'acces plus faible)

ces differentes remarques sont valables pour l'ecriture en pire.
en effet, tu es obligé de lire tout un cluster (donc plusieurs stripes) pour pouvoir ecrire une donnée, si petite soit-elle. donc il faut absolument essayer d'accorder taille des clusters avec taille des stripes.

Je ne vois pas trop en quoi lire 192ko pour 512o diminuent les perfs. Les 512o étant contenus dans ce que tu lis. Je voyais plutôt une perte de performance s'il fallait lire plusieurs strip pour 1 gros fichier. Or c'est le contraire. C'est là où des choses m'échappe.
D'autre le part, le temps d'accès est identique suivant la taille du bloc selon le logiciel de test.

Si je comprend bien ce que tu dis, il vaut donc mieux, avec 4 DD, faire un DD avec le système d'exploitation essentiellement constitué de petit fichiers (même si je ne suis pas sur que cela ai beuacoup d'importance avec les différents caches) et surtout un RAID5 avec 3DD. Tiens, je vais essayer ça dans es jours qui suivent et refaire des tests pour voir l'impact.
Une autre question, c'est le partitionnement des aires raid (enfin des disques logqiues pour reprendre le jargon). Celà a-t-il un impact, ou est-ce totalement transparent ? Par exemple, avec des disques de "36 go", n'est-il pas intéressants de faire des partitions de "36 Go" ? Ou vaut-il mieux ne pas faire de partitions ?

Message par **dsebire** » jeu. 6 août 2009 15:46

si tu lis 192ko alors que seulement 512o te sont utiles, ça fait seulement 0.26% de données utiles.
si tu rapporte ça a une array qui sort 200Mo/s en crete, ça te fait un petit Mo/s de debit !!!

la solution de mettre 3 DD au lieu de 4 sera plus optimisée en effet.
je ne dis pas que ça ira plus vite.
si tu ne lis que des gros fichiers, (1go par ex) les differences entre cluster et stripe seront invisibles (de l'ordre de qq ko....) et masqués par le cache (les données d'un gros fichiers sont en général contigues)

comme je le disais au dessus, ça depend de ton utilisation.
si c'est pour du stockage de films de vacances, tu t'en tapes.
4DD, stripes a 64ko, cluster a 64ko aussi, ça ira tres bien.

si tu as des fichiers d'un peu toutes les tailles, avec des accès aleatoire, ça va commencer a jouer.

pour les partition, non, aucune correlation.
les données sont réparties sur les disques donc une partoche de 36Go sur une array de 4 disques remplira 12Go sur chaque (36/(4-1)), et ce sur la meme portion de disque (au debut si c'est la premiere etc...)

Message par **biour** » jeu. 6 août 2009 16:04

1er test de mes Perc 5/i
Raid5 de 4dd sas 2.5" 15kt avec vista 64 dessus et les pilotes par defaut

et j'en cherche 4 autres pour le raid50

Message par **dricfr** » jeu. 6 août 2009 22:41

Biour > sympa

dsebire > En effet, je ne l'avait pas vu comme ça !

J'ai enfin reçu une deuxième nappe. En répartissant les 4 dd sur les deux prises interne de la carte, le gain de débit est notable (+/- 10%, avec des blocs de 8mo -> débit moyen passe de 200 à 220, avec des bloc de 64ko -> débit passe de 75 à 100).

Je vais essayer de me motiver pour faire des tests avec 1 DD en système et raid1,0 et 5 pour les autres DD. juste pour voir ^^'

@+

Message par **paulnux** » ven. 7 août 2009 17:01

Bonjour,
1er test sur Seven de Perc5/i avec 4 4dd 73Go sas HP (seagate rebadgé) 2.5" 15k en raid 5 avec pilote par defaut

Message par **paulnux** » ven. 7 août 2009 20:40

Bizare non

les 3 pics à 68MB/sec

Message par **dricfr** » ven. 7 août 2009 21:00

Alors,

j'ai refais quelques petits tests rapidement.

Un dd U320 15k seul (en raid 0, pas le choix avec le contrôleur) avec des stripe de 4k et des cluster de 4k dessus, arrive à environ 60mo/s de débit, aussi bien pour des blocs de données de 4k que de 8mo
Un raid 5 de 3 dd 15k configuré pareil (strip 4k et cluster 4k) a les mêmes performances.
Par contre, Le même raid 5 avec des strip de 64k arrive à 135 Mo/s pour des blocks de données de 64k.

Au passage, j'ai pu remarquer que pour des strip de 64k et des block de données de 64k sur une partition avec des clusters de 64k, le débit était 30% supérieur à celui du raid5 avec 4 DD. Mais j'ai un doute sur la politique des I/O. D'habitude je les laissent en "Direct", mais j'avais peut-être modifié la conf :/ Si j'ai le courage je retesterais.

J'installe l'os sur un dd à part pour pouvoir modifier/reconfigurer l'aire raid sans avoir à tout réinstaller. J'essaierais de faire des tests plus rigoureux ^^'

Je ne comprends pas trop les résultats de ATTO ? Ca m'a l'air de faire d'un coup ce que je me cogne à faire un à un au niveau de la taille des blocs de données...

@+

Message par **biour** » sam. 8 août 2009 12:52

Bonjour,
1er test sur Seven de Perc5/i avec 4 4dd 73Go sas HP (seagate rebadgé) 2.5" 15k en raid 5 avec pilote par defaut
http://images.mesdiscussions.net/eco/me ... -seven.png

Tu n'a pas d'os dessus?
dans ce cas cela peut expliquer les diff de perf entre nos 2 config identiques

Message par **iori666** » sam. 8 août 2009 13:23

si vous voulez jpeu faire un bench sur mon 2950 avec 4x146 15k sur perc5i (fo me donner les parametres de l'array que vous voulez

)

Message par **biour** » sam. 8 août 2009 16:25

ben ATTO reglé comme nous (cf screen)
et en raid 5 write back + read adapt
le reste par default

Message par **iori666** » sam. 8 août 2009 17:45

raid 5 avec 4 HDD de 146 15k, sous server 2k3 r2 (drivers dell)
Poweredge 2950 / controleur raid sas 5/ir

edit : j'ai pas fait gaffe, mes disques s'exite tout seul, il doit y avoir une reconstruction en cours :/
yen a un qui peu m'interpreter le graph ?

Message par **biour** » sam. 8 août 2009 18:31

bha sa marche pas trop mal

sinon il est possible que ton raid soit en cours de construction

Message par **iori666** » sam. 8 août 2009 18:33

comment tu vois que les perfs sont pas trop movaises?
parceque la toutes ces barres et ces chiffres, spa tres parlant pour moi, chui un gars simple

Message par **biour** » sam. 8 août 2009 18:40

ben tu a deja vue bcp de disque qui tape 600Mo/s ?
moi non

(bon ok le cache y est pour bcp mais avec ces param on le sature tres vite)

Message par **iori666** » sam. 8 août 2009 18:47

demain si j'ai le temp jfait le test avec des disques scsi U320 sur un poweredge 2800 ou un 2850, histoire de comparer
par contre 4 dayday identiques, sa va etre dur de trouver :/

Message par **paulnux** » dim. 9 août 2009 13:25

Tu n'a pas d'os dessus?
dans ce cas cela peut expliquer les diff de perf entre nos 2 config identiques

Non pas d'OS sur le Raid5, Seven est installé sur un Raid1 SAS de la carte mère I5000XT.

Message par **biour** » dim. 9 août 2009 22:30

oki cela peut donc expliqué pourquoi je suis sensiblement moins bon que toi a matos identique

Message par **dricfr** » mar. 11 août 2009 09:35

ben ATTO reglé comme nous (cf screen)
et en raid 5 write back + read adapt
le reste par default

Et, mais, je rappelle que j'ai lancer le sujet avec hdtune ^^'. J'y crois pôa

Message par **paulnux** » mar. 11 août 2009 10:23

Ben on peux faire les deux

Message par **biour** » mar. 11 août 2009 10:30

ben j'ai bien lancer le sujet avec HDtach et il y'a de cela qq années

Message par **X-System** » mar. 11 août 2009 11:14

ben j'ai bien lancer le sujet avec HDtach et il y'a de cela qq années

Avec les 557 messages

Message par **biour** » mar. 11 août 2009 11:40

Yep
Celui ci -> http://smpfr.mesdiscussions.net/smpfr/S ... t_61_1.htm

Posté le 11-10-2004 à 16:11:17

Message par **iori666** » mar. 11 août 2009 13:25

demain si j'ai le temp jfait le test avec des disques scsi U320 sur un poweredge 2800 ou un 2850, histoire de comparer
par contre 4 dayday identiques, sa va etre dur de trouver :/

bon ya un client qui m'a commandé un 2800 avec 3x74 15k et 4x300go 10K.Jferé les test demain ou jeudi, et je poste les screen