SMPFR

Salut tt le monde !

J'aimerais avoir des retours sur les bénéfices d'avoir beaucoup de RAM dans un serveur de fichiers..

Celui-ci devrais avoir 4x réseau Giga Intel en pci-X, le tout en bridge connecté sur la station (win-XP 32 bits qui dispose que de 3 Go de ram seulement).

Pour l'instant le serveur dispose de 8Go de RAM (et bientot 2 de plus sous Linux 64 bits)... et devrais partager des volumes en ISCSI (je pense, à débattre) avec la station.

Comme c'est pour du montage vidéo en HD, les fichiers transférés (ou accédés) sont assès volumineux (entre 100Mo et 2Go en moyenne).

Je vais pouvoir m'attendre à quoi comme perf... le cache RAM Linux va fonctionner comme il faut en ISCSI ou il faut que je reste en SMBFS ?

La station de montage vidéo est une bi xeon 3,8Ghz 2Mo et le serveur de fichier un bi xeon 3,4Ghz. 1Mo. ça devrais le faire non ?

Une grande partie de mon matos est plus là... donc je peux pas tester moi même... c'est pour ça que je demande des retours.

de memoire un transfert ne demande pas bcp de memoire mais plus souvent du temps CPU

du temps CPU ou si tu as une belle carte contrôleur, elle peux prendre en charge les ressources pour le transfert. Donc beaucoup de ram ne te servira à rien, une carte de qualité oui

je dois avoir 2*512 sur le mien qui ne servent à rien ...

pour te dire en cours de transfert sur le gigabit ... donc a fond
ca tire 100Mo avec linux + tout

Pareil, j'avais 2GB mais ca servait pas a grand chose, j'ai piqué 1GB pour mettre ailleurs et ca tourne toujours aussi bien qu'avant ...

Donc bon ... serveur de fichiers qui a des volumes iscsi et qui les partagent en CIFS (serveur windows) avec une corbeille reseau, un gestionnaire de quotas et des scripts pour les droits en cas de besoin.

Ben c'étais parce qu'avec linux, si tu as lu une fois un fichier, il est dispo dans le cache en mem vive :

total used free shared buffers cached
Mem: 2028768 1900852 127916 0 258192 973236

là j'ai 973236 octets qui ont été lu et qui seront immédiatemnt dispo si re-lecture.

Sur cette bécane d'exemple j'ai que 2go.. mais j'avais remarqué qu'avec de la RAM en plus, plus de fichiers restaient en cache.

d'où ma question. pour de multiples accès aux même fichiers, c'est mieux d'avoir beaucoup de RAM non.. ?

Pour l'occupation CPU lors des transfers je connais, c'est pourquoi je met 2 cartes réseau Intel bi giga sur pci-X de chaque coté pour pas avoir de goulet.

Bon j' m'explique.

Lors d'un montage vidéo, tu peux avoir quelques giga de "rushs" (le film brut) qui sont régulièrement lu par le programme de montage.

En général, tu ne te sers que de 1/3 de ce que tu as tourné.. mais il faut souvent les parcourir car le montage final ne sera pas forcément monté dans le même ordre d'images que lors de leur acquisition.

Donc ton programme n'arrète pas de lire et de relire des fichiers sans les modifier. Les "cuts" se font soit logicièlement, soit tu crée un sous-clip plus petit pour pouvoir travailler avec. En fait, on modifie jamais un fichier de "rush". si on le modifie on crée une copie à chaque fois.

Pour 15 minutes de montage, tu peux donc avoir une vingtaine de fichiers de quelques méga-octets à 200Mo à lire et relire sans cesse.

La bécane sous Windows XP 32 bits (à cause du logiciel utilisé qui passe pas en 64bits) je n'ai que 3Go de ram.. et presque pas de cache.. les DD grattent donc sans arret et ça ralenti vachement le montage.

Je me disais que si j'avais un serveur avec un gros cache (10Go), mes fichiers resteraient en cache tout le temps et je galèrerais moins quand je navique dans tout ces fichiers.

Edit : et si j'utilise un serveur plutot qu'un Iram, c'est parce que dans mon serveur je peux aussi faire tourner un MySQL et un machine virtuelle avec un win32 dedans pour faire un noeud de cluster de montage video.

meme avec un truck de 2 gigabits, tu va etre quand meme sacrement limité par le LAN.
t'as quoi comme disque derriere ? (actuellement et apres sur ton serveur de stockage)

le risque que tu as c'est d'avoir une latence monstrueuse a cause du reseau qui te fera perdre en perfs par rapport a un disque :/

Ca devrais faire un truck de 4Gb (2x 1 carte de 2 x 1gb).

Pour la latence, je vais voir si je peux pas mettre aussi du 1x giga en FC.. mais j'ai pas encore trouvé les plilotes TCP/IP sous windows pour les Emulex.

Le serveur de ficher aura 2x80Go RAID 0 en SATA pour les perfs (partagés en SMBFS et NFSV3) et 4 x 120Go IDE en RAID5 pour le stockage (NFSV3 et SMBFS).
Et 4x78Go en SCSI U320 en raid 0 pour les volumes partageables en ISCSI uniquement (enfin si je fais du ISCSI...).

J'ai aussi 4*80 Go en raid0 sur la station (raid soft) pour les fichiers temporaires en plus du 180Go IDE pour système et sauvegarde des projets en cours.

Pour les sauvegardes j'utilise des DD externes.. un chez moi et un chez beau papa.. comme ça même si la maison brule j'ai encore mes fichiers.

À titre d'information, j'étais en train de copier mes données sur un autre disque dur, et j'ai remarqué que la consommation de ram augmente pendant le transfert ! Bizarre non ?

Le graph en vert en haut c'est l'utilisation de la ram, ça a commencé à monter dès le début du transfert

et le proc à ce moment là ?
je pense à un swap mais je me trompe peut-être
quelle est la commande permettant de voir la quantité de ram occupée ?

Bon j'ai testé avec le matos suivant :

Station portable P4 à 2Ghz 2Go de RAM et réseau giga. (un seul lien giga donc)
Serveur, bi xeon 3,4Ghz 1Mo de cache et 8Go de ram.


temps de chargement d'un projet comportant 172 fichiers video dans Vegas 7. (taille total 4,4Go)

en iscsi : 1 minute 5 sec
en iscsi, mais avec le buffer du serveur vide (reboot du serveur) : 1 min 18 secondes.
en smbfs 1 minute et 20 sec.
en smbfs, mais avec le cache du serveur vide (reboot du serveur) : 1 min 47 secondes.

les résultats sont reproductibles..

Le DD de test sur le serveur est un bête IDE annonçant 43Mo/sec avec hdparm.

Un hdtune sur le volume iscsi sur la station donne : Average, 32Mo/sec Temps d'acces, 7,7ms.

Pout l'utilisation CPU, je dépasse jamais les 10%...

Taille totale des données transmises : 1,4Go.. taille du cache annoncé par linux : 1,7Go...

Toute la RAM est occupée apres de multiples essais, soit en buffer soit en cache !

Le iscsi utilise le "buffer" de linux et smbfs le "cache" selon top.

Je suis limité par le débit de ma carte réseau de mon portable.. c'est déjà bien 32Mo/sec...

La conclusion est : le cache ou le buffer de linux fonctionne donc bel et bien même pour plusieurs giga octets !

Kronick => dans une console tu entre "top". pour en savoir plus : man top

et le proc à ce moment là ?
je pense à un swap mais je me trompe peut-être
quelle est la commande permettant de voir la quantité de ram occupée ?

C'est pas du swap qui est utilisé
Sur mon image, c'est écrit: swap: 0k used

Et le cpu est un peu utilisé car les fichiers sources sont sur du raid 5 logiciel

Ouaip, c'est comme moi.. c'est les champs "buffer" et "cache" qui suivent le transfert. C'est de ça dont je parlais.

Au prochain accès au fichier, si celui-çi n'a pas été modifier, il sera lu dans la ram mais pas sur le disque; donc plus rapidement.

J'ai malheureusement pas deux interfaces giga sur mon portable.. car sinon j'auris un meilleur débit que le DD lui même.. on aurais tout de suite vu.

Je me suis remonté un XP pour tests avec une carte réseau Bi Giga intel mais sur PCI 32 bits seulement..

Je passe à 45 sec pour le chargement du projet de test. La station est presque équivalente au portable.. Athlon 2800+ et DDR 400 de 2Go.

Hdtune annonce les même perfs que si le DD est en direct, soit 44Mo/sec; mais utilisation à 28% du CPU.

donc c'est plus rapide sous xp ?

Non non.. j'étais déjà sous XP avec mon portable.. le serveur est toujours sous Linux Suse 11.1 en 64 bits. c'est une station que j'ai remonté en XP car je pouvais pas mettre deux cartes réseau giga en bridge sur mon portable..

Le cache des fichiers sous linux fonctionne donc tres bien quand il y a beaucoup de RAM derrière.

Edit : de toutes manières, je pourrais plus rien tester maintenant, je suis en train de tout démonter ce qui me reste car je déménage le premier lundi de mars.

Toute la RAM est occupée apres de multiples essais, soit en buffer soit en cache !

Le iscsi utilise le "buffer" de linux et smbfs le "cache" selon top.

depuis des années je fais cette constatation quel que soit le linux utilisé : plus tu lui donne de ram, plus il en utilise

la distrib championne de la consommation etant ( l'affreuse ) Mandriva

et moins il utilise de swap du coup ...
alors que Windows lui en utilise toujours un minimum

(attention, ceci n'est pas de l'amorçage de troll, j'exprime juste mon ressenti)

Sous Linux, attention aussi que les FS en RAM (tmpfs, ...) sont par défaut configurés pour occuper la moitié de la RAM !!!

Du coup, au prix ou est la RAM faut pas se priver...

D'ailleurs j'ai un pb.. j'avais trouvé 2 go supp sur le forum. mais si je les met la mobo boot plus ( quand elle a les 8 slots peuplés).

Si je change l'ordre des barette elle boot, mais dis qu'il y a un pb de peuplement et enleve d'office 6Go de ram pour n'afficher que 4Go.

Je reste donc à 8Go (2x2Go + 4x1Go).. je serais bien passé à 10...dommage.

J'avais touve des barettes neuves de 2Go à 25 euros piece, mais j'ai plus de sous... mrd.

depuis des années je fais cette constatation quel que soit le linux utilisé : plus tu lui donne de ram, plus il en utilise

la distrib championne de la consommation etant ( l'affreuse ) Mandriva

pourquoi il pourrait pas ?
au plus t'as de trucs en ram, au moins t'en as sur le disque dur, et au plus c'est rapide

la différence étant que windoze est une grosse bouse pour ce qui est de rendre la mémoire quand il faut
un linux, tu le sens pas trop swapper.
un windoze ne swappe jamais, sauf quand c'est trop tard, et la tu attends parfois 2 minutes avant qu'il te rende la main...

la sur mon kde, j'ai 421mo de ram utilisée, pour firefox, konsole, kopete et amarok (plus des services qui ne bouffent rien, vu qu'ils attendent les connexions). et ca me pose pas de soucis, parce que je sais que je peux monter à 80% de la ram utilisée sans pour autant que mon système devienne inutilisable

attention, je n'ai rien contre
mais cela devient génant dans le cas où tu as un pilote mal écrit ( genre y'a qq années j'ai eu le cas pour un pilote NIC intel Pro 1000 qui avait un defaut communément appelé "memory leak" ) ou un programme ecrit comme un cochon qui mute en threads zombies ou autres, ta ram oqp grimpe grimpe grimpe et ne se libère jamais

Du coup, au prix ou est la RAM faut pas se priver...

D'ailleurs j'ai un pb.. j'avais trouvé 2 go supp sur le forum. mais si je les met la mobo boot plus ( quand elle a les 8 slots peuplés).

Si je change l'ordre des barette elle boot, mais dis qu'il y a un pb de peuplement et enleve d'office 6Go de ram pour n'afficher que 4Go.

Je reste donc à 8Go (2x2Go + 4x1Go).. je serais bien passé à 10...dommage.

J'avais touve des barettes neuves de 2Go à 25 euros piece, mais j'ai plus de sous... mrd.

peut etre probleme alim ...

Ouaip, je vais tenter de trouver un magasin d'info d'occasion à Osaka.. je vais me prendre une alim de bourrin genre 700w..

Je te dirais si ça boot plus.

en tout cas sur la doc de ma CM il est bien indiqué si les 8 emplacement son rempli faut prendre le modele au dessus d'alimention ...il parle pas de quantité mais bien de slot rempli...