[FIN] Filer , ZFS , How to ... Help please

Message par **yullito** » lun. 8 juil. 2013 10:35

mouai encore des trucs démesurés qui sont exploités à 10%

+1

Message par **kalistyan** » jeu. 11 juil. 2013 14:25

Salut, désolée de vous décevoir mais ...

Message par **gizmo78** » jeu. 11 juil. 2013 14:31

la dame est parmi nous

Message par **yullito** » jeu. 11 juil. 2013 14:43

bienvenue sur le forum dans tous les cas .

et bienvenue a tous les conseils , pistes et autres que tu pourras donner concernant ZFS

Message par **poulpito** » jeu. 11 juil. 2013 15:27

Ouai déjà bienvenue

Salut, désolée de vous décevoir mais ...
Je suis passée il y a quelques temps déjà a une solution Lustre sur ZFS.
Grosso modo, l'idée est de monter un serveur spécifique pour les logs, un serveur spécifique pour le cache et un filer jbod avec plein de disques pas forcément rapides (le nombre de disque donne les IO)

Les besoins ayant motivé cette migration sont le fait de devoir avoir accès aux volumes depuis plusieurs machines (lustre est un FS distribué) parce que le client est passé d'un environnement virtu a un environnement physique. L'autre avantage est qu'on abstrait totalement la couche de liaison (c'est lustre, donc du soft, qui expose les partages) et donc niveau couche de liaison je suis passée de liaisons multiples FC a des liaisons agrégées infiniband quad channel en QDR.

uhmm luste serveurs séparés ...

uhmm ok déjà + un IB QDR qui doit être du 4x si on suit la logique du plus commun = des liens 32Gbs d'interconnect en simple et au moins en agrégées le double sinon c'est pas intéressant

sortie des plus grosses offre de big data ^^ je pense toujours que c'est du useless
c'est comme nos carte IB 12X QDR soit 96Gbits/sec ou le client va mettre derrière 2 carte 10Gbits et quelques fibres

USELESSSSSSS mais ca nous rapporte du fric

et toi tu te fais plaisir avec MysterieuseX

Dans tous les cas ca me fait toujours marrer de voir le ZFS ou équivalent de baie JBOD type fuji envahir le marché alors qu'il y depuis 10piges c'était les barbus qui tournaient avec (raid soft que ce soit zfs mdadm et cie) et tous les autres qui ne juraient que par le raid hardware

barbus 4ever

Message par **poulpito** » ven. 12 juil. 2013 08:28

Me disait bien que j'avais déjà vu ce genre de truc

j'avais pas fait attention au titre \o/ powerpc inside !!

pour les IB les limitations dont j'entends parler sont effectivement souvent côté CM et à chaque fois c'est sur du x86 ^^ côté powerpc on connait pas trop
les cartes IB / 10Gb sont directement liées au bus CPU pour éviter les intermédiaire trop gourmands

joli matos en tout cas

par contre
[quote]Problème que je rencontre actuellement c'est le manque de parallélisme des protocoles mis en place, que ça soit lustre ou ZFS, au dessus de 2 cores rapide, ça sert a rien et j'ai déjà se qui se fait de plus gros dans la catégorie. D'ou le lustre

Message par **leon57** » ven. 12 juil. 2013 11:37

Bonjour MysterieuseX,

Bienvenue parmi nous.

Très très sympa ce que tu fais,

Je comprend mieux le fait que tu ai un monstre à la maison, mêlé l'utile à l'agréable c'est bien mieux

Juste par curiosité, dans quelle domaine bosse ton client pour avoir des besoins de ce type?

Message par **mosie** » ven. 12 juil. 2013 11:58

Mouwep.

Agrégation de config soft interco IB ou autre, tu vas tellement agréger de lien, que tu va compenser la perte d'IO/latence par un poutrage en bandwidth.
Qui te permettra d'avoir une monter en débit rapide.

Mais erf la perte d'efficience, et limitation IO/reactivité max

Persso je suis plus en faveur d'archi monolithique.

''Le RAID hard, c'est rapide, mais t'es limité au nombre de ports''

Quelque tite areca 28port + xpander ...

Pour les interco, que se soit PC, IB .... ca reste de l'empaquetage certes hard, géré par chip contrôleur, mais ca casse toute les IO/latence, durement payer en amont

Donc limité ne nombre de config/interco ....

les cartes IB / 10Gb sont directement liées au bus CPU pour éviter les intermédiaire trop gourmands

Te la péte pas toi :O

Message par **Jul77** » ven. 12 juil. 2013 12:11

perso je comprends rien

Message par **gizmo78** » ven. 12 juil. 2013 13:23

Les FS, les drivers ou autre sont très peu parallélisés, et sont très peu parallélisable, donc en gros IPC > nombre de coeurs. Et a partir d'un certain nombre d'IOPS (et donc, par extension de disques), les charges processeurs explosent quand on as une volumétrie importante. Lustre permet d'avoir plusieurs machines sur lesquelles répartir la charge => a volumétrie équivalente (au dessus de 100 TO on va dire) le coût de mise en place de lustre devient plus intéressant que de mettre en place des gros CPU rapides et des filer qui coûtent la peau des nénés. Plus tu abstrait, plus c'est chiant a mettre en place/maintenir, mais plus tu monte en performance.
Le RAID hard, c'est rapide, mais t'es limité au nombre de ports. Volumes soft + jbod, tu gagne, mais t'es limité au niveau CPU (ZFS, FS distribué pour san "classique"), ensuite tu peu abstraire encore plus via exposition iSCSI ou FC, mais tu limite sur l'interco, dernier palier en date donc, tu abstrait l'interco via Lustre.

j''suis amoureux

blague à part, ton métier me fait rêver (tes connaissances aussi mais chut

)

Message par **mosie** » ven. 12 juil. 2013 14:05

j''suis amoureux

Preum's

Message par **c0bw3b** » ven. 12 juil. 2013 14:49

http://fr.wikipedia.org/wiki/Vautour_fauve

Bienvenue sur SMP MysterieuseX !! Big

pour tes archis et le niveau de compétence qui va avec.

Message par **poulpito** » ven. 12 juil. 2013 14:55

+1 vautour fauve !

me demande quand même pour qui tu bosse à faire des archi pareilles

tu veux pas venir chez nous ?

parce que vu la daube du hardware maison qu'ils mettent dans certains cluster ca pourrait pas faire de mal

OUAI QUOI ! je sais vautour aussi mais technique

jme sens seul à avoir des configs à la maison pour le taff

ceci dit lundi faudra que je papote un peu pour voir ces histoire de lustre j'en ai pas entendu parlé

parce que ca m'étonne un poil cette problématique de // des process alors que c'est justement fait pour

Message par **mosie** » ven. 12 juil. 2013 14:55

Bah faut s'y atendre quoi.

Une nana qui rox sur smpfr, CF: http://smpfr.mesdiscussions.net/smpfr/B ... _712_1.htm

Message par **gizmo78** » ven. 12 juil. 2013 15:05

je zieute pas mal ses postes sur hfr aussi ^^ que ce soit dans blabla osa ou dans la cat pro (la c'est souvent drôle xD)

Message par **gizmo78** » ven. 12 juil. 2013 15:32

bla² est bien pour ca justement ^^

ca fait plaisir de lire des personnes qui touchent bien!!!

Message par **poulpito** » ven. 12 juil. 2013 15:36

on a eu le même genre de démarche sur une bécane (je bosse QUE dans le hard

le soft je regarde de loin ) pour faire du traitement de facturation - décompte data 3G - avec une obligation de latence très faible

la logique est allée à la maîtrise du placement des LPAR au sein des cabinet CPU/MEM/IO de la machine pour grappiller chaque ms récupérable mode effet NUMA ++ et impact des syscall IO en remote aussi

Message par **kalistyan** » ven. 12 juil. 2013 15:57

j''suis amoureux
Preum's

[:alyssa -]

Message par **dsebire** » ven. 12 juil. 2013 15:59

pour une fois qu'il y a une fifille sur le forum, il vont la faire fuir !!!

un peu de finesse (euh.....) dans ce monde de brutes

Message par **kalistyan** » ven. 12 juil. 2013 16:07

ils sont largués et sont pro "blackbox ou qu'on sait rien de se qui y'a dedans alors c'est l'intégrateur qui gère"

Ils achètent une solution, un service. Tout comme ton client.

En décodant cela donne => ils sont largués (ton client...) => l'intégrateur (toi)

Par ailleurs, combien êtes vous à maîtriser l'infra chez ton client ?