Solution logitiel pour Clustering

Message par **belkav** » ven. 30 août 2013 11:29

Salutation à tous,

Pour mon BTS, je suis en train d'étudier un projet de clustering.
Afin de prévenir certaines réponses, je signal que ce projet est hors programme mais j'aime les défis. Si jamais il abouti, je pense que les profs et examinateurs me respecteront un peu plus

Bref, voila l'idée:

Je possède des serveurs en pagaille mais pas très puissant (11 serveurs dual-core et 2 Go de RAM) et je voudrais les rentabiliser.

Les tests seraient fais avec des VMs et je tenterais d'intégré la solution finale sur les petits serveurs.
Ce que je voudrais tenter de faire, c'est un super-serveur unique avec un windows serveur 2008 dessus.

Il est probable que je m'égare sur certains points mais je ne sais pas forcement où chercher.
Il faut savoir que j'ai un SAN d'installé et qui est détecté correctement.

Là où je bloque, c'est quel logiciel qui permettrais d'arriver à ce résultat ?

Message par **TheMartel** » ven. 30 août 2013 11:35

pour windows, c'est pas ouf...
Fouille un peu les décombres du forum, on en avait déjà pas mal parlé il y a deux trois ans je pense. Surtout pour du calcul partagé, mais il y avait deux trois choses d'intéressantes.

Je crois me souvenir qu'a l'époque, coupler purement et simplement des machines n'était pas vraiment possible...

Regarde aussi tout simplement les possibilités de windows server 2012 a ce niveau là, ils ont pas mal avancé, tu auras peut etre des pistes.

Message par **kalistyan** » ven. 30 août 2013 12:46

Info importante, si Windows il te faudra la version Entreprise sinon pas de service cluster...

Message par **gizmo78** » ven. 30 août 2013 12:48

ouaip t'as la fonction cluster sous win enterprise.

sous linux t'as bewolf ou un truc du genre il me semble

Message par **kalistyan** » ven. 30 août 2013 12:52

Le choix de l'os se fera en fonction des services... Un ferme de TSE peut être sympa à monter.

Message par **belkav** » ven. 30 août 2013 14:08

pour windows, c'est pas ouf...
Fouille un peu les décombres du forum, on en avait déjà pas mal parlé il y a deux trois ans je pense. Surtout pour du calcul partagé, mais il y avait deux trois choses d'intéressantes.

Je crois me souvenir qu'a l'époque, coupler purement et simplement des machines n'était pas vraiment possible...

Regarde aussi tout simplement les possibilités de windows server 2012 a ce niveau là, ils ont pas mal avancé, tu auras peut etre des pistes.

Pour le moment j'ai encore rien trouvé.
Aussi, je vais regarder sur du W2012 pour voir ce qu'il fait question cluster

Info importante, si Windows il te faudra la version Entreprise sinon pas de service cluster...

Certes. Etant donné le coup excessif, je voudrais m'orienté sur une solution différente... surement sur du Linux.

ouaip t'as la fonction cluster sous win enterprise.

sous linux t'as bewolf ou un truc du genre il me semble

Je vais regarder ce que fait bewolf

Le choix de l'os se fera en fonction des services... Un ferme de TSE peut être sympa à monter.

Ben, c'est pour avoir un PC/serveur unique au final

Message par **Zedoune** » ven. 30 août 2013 14:15

Je te conseille Beowolf aussi, y a même un article dans BSD magazine qui explique comment faire avec Dragonfly BSD

Par contre, tu risques d'être déçu hein... Le clustering, c'est pas magique.

Message par **poulpito** » ven. 30 août 2013 14:19

non c'est loin d'être magique et la cumulation de ressource n'est pas réellement possible

le mieux c'est un bon ordonnanceur qui balance des trucs aux machines clients et qui recompile les resultats après comme un cluster de rendu pour de la 3D ou équivalent

Message par **belkav** » ven. 30 août 2013 14:20

Je sais que c'est pas magique le clustering...
J'y bosse depuis 3 jours et j'ai meme pas fais le quart nécessaire... je fais ça essentiellement par curiosité

Message par **Zedoune** » ven. 30 août 2013 14:24

C'est quoi l'objectif final (applicatif / service) ?
Y a des trucs, ça marche paaaaaaaaaaaaaaaaas du tout en cluster comme ça (SGDB classique), d'autres oui (mongodb, hbase, redis, serveur web)

Message par **poulpito** » ven. 30 août 2013 14:25

tu gagnerai peut être à faire un projet plus design infra complet avec stockage distribué etc type cloud

c'est a la mode et c'est bien valorisant sur un CV en ce moment

Message par **belkav** » ven. 30 août 2013 14:26

L'objectif principal est orienté serveur web mais suivant mes serveurs, un ESXi pourrait aussi être implémenté

Message par **belkav** » ven. 30 août 2013 14:26

tu gagnerai peut être à faire un projet plus design infra complet avec stockage distribué etc type cloud c'est a la mode et c'est bien valorisant sur un CV en ce moment

C'est prévu mais dans un autre projet

Message par **nidosaur** » ven. 30 août 2013 15:18

L'objectif principal est orienté serveur web mais suivant mes serveurs, un ESXi pourrait aussi être implémenté

j'ai pas trop compris ce que tu voulais faire avec tes machines mais si tu t'orientes sur du serveur web , c'est peut etre de la haute dispo que tu veux mettre en place ?!?si c'est le cas j'ai des idées

Aprés vouloir faire du serveur web avec un win2kX c'est une hérésie

Message par **kalistyan** » ven. 30 août 2013 15:24

Avec 11 machines à dispo... Y a moyen de toucher à pas mal de choses...

Message par **belkav** » ven. 30 août 2013 15:27

Pour mon BTS, il est demandé de faire un serveur web en HA donc dans tous les cas, il sera fait.
Comme je suis 4000000000^2222222% d'accord avec toi que c'est une hérésie, je partierais sur un bon petit débian (je vais bientot chercher une bonne doc pour faire de la HA car je me suis pas encore penché sur ce problème)

là, c'est plutot un petit bonus que je m'accorde. Si j'arrive à faire du clustering, je pourrais adapter le tout sur ce que je souhaite.
Disons que ce que je recherche au final, c'est une adaptation du clustering pour de l'ESXi

Message par **kalistyan** » ven. 30 août 2013 15:32

Va falloir booster en RAM les machines.

Message par **belkav** » ven. 30 août 2013 15:38

Avec 2 Go, ca tournera, y'aurait pas grand chose dessus et ils ne seront pas sollicités beaucoup

Message par **kalistyan** » ven. 30 août 2013 15:46

Euh... Un ESXi avec 2 Go ?

Message par **nidosaur** » ven. 30 août 2013 15:51

Pour mon BTS, il est demandé de faire un serveur web en HA donc dans tous les cas, il sera fait.
Comme je suis 4000000000^2222222% d'accord avec toi que c'est une hérésie, je partierais sur un bon petit débian (je vais bientot chercher une bonne doc pour faire de la HA car je me suis pas encore penché sur ce problème)

là, c'est plutot un petit bonus que je m'accorde. Si j'arrive à faire du clustering, je pourrais adapter le tout sur ce que je souhaite.
Disons que ce que je recherche au final, c'est une adaptation du clustering pour de l'ESXi

moi je te propose comme solution c'est de mettre 7 machines sur de l'ESXI et 4 en physique.
Les 2 plus grosses machines physique (max cpu mémoire et carte réseaux), tu montes les disques et tu fais du bon gros serveur NFS de compet avec un ou plusieurs volume DRBD pour répliquer les datas, (une ip de service et un failover via hearthbeat mon)
2 machines physiques, tu t'en sers pour faire du LB ISP (elles peuvent peut être être virtualisées)
sur tes esxi, tu montes les datastores sur les serveurs NFS (ip de service)
pour la partie hébergement tu montes
- 3 vm persona xtra db cluster (équivalent mysql),
- 3 vm apache (montage des sites en NFS)
- 2 vm varnish
- 2 vm lb ltm
- si tu as besoin de DB non relationnel 3 vm mongodb
tu profites de la licence ESXI a 60 jours pour toutes les fonctionnalités HA de vmware
a ta place au lieu de debian , je partirais sur ubuntu, package plus récent !
et je pense que tu as une infra correct

Message par **Zedoune** » ven. 30 août 2013 15:51

FreeBSD avec HAST + CARP pour de la haute dispo

Message par **nidosaur** » ven. 30 août 2013 15:55

FreeBSD avec HAST + CARP pour de la haute dispo

HAST c'est DRBD ou DRBD c'est HAST ? la conf semble pareil !

Message par **Zedoune** » ven. 30 août 2013 15:56

HAST c'est DRBD ou DRBD c'est HAST ? la conf semble pareil !

Ca fait la même chose, mais ce sont deux logiciels différents : DRDB -> Linux, HAST -> FreeBSD
Par contre, HAST pour le moment gère peut-être pas plus de 2 node pour un partage.

Message par **nidosaur** » ven. 30 août 2013 16:01

drbd 8 c'est 2 nodes sync + 1 async possible, en v9 ca sera du multinode, j ai vu qu'elle est sorti en test mais pas testé (et je sais pas si le multinode est reellement implémenté)

Message par **belkav** » mar. 17 sept. 2013 16:06

Bon, je remonte le topic car j'ai testé HAproxy pour mon BTS et cela fonctionne relativement bien. C'est une solution de load balancing classique imposé pour le BTS mais il fonctionne correctement pour le moment.
Ceux qui connaissent, je veux bien un piti retour de ce truc alc