Page 1 sur 2

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 11:29
par belkav
Salutation à tous,

Pour mon BTS, je suis en train d'étudier un projet de clustering.
Afin de prévenir certaines réponses, je signal que ce projet est hors programme mais j'aime les défis. Si jamais il abouti, je pense que les profs et examinateurs me respecteront un peu plus :o

Bref, voila l'idée:

Je possède des serveurs en pagaille mais pas très puissant (11 serveurs dual-core et 2 Go de RAM) et je voudrais les rentabiliser.

Les tests seraient fais avec des VMs et je tenterais d'intégré la solution finale sur les petits serveurs.
Ce que je voudrais tenter de faire, c'est un super-serveur unique avec un windows serveur 2008 dessus.

Il est probable que je m'égare sur certains points mais je ne sais pas forcement où chercher.
Il faut savoir que j'ai un SAN d'installé et qui est détecté correctement.

Là où je bloque, c'est quel logiciel qui permettrais d'arriver à ce résultat ?

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 11:35
par TheMartel
pour windows, c'est pas ouf...
Fouille un peu les décombres du forum, on en avait déjà pas mal parlé il y a deux trois ans je pense. Surtout pour du calcul partagé, mais il y avait deux trois choses d'intéressantes.

Je crois me souvenir qu'a l'époque, coupler purement et simplement des machines n'était pas vraiment possible...



Regarde aussi tout simplement les possibilités de windows server 2012 a ce niveau là, ils ont pas mal avancé, tu auras peut etre des pistes.

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 12:46
par kalistyan
Info importante, si Windows il te faudra la version Entreprise sinon pas de service cluster...

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 12:48
par gizmo78
ouaip t'as la fonction cluster sous win enterprise.

sous linux t'as bewolf ou un truc du genre il me semble

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 12:52
par kalistyan
Le choix de l'os se fera en fonction des services... Un ferme de TSE peut être sympa à monter.

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:08
par belkav
pour windows, c'est pas ouf...
Fouille un peu les décombres du forum, on en avait déjà pas mal parlé il y a deux trois ans je pense. Surtout pour du calcul partagé, mais il y avait deux trois choses d'intéressantes.

Je crois me souvenir qu'a l'époque, coupler purement et simplement des machines n'était pas vraiment possible...



Regarde aussi tout simplement les possibilités de windows server 2012 a ce niveau là, ils ont pas mal avancé, tu auras peut etre des pistes.
Pour le moment j'ai encore rien trouvé.
Aussi, je vais regarder sur du W2012 pour voir ce qu'il fait question cluster
Info importante, si Windows il te faudra la version Entreprise sinon pas de service cluster...
Certes. Etant donné le coup excessif, je voudrais m'orienté sur une solution différente... surement sur du Linux.
ouaip t'as la fonction cluster sous win enterprise.

sous linux t'as bewolf ou un truc du genre il me semble
Je vais regarder ce que fait bewolf :)
Le choix de l'os se fera en fonction des services... Un ferme de TSE peut être sympa à monter.
Ben, c'est pour avoir un PC/serveur unique au final

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:15
par Zedoune
Je te conseille Beowolf aussi, y a même un article dans BSD magazine qui explique comment faire avec Dragonfly BSD :)

Par contre, tu risques d'être déçu hein... Le clustering, c'est pas magique.

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:19
par poulpito
non c'est loin d'être magique et la cumulation de ressource n'est pas réellement possible

le mieux c'est un bon ordonnanceur qui balance des trucs aux machines clients et qui recompile les resultats après comme un cluster de rendu pour de la 3D ou équivalent :)


Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:20
par belkav
Je sais que c'est pas magique le clustering...
J'y bosse depuis 3 jours et j'ai meme pas fais le quart nécessaire... je fais ça essentiellement par curiosité

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:24
par Zedoune
C'est quoi l'objectif final (applicatif / service) ?
Y a des trucs, ça marche paaaaaaaaaaaaaaaaas du tout en cluster comme ça (SGDB classique), d'autres oui (mongodb, hbase, redis, serveur web)

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:25
par poulpito
tu gagnerai peut être à faire un projet plus design infra complet avec stockage distribué etc type cloud :) c'est a la mode et c'est bien valorisant sur un CV en ce moment ;)

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:26
par belkav
L'objectif principal est orienté serveur web mais suivant mes serveurs, un ESXi pourrait aussi être implémenté

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 14:26
par belkav
tu gagnerai peut être à faire un projet plus design infra complet avec stockage distribué etc type cloud :) c'est a la mode et c'est bien valorisant sur un CV en ce moment ;)
C'est prévu mais dans un autre projet

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:18
par nidosaur
L'objectif principal est orienté serveur web mais suivant mes serveurs, un ESXi pourrait aussi être implémenté
j'ai pas trop compris ce que tu voulais faire avec tes machines mais si tu t'orientes sur du serveur web , c'est peut etre de la haute dispo que tu veux mettre en place ?!?si c'est le cas j'ai des idées :p

Aprés vouloir faire du serveur web avec un win2kX c'est une hérésie :D

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:24
par kalistyan
Avec 11 machines à dispo... Y a moyen de toucher à pas mal de choses...

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:27
par belkav
Pour mon BTS, il est demandé de faire un serveur web en HA donc dans tous les cas, il sera fait.
Comme je suis 4000000000^2222222% d'accord avec toi que c'est une hérésie, je partierais sur un bon petit débian (je vais bientot chercher une bonne doc pour faire de la HA car je me suis pas encore penché sur ce problème)

là, c'est plutot un petit bonus que je m'accorde. Si j'arrive à faire du clustering, je pourrais adapter le tout sur ce que je souhaite.
Disons que ce que je recherche au final, c'est une adaptation du clustering pour de l'ESXi

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:32
par kalistyan
Va falloir booster en RAM les machines. ;)

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:38
par belkav
Avec 2 Go, ca tournera, y'aurait pas grand chose dessus et ils ne seront pas sollicités beaucoup

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:46
par kalistyan
Euh... Un ESXi avec 2 Go ?

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:51
par nidosaur
Pour mon BTS, il est demandé de faire un serveur web en HA donc dans tous les cas, il sera fait.
Comme je suis 4000000000^2222222% d'accord avec toi que c'est une hérésie, je partierais sur un bon petit débian (je vais bientot chercher une bonne doc pour faire de la HA car je me suis pas encore penché sur ce problème)

là, c'est plutot un petit bonus que je m'accorde. Si j'arrive à faire du clustering, je pourrais adapter le tout sur ce que je souhaite.
Disons que ce que je recherche au final, c'est une adaptation du clustering pour de l'ESXi
moi je te propose comme solution c'est de mettre 7 machines sur de l'ESXI et 4 en physique.
Les 2 plus grosses machines physique (max cpu mémoire et carte réseaux), tu montes les disques et tu fais du bon gros serveur NFS de compet avec un ou plusieurs volume DRBD pour répliquer les datas, (une ip de service et un failover via hearthbeat mon)
2 machines physiques, tu t'en sers pour faire du LB ISP (elles peuvent peut être être virtualisées)
sur tes esxi, tu montes les datastores sur les serveurs NFS (ip de service)
pour la partie hébergement tu montes
- 3 vm persona xtra db cluster (équivalent mysql),
- 3 vm apache (montage des sites en NFS)
- 2 vm varnish
- 2 vm lb ltm
- si tu as besoin de DB non relationnel 3 vm mongodb
tu profites de la licence ESXI a 60 jours pour toutes les fonctionnalités HA de vmware
a ta place au lieu de debian , je partirais sur ubuntu, package plus récent !
et je pense que tu as une infra correct :)

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:51
par Zedoune
FreeBSD avec HAST + CARP pour de la haute dispo

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:55
par nidosaur
FreeBSD avec HAST + CARP pour de la haute dispo
HAST c'est DRBD ou DRBD c'est HAST ? la conf semble pareil !

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 15:56
par Zedoune

HAST c'est DRBD ou DRBD c'est HAST ? la conf semble pareil !
Ca fait la même chose, mais ce sont deux logiciels différents : DRDB -> Linux, HAST -> FreeBSD
Par contre, HAST pour le moment gère peut-être pas plus de 2 node pour un partage.

Solution logitiel pour Clustering

Publié : ven. 30 août 2013 16:01
par nidosaur
drbd 8 c'est 2 nodes sync + 1 async possible, en v9 ca sera du multinode, j ai vu qu'elle est sorti en test mais pas testé (et je sais pas si le multinode est reellement implémenté)

Solution logitiel pour Clustering

Publié : mar. 17 sept. 2013 16:06
par belkav
Bon, je remonte le topic car j'ai testé HAproxy pour mon BTS et cela fonctionne relativement bien. C'est une solution de load balancing classique imposé pour le BTS mais il fonctionne correctement pour le moment.
Ceux qui connaissent, je veux bien un piti retour de ce truc alc