Je vais monter un cluster HPC principalement pour des calculs de traitement d'image. Je dispose de 30 machines (AMD 64, 2go de RAM, Ubuntu 10.04), connectées à un réseau existant en dual gigabyte (IP fixe).
L'idée est plutôt simple :
- Conserver l'architecture réseau existante
- Conserver la possibilité que chaque poste puisse être un poste utilisateur
- Si possible utilisation transparente (ce que permet le SSI ?)
- Éviter l'utilisation de PXE
- Gratuit en licence academic minimum
Du coup j'ai une liste plus ou moins exhaustive des prétendants :
- Beowulf : semble beaucoup utilisé, nécessite un réseau privé
- Chromium : fait pour le traitement de l'image, peu documenté
- Condor : également largement utilisé, plugins sympathiques en licence education : http://www.cyclecomputing.com/cycleserver/tour
- Kerrighed : pas mal d'échos positifs sur la toile, nécessite un noyau modifié
- SLURM : utilisé dans pas mal de solutions pro
- Torque
- OpenMOSIX : dead en 2008
- MOSIX : pas mal d'échos positifs sur la toile, nécessite un noyau modifié
- Perceus : pas mal d'échos positifs sur la toile, mais .RPM
- Oscar : nécéssite un réseau privé
Du coup j'hésite entre Condor, Kerrighed, SLURM et MOSIX et Perceus. Vous avez des retours d'utilisation sur l'un d'entre eux ?
Condor : grosse communauté Kerrighed : netboot only ? SLURM : peu de doc et configuration plus complexe
MOSIX : migration de thread : on peut arrêter/delog une machine sans conséquences (très utile vu qu'il va tourner sur des stations de travail) Perceus : fait pour redhat/fedora, peu de doc
Du coup il me reste Condor et MOSIX, vu que Kerrighed à l'air de nécessiter un démarrage des noeuds en netboot. Eucalyptus a l'air sympa mais il s'éloigne un peu de mon utilisation, HPC simple.
Cluster HPC
Publié : sam. 22 oct. 2011 22:57
par augur1
t'en es où ?
Cluster HPC
Publié : sam. 22 oct. 2011 23:18
par Oshimura
Hello,
Du coup mon cahier des charges et l'environnement matériel ont changés entre temps. J'ai eut des machines dédiées en plus des stations de travail et la contrainte de traitement temps réel, comme par exemple acquisition + rendu openGL temps réel.
J'ai préalablement fait tourner les machines en cluster virtuel VMware pour me familiariser avec la configuration et le fonctionnement.
Ma première installation a été basée sur Condor, avec qui on se familiarise vraiment très vite aussi bien au niveau utilisation qu'administration. J'ai collé par dessus un ordonnanceur SLURM pour gérer efficacement les tâches balancées par les utilisateurs à la volée.
Pour réponde au nouveau cahier des charges, je suis passé sur un middleware totalement différent : FlowVR, développé par l'inria/imag (cocorico). Il faut passer un peu plus de temps pour comprendre comment ça marche, mais la documentation est relativement bien faite et l'équipe est très réactive pour répondre aux questions sur la mailing list.
Niveau ordonnanceur je suis passé sur OAR, toujours développé par l'inria/imag (re-cocorico). Tout comme FlowVR, ce sont directement les développeurs/thésards du laboratoire qui répondent sur la mailing list, du coup les problèmes sont rapidement résolus.
Le cluster tourne actuellement au ralenti, il y aura une utilisation plus intensive à partir de janvier !
[edit] j'ai fait deux PDF en guise de notes d'installation, MP pour les éventuels intéressés
Cluster HPC
Publié : dim. 23 oct. 2011 00:04
par augur1
C'est pour quelle utilisation cette installation ?
De mon coté c'est un peu similaire :
=> encodage fichiers vidéo sous Windows
=> rendu After Effect sous Windows
=> rendu 3D (Maya et 3DS) sous Windows ou Linux
Je prendrai le temps de rédiger un gros truc.
Car pas mal d'interrogation sur ce projet.
Bon je repart dans mes galère d'infiniband moi, erf.
Cluster HPC
Publié : dim. 23 oct. 2011 16:24
par Oshimura
J'ai failli tester Kerrighed, mais vu qu'il a été jugé préférable de ne pas modifier le noyau toutes les solutions SSI ont été écartées...
Du coup aux vues de la consommation/bruit/chaleur des machines le labo est également en train de regarder la possibilité d'utiliser du Cuda. Ce genre de machine (http://www.transtec.fr/fr/high-performa ... idia-tesla) peut être pas mal, encore faut-il avoir le temps de re-coder toutes les appli !
[edit] correction du lien -.-
Cluster HPC
Publié : dim. 23 oct. 2011 17:36
par poulpito
moi je me suis amusé il y a encore peu avec openMPI
marche bien ce truc mais faut savoir coder et optimiser ses appli
et comme je sais pas pisser de la ligne de code j'ai juste utilisé des applis déjà faites
pas mal la tit serie de cm
meme si en vrai il faut les mettres de l'autre coté, avec les ports PS2 en bas; la hauteur des cm est pas 100% normalisée... du coup ça fait des petits decalages si il y a des modeles differents.
Cluster HPC
Publié : ven. 4 nov. 2011 12:48
par biour
Y'a poulpi qui avait fait un truc semblable avec son "Helmer" (4xQ6400 il me semble)
Mosix est toujours en dev ^^
-> http://www.mosix.com/
+ VirtualCL (VCL) cluster platform is a wrapper for OpenCL™ that allows most unmodified applications to transparently utilize multiple OpenCL devices in a cluster as if all the devices are local
