Cluster HPC

Message par **Oshimura** » ven. 1 juil. 2011 00:00

Bonsoir,

Je vais monter un cluster HPC principalement pour des calculs de traitement d'image. Je dispose de 30 machines (AMD 64, 2go de RAM, Ubuntu 10.04), connectées à un réseau existant en dual gigabyte (IP fixe).
L'idée est plutôt simple :

- Conserver l'architecture réseau existante
- Conserver la possibilité que chaque poste puisse être un poste utilisateur
- Si possible utilisation transparente (ce que permet le SSI ?)
- Éviter l'utilisation de PXE
- Gratuit en licence academic minimum

Du coup j'ai une liste plus ou moins exhaustive des prétendants :

- Beowulf : semble beaucoup utilisé, nécessite un réseau privé
- Chromium : fait pour le traitement de l'image, peu documenté
- Condor : également largement utilisé, plugins sympathiques en licence education : http://www.cyclecomputing.com/cycleserver/tour
- Kerrighed : pas mal d'échos positifs sur la toile, nécessite un noyau modifié
- SLURM : utilisé dans pas mal de solutions pro
- Torque
- OpenMOSIX : dead en 2008
- MOSIX : pas mal d'échos positifs sur la toile, nécessite un noyau modifié
- Perceus : pas mal d'échos positifs sur la toile, mais .RPM
- Oscar : nécéssite un réseau privé

Du coup j'hésite entre Condor, Kerrighed, SLURM et MOSIX et Perceus. Vous avez des retours d'utilisation sur l'un d'entre eux ?

Liens utiles :
http://en.wikipedia.org/wiki/Single-system_image (tableau à la fin)
http://jimbodude.net/wiki/Supercomputer

[edit] Un admin peut déplacer le sujet dans "cluster" svp ?

Message par **poulpito** » ven. 1 juil. 2011 00:01

y'a plus qu'à attendre augur

Message par **TheMartel** » ven. 1 juil. 2011 17:33

ça m'interesse pour l'année prochaine ça moi

Message par **augur1** » ven. 1 juil. 2011 17:37

oui bonjour

je n'aurai le temps de m'en occuper qu'à partir d'octobre.... :/

Je vise à faire :
=> http://forum.setiaddicted.com/viewtopic ... 262#p96262
... avec Ubuntu avec Eucaliptus (UEC)

++

Message par **Oshimura** » ven. 1 juil. 2011 22:11

J'avance petit a petit :

Condor : grosse communauté
Kerrighed : netboot only ?
SLURM : peu de doc et configuration plus complexe
MOSIX : migration de thread : on peut arrêter/delog une machine sans conséquences (très utile vu qu'il va tourner sur des stations de travail)
Perceus : fait pour redhat/fedora, peu de doc

Du coup il me reste Condor et MOSIX, vu que Kerrighed à l'air de nécessiter un démarrage des noeuds en netboot. Eucalyptus a l'air sympa mais il s'éloigne un peu de mon utilisation, HPC simple.

Message par **augur1** » sam. 22 oct. 2011 22:57

t'en es où ?

Message par **Oshimura** » sam. 22 oct. 2011 23:18

Hello,

Du coup mon cahier des charges et l'environnement matériel ont changés entre temps. J'ai eut des machines dédiées en plus des stations de travail et la contrainte de traitement temps réel, comme par exemple acquisition + rendu openGL temps réel.

J'ai préalablement fait tourner les machines en cluster virtuel VMware pour me familiariser avec la configuration et le fonctionnement.

Ma première installation a été basée sur Condor, avec qui on se familiarise vraiment très vite aussi bien au niveau utilisation qu'administration. J'ai collé par dessus un ordonnanceur SLURM pour gérer efficacement les tâches balancées par les utilisateurs à la volée.

Pour réponde au nouveau cahier des charges, je suis passé sur un middleware totalement différent : FlowVR, développé par l'inria/imag (cocorico). Il faut passer un peu plus de temps pour comprendre comment ça marche, mais la documentation est relativement bien faite et l'équipe est très réactive pour répondre aux questions sur la mailing list.

Niveau ordonnanceur je suis passé sur OAR, toujours développé par l'inria/imag (re-cocorico). Tout comme FlowVR, ce sont directement les développeurs/thésards du laboratoire qui répondent sur la mailing list, du coup les problèmes sont rapidement résolus.

Le cluster tourne actuellement au ralenti, il y aura une utilisation plus intensive à partir de janvier !

[edit] j'ai fait deux PDF en guise de notes d'installation, MP pour les éventuels intéressés

Message par **augur1** » dim. 23 oct. 2011 00:04

C'est pour quelle utilisation cette installation ?

Message par **Oshimura** » dim. 23 oct. 2011 00:51

L'installation est pour un laboratoire, pour une utilisation de ce genre http://grimage.inrialpes.fr/ http://flowvr.sourceforge.net/FlowVRGallery.html

Message par **augur1** » dim. 23 oct. 2011 00:58

c00L

De mon coté c'est un peu similaire :
=> encodage fichiers vidéo sous Windows
=> rendu After Effect sous Windows
=> rendu 3D (Maya et 3DS) sous Windows ou Linux

Avais tu testé OpenSSI sur Debian ?
=> http://openssi.org/cgi-bin/view?page=openssi.html

++

Message par **mosie** » dim. 23 oct. 2011 14:36

http://en.wikipedia.org/wiki/Single-system_image
http://jimbodude.net/wiki/Supercomputer

Très jolie projet, très fun

connaissez pas.

J'aurai noir de question ...

Message par **augur1** » dim. 23 oct. 2011 14:45

J'aurai noir de question ...

oO !! po ckoi ctxpresion lo ?

Message par **mosie** » dim. 23 oct. 2011 15:11

ben pleins de questions, quoi.

Je prendrai le temps de rédiger un gros truc.
Car pas mal d'interrogation sur ce projet.

Bon je repart dans mes galère d'infiniband moi, erf.

Message par **Oshimura** » dim. 23 oct. 2011 16:24

J'ai failli tester Kerrighed, mais vu qu'il a été jugé préférable de ne pas modifier le noyau toutes les solutions SSI ont été écartées...

Du coup aux vues de la consommation/bruit/chaleur des machines le labo est également en train de regarder la possibilité d'utiliser du Cuda. Ce genre de machine (http://www.transtec.fr/fr/high-performa ... idia-tesla) peut être pas mal, encore faut-il avoir le temps de re-coder toutes les appli !

[edit] correction du lien -.-

Message par **poulpito** » dim. 23 oct. 2011 17:36

moi je me suis amusé il y a encore peu avec openMPI
marche bien ce truc mais faut savoir coder et optimiser ses appli
et comme je sais pas pisser de la ligne de code j'ai juste utilisé des applis déjà faites

sinon pour cuda

http://www.bull.fr/extreme-computing/do ... ll_fin.pdf
page 9/10

Message par **augur1** » lun. 24 oct. 2011 23:35

Je cherche à faire un truc comme Rebus Farm
=> http://www.rebusfarm.net/
==>> http://www.rebusfarm.net/index.php/buy/calculator

Message par **augur1** » ven. 28 oct. 2011 01:36

OpenSSI sous Xen
=> http://openssi.org/cgi-bin/view?page=do ... -howto.txt

Rockclusters
=> http://www.rocksclusters.org/wordpress/

SSI ~ Beowulf cluster
=> http://en.wikipedia.org/wiki/Beowulf_cluster

Message par **TheMartel** » ven. 4 nov. 2011 09:42

pas mal la tit serie de cm

meme si en vrai il faut les mettres de l'autre coté, avec les ports PS2 en bas; la hauteur des cm est pas 100% normalisée... du coup ça fait des petits decalages si il y a des modeles differents.

Message par **biour** » ven. 4 nov. 2011 12:48

Y'a poulpi qui avait fait un truc semblable avec son "Helmer" (4xQ6400 il me semble)

Message par **augur1** » jeu. 19 janv. 2012 09:50

Hadoop .. vous connaissez ?

=> http://www.opensides.fr/2011/03/10/hado ... 5-minutes/

The largest iSCSI Target : http://storagemojo.com/2015/06/01/make- ... si-target/

Message par **augur1** » mer. 29 févr. 2012 15:38

YESSSSS !!! ♥♥♥

Dr Queue pour Ubuntu 11.10 ( http://www.drqueue.org/cwebsite/ ), compatible 3DS et Maya
=> https://joshuaandrewjackson.wordpress.c ... nder-farm/

LuxRender, compatible Maya
=> http://en.wikipedia.org/wiki/LuxRender

Yafaray ; free open-source raytracing engine
=> http://www.yafaray.org/community/forum/ ... f=5&t=4494
... des scripts existent pour convertir 3DS en Blender ^^

Message par **kalistyan** » jeu. 1 mars 2012 02:54

Message par **augur1** » mar. 3 juin 2014 20:54

Mosix est toujours en dev ^^
-> http://www.mosix.com/
+ VirtualCL (VCL) cluster platform is a wrapper for OpenCL™ that allows most unmodified applications to transparently utilize multiple OpenCL devices in a cluster as if all the devices are local

... d'ailleurs il permet de cracker des clefs WPA via un outil baptisé Moscrack !!
-> http://korben.info/cluster-cracker-les-cles-wpa.html