Force Suisse

[LaScarD]

Specifications
Hardware

CPUs: 384 Intel Xeon E5-2660 (8 cores @ 2.2 GHz, 95 W), 3072 cores in total
Main Boards: 192 Supermicro X9DRT-IBQF (2 CPUs per node) on-board QDR Infiniband
RAM: Hynix DDR3-1600, 4 GB/core, 64 GB/node, 12.3 TB in total
SSD: 192 OCZ 128 GB high performance Vertex 4 drives, 24.6 TB in Total
HPC Network: QLogic/Intel QDR Infiniband in 2:1 fat tree (9 leaf and 3 core switches)
Gbit Ethernet and seerate dedicated 100 Mbit management networks
Power usage (full load): 44 kW
Dimensions (L x W x H): 1.5m x 1.5m x 1.7m
Number of Cables: Power: 112 IB: 300 Ethernet: 388
Cost: under 750'000 CHF

System Configuration

OS: Scientific Linux version 6.3
Queue System: Slurm
Swap: 8 GB on node-local SSD drive
Temp Files: 110 GB on node-local SSD drive
Booting: from node-local SSD, or over Ethernet

Storage System (existing)

Capacity: 684 TB formatted Raid-6
Lustre file system with 50 OSTs
342 x 1.5 TB HDD and 171 x 2.0 TB HDD
Physical dimensions: 48 standard rack units
10 Gb Ethernet and 40 Gb (QDR) Infiniband
3 Controllers using Intel E5645 2.4 GHz CPUs

Tape Robot:

Capacity: 800 TB, 437 tape slots
4 x LTO-5 drives and 2 x LTO-3 drives
54 TB high speed tape cache (108 TB raw storage)
40 Gb (QDR) Infiniband connected

http://www.youtube.com/watch?v=k32Bwy9r ... e=youtu.be

www.zbox4.com

[Larifounette]

Simpas, sa peut servir de divx-box

[X-System]

C'est un spam ?

Pas bonjour, ni son petit commentaire.

[poulpito]

non pas de spam

[biour]

200mobo dans un cube de 1.7m ??
c'est moi ou il manque un peu de place?

[poulpito]

c'est des mobals blade ^^

[c0bw3b]

Refroidissement du cube ..?!?

(oui j'avoue je n'ai pas cliqué sur le lien et n'ai donc pas pris la peine d'aller voir par moi-même sur la source... mais bon ça fait l'occaz d'en débattre ici )

[poulpito]

Air rofl bande gueux go regarder la vidéo ^^

[c0bw3b]

Pas Youtube au taff, doit attendre ce soir. *snif*

[biour]

avais po vue le lien

[c0bw3b]

Narf 26,4 To en SSD Vertex4. Znif.

Les cartons de matos dans la vidéo ça fait... mal.

[LaScarD]

@X-System

oui désolé un peu de courtoisie dans ce monde de geek ne fais pas de mal du coup bonsoir !

et j’étais un peu abasourdis par le sujet ! du coup sous l’émotion...€€€!!!

je me demandais si des universités chez nous aurais ou ferais la même chose ?

peut être faut t 'il déplacer ce sujet dans "bla-bla" ?

[c0bw3b]

Oui enfin c'est un institut hébergé au sein d'une université, c'est déjà un peu différent.
Ensuite dans les financements ça commence par fondation nationale Suisse pour la science.
Et puis j'imagine que le supercalculateur est un peu loué à d'autres entités privées ou publiques.

Si on compare chez nous : le CEA a des capacités de calcul balèzes et des labos de recherche en université en profite.

[psycho-kila]

sont tout petits

en france on a le tera-100 de bull au CEA pour les simu nucléaire française :
cluster de 4 370 serveurs bullx série S, équipé de
17 480 processeurs Intel® Xeon® 7500.
20 Petaoctets de stockage
300 TB de memoire par 140,000 barette
watercooling
debits I/O 500 Go/s
systeme red hat
220 armoire info pour 600 M² de surface occupé

source : http://www-lmj.cea.fr/fr/programme_simu ... 251110.pdf

[poulpito]

il est petit le tera 100 ^^
et dans ton listing il manque le node gpu

[mosie]

Puis y a le HPC de Larifounette aussi

[psycho-kila]

il est petit le tera 100 ^^

autant pour moi :

curie toujours en france et toujours au CEA
fat nodes
105 téraflops crête
360 nœuds S6010 bullx, pour chaque noeud : 4 processeurs octo-cœurs Intel® Xeon®, soit 1440 processeurs octo-cœurs Intel® Nehalem-EX X7560 cadencés à 2.26 GHz soit 11 520 coeurs, 4GB de ddr3 /core

hybrid nodes
192 téraflops crête
16 châssis bullx B équipés chacun de 9 lames hybrides GPUs B505 2 Intel® Westmere® 2.66 GHz/ 2 Nvidia M2090 T20A, total de 288 processeurs Intel® + 288 processeurs Nvidia.

thin nodes
5040 nœuds B510 bullx Pour chaque noeud : 2 processeurs octo-cœurs Intel® Sandy Bridge EP (E5-2680) 2.7 GHz, 64 Go, 1 disque local SSD, soit 10080 processeurs octo-cœurs Intel® Xeon® nouvelle génération soit 80640 coeurs, 4 GB de ddr3 / core

Caractéristiques communes
Reseau d'interconnexion : Réseau InfiniBand QDR Full Fat Tree
Système de fichiers global : 5 Po de disques (100 Go/s de bande passante), 10 Po de bandes, 1 Po de cache
Logiciels : Développement logiciel majoritairement communautaire (Linux, LUSTRE, SLURM...)

ils doivent bien s'eclater chez bull

edit : source : http://arxiv.org/pdf/1206.2838.pdf

[X-System]

Quand j'étais jeune, j'avais bavé en voyant la performance d'un supercalculateur chez NASA. Ce supercalculateur était équipé plus de 9 500 processeurs Intel Pentium Pro pour exécuter 1,5 téraflops, le plus rapide du monde à sa période...

[kalistyan]

sont tout petits

en france on a le tera-100 de bull au CEA pour les simu nucléaire française :
cluster de 4 370 serveurs bullx série S, équipé de
17 480 processeurs Intel® Xeon® 7500.
20 Petaoctets de stockage
300 TB de memoire par 140,000 barette
watercooling
debits I/O 500 Go/s
systeme red hat
220 armoire info pour 600 M² de surface occupé

source : http://www-lmj.cea.fr/fr/programme_simu ... 251110.pdf

Pas sûr qu'il fût assemblé en 24 heures :d

[poulpito]

pour le tera 100 non pas de watercooling mais portes froides
radiateur dans la porte à l'arrière du rack ou on fait passer de l'eau froide dedans

et non je peux te dire que ca a duré un moment ne serait-ce que pour l'assemblage des machines à l'usine

[bardiel]

Pas sûr qu'il fût assemblé en 24 heures :d

Ils indiquent à la fin de la vidéo, monté en 2 jours... mais bon pour de tels montages, pourquoi partir sur du SSD qui ne fait qu'allourdir la facture, alors que la majorité du taf et des données d'un cluster sont centralisé/distribué ?