HDFS

Message par **Ryu_wm** » mar. 22 avr. 2008 16:18

peut etre un de mes derniers projets avant que je ne change de branche de metier
j'espere pouvoir avoir du matériel à ma disposition ...

je me penche sur le cas du HDFS :

hadoop Distributed File System qui est un des moyens disponibles à l'heure actuelle pour mutualiser de l'espace disque distibué

si j'ai globalement compris le principe que je trouve très interréssant, je dois avouer que je bloque sur un des mécanismes fondamentaux qui est le "map_reduce"

===>wiki
ce processus gère le hachage d'une information ( fichier on va dire ) , sa distribution, l'indexage d'où sont situés les fragments et leur redondance ainsi que ( si j'ai bien compris ) une sorte de "compression" des fragments constituant l'information.

j'ai choppé un joli mal au crane alors je suis passé directement à la partie accessible :

un tutorial pour monter un cluster à base d'Ubuntu pour supporter Hadoop

à l'heure qu'il est je suis partagé entre déballer des pc pour me jeter à l'eau et ... jeter un aspirine dans un verre d'eau

mais si il s'en trouve parmis vous pour suivre l'aventure ... nous pouvons démarrer un joli sujet :

Message par **chour@mih-fr** » mar. 22 avr. 2008 16:36

Qu'est-ce que tu souhaites faire exactement ? Trouver du monde pour faire un espace de stockage sur le web conçu à partir de ce que mettra l'utilisateur à disposition ? C'est un boinc-like en fait, mais pour le stockage, non ?

Message par **Ryu_wm** » mar. 22 avr. 2008 16:48

le rapprochement avec Boinc me parait un peu bizarre mais c'est surement l'idée simple qui s'en rapproche le mieux

non, aucun rapport avec le web ( bien qu'avec une base genre Grid Appliance qui utilise du P2P on pourrait )
c'est surtout pour pallier à des problemes pro/perso d'espace de stockage

Message par **nicodache** » mar. 22 avr. 2008 17:15

ca ressemble pas à GFS ? (google FS)

Message par **Ryu_wm** » mer. 23 avr. 2008 00:44

tout à fait, en fait il semblerait plus vrai de dire que GFS ressemble à hadoop

Message par **Ryu_wm** » mer. 23 avr. 2008 11:49

Enormmmmmmmmmmme déconvenue

cette nuit ne trouvant pas le sommeil je me suis mis à repenser à tout ce que j'avais lu
et soudain un fait troublant est apparu : il est peut etre simple de mettre en oeuvre HDFS mais quid de l'accès aux données

après 3h supplémentaires de lecture ce matin je m'aperçois que les choses ne sont pas simples

imaginons que notre HFDS est en place sur 1 ou plusieurs noeuds, seuls les pc participants à l'élaboration de l'HDFS peuvent acceder aux données

2 hacks sont en cours de developpement
le premier est de pouvoir exporter en NFS le HDFS, le second est un accès via WEBDAV

dans le premier cas si je mets un linux qui fait un montage NFS du HDFS je peux l'offrir à des clients unix/windows via par exemple un SAMBA

dans le second cas un APACHE WEBDAV offrira le HDFS en partage, mais du coté client ça se complique car il faudra y acceder via un applet Java. Bon il n'est pas dur de coder une page vite fait pour qu'elle charge cet applet. Quand c'est fait, un simple navigateur web + java suffisent à acceder au HDFS. Mais cela permet d'eviter d'avoir une machine supplémentaire pour acceder aux données car on peux installer Apache directement sur le serveur HDFS

dans les deux cas on obtient ceci ( en gros )
[center]

[/center]

voici un exemple de l'interface utilisateur via applet Java :

http://www.ics.uci.edu/~webdav/startup.html

Tout se passerait dans le meilleurs des mondes si je ne venait pas de découvrir qu'une des fonctionnalités HDFS faisant le plus defaut est [#ff0e00]la possibilité de traiter les fichiers en mode APPEND ![/#ff0e00]

exemple concret : ouvrir un document texte, lui ajouter une ligne et l'enregistrer : ce n'est pas possible, toujours en phase d'implémentation !!!

bref pour l'instant HDFS permet d'offrir un espace disque qui peut grossir à volonté, mais le contenu offert est statique
dans le cadre de mon travail cela ne me convient pas. pour un usage domestique pourquoi pas

chui déçuuuuuuuu

Message par **Larifounette** » mer. 23 avr. 2008 13:40

Pfff, tout ça pour nous dire, "bas euuu non, j'en veut po"

Message par **nicodache** » mer. 23 avr. 2008 13:55

bon, bein go for GFS alors ?

Message par **Ryu_wm** » mer. 23 avr. 2008 23:36

Pfff, tout ça pour nous dire, "bas euuu non, j'en veut po"

ben oué dégouté, je continue ma quete du DFS, ça fait que 3 ans ...

bon, bein go for GFS alors ?

je n'ai pas cherché mais je doute *fortement* que ça soit open

Message par **nicodache** » mer. 23 avr. 2008 23:51

http://en.wikipedia.org/wiki/Global_File_System

en fait, ya pas que celui de google, qui s'appelle GFS

Message par **Ryu_wm** » jeu. 24 avr. 2008 10:38

ha voui
moi j'etais la dessus

http://en.wikipedia.org/wiki/Category:D ... le_systems

Message par **Ryu_wm** » jeu. 24 avr. 2008 10:40

je n'ai pas cherché mais je doute *fortement* que ça soit open

"Despite having published details on technologies like the Google File System, Google has not released the software as open source and shows little interest in selling it. The only way it is available to another enterprise is in embedded form--if you buy a high-end version of the Google Search Appliance, one that is delivered as a rack of servers, you get Google's technology for managing that cluster as part of the package."

Message par **yazyaz** » mar. 29 avr. 2008 11:50

j'ai vu ca, je sait pas si ca peut te convenir

http://en.wikipedia.org/wiki/ZFS

http://forum.hardware.fr/hfr/Hardware/H ... m#t6345440

Message par **Ryu_wm** » mar. 29 avr. 2008 21:38

merci, je zieuterai

Message par **c0bw3b** » jeu. 15 mai 2008 19:09

Tiens je suis tombé là-dessus cet aprem, et ça m'a rappelé ce topic !
Bon y'a rien d'utilisable dans l'immédiat... mais projet à suivre je pense.

Message par **Ryu_wm** » dim. 18 mai 2008 13:56

à suivre alors ...