Opendedup (SDFS) - déduplication de données.

Message par **kalistyan** » ven. 4 mai 2012 10:37

Faisant suite à une certaine visite, j'ai fait quelques petites recherche sur la déduplication de données.
Et voici ma découverte Opendedup ici

The main features of SDFS are:
[*]Cross Platform Support – fonctionne sous Linux or Windows car écrit en JAVA.
[*]Reduced Storage Utilization - SDFS implémente un algorithme de Déduplication pour réduire l’espace de stockage jusqu’à 90%-95%
[*]Scalability - SDFS peut gérer un Petabyte de données et 3TB par gigaoctet de mémoire avec des blocs de 128k.
[*]Speed - SDFS est rapide – deduplication/redup à 290 MB/S+
[*]VMWare support – conçu pour être compatible avec des machines virtuelles vmware
[*]Flexible storage – les données dédupliquées peuvent être stockées localement ou sur un ou plusieurs nœuds en réseau local ou dans le Cloud Amazon.
[*]Inline and Batch Mode deduplication – Les fichiers peuvent être dédupliquées en temps réel ou à postériori
[*]File and Folder Snapshot support – SDFS permets la création d’instantanés du système ou des fichiers.

Article ici et là

Message par **Zedoune** » ven. 4 mai 2012 10:51

J'ai essayé, ça marche pas trop mal mais j'ai réussi à avoir une corruption du FS en 1h

Y en a un autre qui utilise également FUSE mais j'ai oublié le nom...

Message par **augur1** » ven. 4 mai 2012 11:16

... ZFS !

Message par **poulpito** » ven. 4 mai 2012 11:29

non c'est plus fuse puisque basculé en natif

Message par **Zedoune** » ven. 4 mai 2012 11:45

Je viens de retrouver, y a lessfs qui marche plutot bien !

http://www.lessfs.com/wordpress/

Message par **kalistyan** » ven. 4 mai 2012 11:47

Création et montage du volume Ok mais la déduplication ne fonctionne pas! (testé sous Vista 32 bits 2 Go Ram).

Suivi ce petit tutoriel ici

Message par **Zedoune** » ven. 4 mai 2012 11:57

Je pourrais pas t'aider je l'ai essayé que sous Linux

Par contre, la dédup, ça sert vraiment dans des cas spécifiques je trouve ...

Message par **kalistyan** » ven. 4 mai 2012 12:04

Mon but est de tester sur un datastore.

Message par **kalistyan** » mar. 26 févr. 2013 10:07

Just Release the SDFS Virtual Appliance 2.0. Its got some new features such as multi-node management, event monitoring, and replication.

=> ici

Message par **dsebire** » mar. 26 févr. 2013 10:14

pour les amateur de crosoft, la deduplication est maintenant gérée en natif dans windows 2012

Message par **Zedoune** » mar. 26 févr. 2013 10:48

Pour parler de la Dédup, le système de fichiers HAMMER de DragonFly BSD gère la déduplication, mais offline. C'est-à-dire que ça ne consomme aucune ram, mais qu'il faut lancer une tâche qui va rechercher les duplications et les supprimer.

HammerFS fonctionne à partir de 32 Mo de ram sur la machine

Message par **kalistyan** » jeu. 28 févr. 2013 19:38

Unable to mount VMWare Datastore Datastore Opendedup because com.vmware.vim25.RestrictedVersion

:/

ESXi 4.1.0 Build 348481 = Update 1 ! => GO MAJ

Message par **kalistyan** » ven. 1 mars 2013 01:54

MAJ effectuée, et j'ai pu ajouter le datastore. Tests à venir...

Message par **kalistyan** » mar. 3 févr. 2015 16:50

UP!

Virtual NAS Appliance (3.0.2)
=> http://opendedup.org/download

Message par **kalistyan** » lun. 7 mars 2016 09:57

SDFS 3.1.1 has been released.

Datish NAS Version 4.1 released with minor UI changes and includes SDFS version 3.1.1

=> http://opendedup.org/download

Message par **mad_dog** » lun. 7 mars 2016 11:58

Salut kalistyan,

as tu testé SDFS ?

Message par **kalistyan** » lun. 7 mars 2016 14:08

Oui, mais pas en production.

De plus, je n'avais poussé les tests.