SMPFR

Faisant suite à une certaine visite, j'ai fait quelques petites recherche sur la déduplication de données.
Et voici ma découverte Opendedup ici

The main features of SDFS are:
[*]Cross Platform Support – fonctionne sous Linux or Windows car écrit en JAVA.
[*]Reduced Storage Utilization - SDFS implémente un algorithme de Déduplication pour réduire l’espace de stockage jusqu’à 90%-95%
[*]Scalability - SDFS peut gérer un Petabyte de données et 3TB par gigaoctet de mémoire avec des blocs de 128k.
[*]Speed - SDFS est rapide – deduplication/redup à 290 MB/S+
[*]VMWare support – conçu pour être compatible avec des machines virtuelles vmware
[*]Flexible storage – les données dédupliquées peuvent être stockées localement ou sur un ou plusieurs nœuds en réseau local ou dans le Cloud Amazon.
[*]Inline and Batch Mode deduplication – Les fichiers peuvent être dédupliquées en temps réel ou à postériori
[*]File and Folder Snapshot support – SDFS permets la création d’instantanés du système ou des fichiers.

Article ici et là

J'ai essayé, ça marche pas trop mal mais j'ai réussi à avoir une corruption du FS en 1h

Y en a un autre qui utilise également FUSE mais j'ai oublié le nom...

... ZFS !

non c'est plus fuse puisque basculé en natif

Je viens de retrouver, y a lessfs qui marche plutot bien !

http://www.lessfs.com/wordpress/

Création et montage du volume Ok mais la déduplication ne fonctionne pas! (testé sous Vista 32 bits 2 Go Ram).

Suivi ce petit tutoriel ici

Je pourrais pas t'aider je l'ai essayé que sous Linux

Par contre, la dédup, ça sert vraiment dans des cas spécifiques je trouve ...

Mon but est de tester sur un datastore.

Just Release the SDFS Virtual Appliance 2.0. Its got some new features such as multi-node management, event monitoring, and replication.

=> ici

pour les amateur de crosoft, la deduplication est maintenant gérée en natif dans windows 2012

Pour parler de la Dédup, le système de fichiers HAMMER de DragonFly BSD gère la déduplication, mais offline. C'est-à-dire que ça ne consomme aucune ram, mais qu'il faut lancer une tâche qui va rechercher les duplications et les supprimer.

HammerFS fonctionne à partir de 32 Mo de ram sur la machine

Unable to mount VMWare Datastore Datastore Opendedup because com.vmware.vim25.RestrictedVersion

:/

ESXi 4.1.0 Build 348481 = Update 1 ! => GO MAJ

MAJ effectuée, et j'ai pu ajouter le datastore. Tests à venir...

UP!

Virtual NAS Appliance (3.0.2)
=> http://opendedup.org/download

SDFS 3.1.1 has been released.

Datish NAS Version 4.1 released with minor UI changes and includes SDFS version 3.1.1

=> http://opendedup.org/download

Salut kalistyan,

as tu testé SDFS ?

Oui, mais pas en production.

De plus, je n'avais poussé les tests.

SMPFR

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.

Opendedup (SDFS) - déduplication de données.