Thin provisionning et esxi

[poulpito]

huhu l'habitude que ca renvoi le temps

[poulpito]

# time dd if=/dev/zero of=test.tmp bs=1024 count=100000
100000+0 records in
100000+0 records out
real 0m 2.88s
user 0m 0.51s
sys 0m 0.00s
# time dd if=/dev/zero of=test.tmp bs=1024 count=100000
100000+0 records in
100000+0 records out
real 0m 2.52s
user 0m 0.50s
sys 0m 0.00s

donc en gros ça tourne dans les 35-39Mo/sec

[dsebire]

donc si c'est pas CPU et HDD limited, ça viens d'ou

edit: trop petit tes tests, ajoute au moins un 0 au count
et essaie aussi en lecture.

[Zedoune]

si tu fais un cp du fichier tout simple pour le gz ensuite ça va vite ?

[poulpito]

# time dd if=/dev/zero of=test.tmp bs=1024 count=1000000
1000000+0 records in
1000000+0 records out
real 0m 28.83s
user 0m 5.08s
sys 0m 0.00s

sur 1go on est constant de 2.88 à 28.8

pour le cpu limited je vais refouiller quand même si l'hyperviseur se lock pas qqpart pour le cp pas encore test

[dsebire]

alors ?

[poulpito]

euh j'ai pas regardé depuis ... faut que je m'y remette les vms tournent et j'ai un backup c'est le principal

[dsebire]

deterrage !!!!
vu que je viens de migrer en 5.5 un client, (4.1 avant) j'ai un peu les memes problèmes.

donc pour le ftp:
"suffit" de recuperer /bin/busybox d'un 4.1 et de créer 2 liens symboliques ftpput et ftpget dessus (evidement sans remplacer /bin/busybox du 5.5)
genre ça:

/vmfs/volumes/53a068ed-7229347c-59f1-0cc47a02cd26/tools # ll
total 5176
drwxr-xr-x    1 root     root          1680 Jun 19 07:16 .
drwxr-xr-t    1 root     root          2240 Jun 18 12:51 ..
-rwxr-xr-x    1 root     root          2413 Jun 18 13:01 backup.sh
-rwsr-xr-x    1 root     root        343240 Jun 19 07:13 busybox
lrwxrwxrwx    1 root     root             7 Jun 19 07:13 ftpget -> busybox
-r-xr-xr-x    1 root     root        485080 Jun 18 13:00 ftpget.old
lrwxrwxrwx    1 root     root             7 Jun 19 07:13 ftpput -> busybox
-r-xr-xr-x    1 root     root        484696 Jun 18 13:00 ftpput.old
drwxr-xr-x    1 root     root           840 Jun 19 06:41 ghettoVCB
drwxr-xr-x    1 root     root           700 Jun 19 06:41 ghettoVCB-restore

attention a bien récupérer les dernières version de ghettoVCB et ghettoVCB-restore pour la compatibilité 5.5.
les anciennes versions vont fonctionner, mais a vos risques et périls (corruption de données apparemment dans certains cas)

pour les perfs, tests en cours
a priori, les DD vont bien (100Mo/s en lecture et écriture)

[dsebire]

bon bah pas de pb de perfs sur le gzip.
il me bouffe 1 core a 100%, mais ça reste lent

[dsebire]

bon, c'est zarb sur la compression de VM
par moment c'est le CPU qui limite, d'autres c'est le disque.....
toujours est-il que je suis soit au max des disques, soit a 100% sur un core. donc c'est le hardware qui limite, pas ESX.

[flash91]

c'est le pb de la version free de vsphere, pas d'accès aux API avancées, du coup les softs sont obligés de se tapper tout le vdisk et je ne suis pas sur qu'ils savent tirer partie de toutes les ressources de l'hyperviseur (multi-thread, etc).

suffit de faire le test avec une version d'éval de veeam ou autre, on passe de 3h à environ 10 minutes la première fois, et ensuite il n'y a plus qu'à synchroniser les blocs modifiés ce qui est super rapide.

après c'est free, on peux pas tout avoir malheureusement

[dsebire]

c'est pas vraiment problématique le temps.
j'ai toute la nuit pour faire mes backups.

la ou je suis limité c'est le stockage backup et la BP !!!
donc oui, veeam serait pt'etre mieux (moins de data a transiter a chaque fois) mais vi le tarif, un gzip -9 marche suer bien

[kalistyan]

Petit HS, moyen d'avoir le contenu de ton backup.sh ?

[dsebire]

echo Debut session backup VMs
echo Debut session backup VMs >> /vmfs/volumes/datastore1/backups/log.txt
date
date >> /vmfs/volumes/datastore1/backups/log.txt
echo BACKUP_PID: $$
echo BACKUP_PID: $$  >> /vmfs/volumes/datastore1/backups/log.txt

if [ -e /tmp/backupinprogress.flg ]
then
   echo Backup already running, exiting
   echo Backup already running, exiting >> /vmfs/volumes/datastore1/backups/log.txt
   exit 1
else
   touch /tmp/backupinprogress.flg
fi

/vmfs/volumes/datastore1/tools/ghettoVCB/ghettoVCB.sh -a -g /vmfs/volumes/datastore1/tools/ghettoVCB/ghettoVCB.conf -l /vmfs/volumes/datastore1/backups/log.txt

echo building file list
echo building file list  >>/vmfs/volumes/datastore1/backups/log.txt
find /vmfs/volumes/datastore1/backups/ ! -name "*.gz" ! -name "log.txt" ! -name "filelist.txt" -type f > /vmfs/volumes/datastore1/backups/filelist.txt
cat /vmfs/volumes/datastore1/backups/filelist.txt
cat /vmfs/volumes/datastore1/backups/filelist.txt >>/vmfs/volumes/datastore1/backups/log.txt

echo zipping files
echo zipping files >>/vmfs/volumes/datastore1/backups/log.txt
for file in $(cat /vmfs/volumes/datastore1/backups/filelist.txt)
do
   date
   date >>/vmfs/volumes/datastore1/backups/log.txt
   echo $file | cut -d '/' -f8
   echo $file | cut -d '/' -f8 >> /vmfs/volumes/datastore1/backups/log.txt
   gzip -9 $file 2>&1 >>/vmfs/volumes/datastore1/backups/log.txt
done

echo sending files for backup
echo sending files for backup >>/vmfs/volumes/datastore1/backups/log.txt
for file in $(cat /vmfs/volumes/datastore1/backups/filelist.txt)
do
   date
   date >>/vmfs/volumes/datastore1/backups/log.txt
   echo $file | cut -d '/' -f8
   echo $file | cut -d '/' -f8 >> /vmfs/volumes/datastore1/backups/log.txt
   /vmfs/volumes/datastore1/tools/ftpput -v -u  monuser -p monpassword monhoteftp $(echo $file | cut -d '/' -f8).gz $file.gz 2>&1 >> /vmfs/volumes/datastore1/backups/log.txt
done

rm -f /tmp/backupinprogress.flg

echo BACKUP_PID: $$
echo BACKUP_PID: $$  >> /vmfs/volumes/datastore1/backups/log.txt
date
date >> /vmfs/volumes/datastore1/backups/log.txt
echo FIN session backup VMs
echo FIN session backup VMs >> /vmfs/volumes/datastore1/backups/log.txt

/vmfs/volumes/datastore1/tools/ftpput -v -u  monuser -p monpassword monhoteftp log.txt /vmfs/volumes/datastore1/backups/log.txt

[kalistyan]

Mazette!
Suis largué! :d

[dsebire]

je passe le blabla autour pour faire joli dans les logs.

on lance le backup (/vmfs/volumes/datastore1/tools/ghettoVCB/ghettoVCB.sh) avec les options qui vont bien

je récupère tous les fichiers dans mon arbo de backup qui ne sont pas déjà zippés ni mon fichier de log ni la liste des fichiers que je construit. (find /vmfs/volumes/datastore1/backups/ ! -name "*.gz" ! -name "log.txt" ! -name "filelist.txt" -type f)

pour chaque fichier trouvé (for file in $(cat /vmfs/volumes/datastore1/backups/filelist.txt) )
je le zippe (gzip -9 $file)

nouvelle boucle (le fichier de liste de fichiers ne change pas)
pour chaque fichier trouvé (for file in $(cat /vmfs/volumes/datastore1/backups/filelist.txt) )
je l'envoie par FTP (/vmfs/volumes/datastore1/tools/ftpput -v -u monuser -p monpassword monhoteftp $(echo $file | cut -d '/' -f8).gz $file.gz)
PS: echo $file | cut -d '/' -f8 permet de récupérer que le nom du fichier et non le chemin complet
PPS: ça veut aussi et surtout dire que j'écrase le précèdent backup sur le FTP a chaque fois que je repousse un fichier.

et enfin, je ftpise le fichier de log (/vmfs/volumes/datastore1/tools/ftpput -v -u monuser -p monpassword monhoteftp log.txt /vmfs/volumes/datastore1/backups/log.txt)


ça permet d'avoir X backups en local sur l'hôte ESX (nombre de rétention défini dans la conf ghetovcb)
et un (le dernier) externalisé sur FTP (en vue backup sur bande en fait)

[kalistyan]

Grand merci.