Thin provisionning et esxi

Message par **poulpito** » mer. 2 mai 2012 10:19

Yop à tous
bon encore une question vu que je maîtrise pas tout et loin de la

le backup de mes vm esxi a toujours été un sujet de préoccupation donc cette fois ci j'ai tout créé en dynamique
mode thin provisionning la preuve

# ls -al
-rw-------    1 root     root       107374182400 May  2 08:13 Serveur WEB-flat.vmdk
-rw-------    1 root     root                526 Apr 19 21:48 Serveur WEB.vmdk

# du -h
17.2G   ./Serveur WEB

donc ca va pas mal jusque la je retrouve avec mon du la même taille que le provisionné dans l'interface esxi

SAUF QUE
j'en fait quoi moi maintenant ... le flat il fait 107go normal il est plein de 0
et ghettovcb même en thin me dit qu'il doit backup 107go
DISK_BACKUP_FORMAT=thin

2012-05-02 08:17:14 -- info: ============================== ghettoVCB LOG START ==============================
[...]
2012-05-02 08:17:14 -- info: CONFIG - VM_BACKUP_VOLUME = /vmfs/volumes/datastore1/backup/
2012-05-02 08:17:15 -- dryrun: ###############################################
2012-05-02 08:17:15 -- dryrun: Virtual Machine: Serveur WEB
2012-05-02 08:17:15 -- dryrun: VM_ID: 5
2012-05-02 08:17:15 -- dryrun: VMX_PATH: /vmfs/volumes/datastore1/Serveur WEB/Serveur WEB.vmx
2012-05-02 08:17:15 -- dryrun: VMX_DIR: /vmfs/volumes/datastore1/Serveur WEB
2012-05-02 08:17:15 -- dryrun: VMX_CONF: Serveur WEB/Serveur WEB.vmx
2012-05-02 08:17:15 -- dryrun: VMFS_VOLUME: datastore1
2012-05-02 08:17:15 -- dryrun: VMDK(s):
2012-05-02 08:17:15 -- dryrun:  Serveur WEB.vmdk        100 GB
2012-05-02 08:17:15 -- dryrun: INDEPENDENT VMDK(s):
2012-05-02 08:17:15 -- dryrun: TOTAL_VM_SIZE_TO_BACKUP: 100 GB
2012-05-02 08:17:15 -- dryrun: ###############################################

je pige pas tout
HELP ME

huhu

Message par **paulothekid** » mer. 2 mai 2012 10:37

drapal

Message par **dsebire** » mer. 2 mai 2012 10:41

héhé

j'ai été confronté au pb et j'ai la soluce

en fait, si tu fais un ls, tu vois l'espace provisionné, pas l'espace reellement occupé.
si tu regarde par le Vsphere client, tu verras les 2 (espace occupé et espace provisionné, qui sont bien sur differents)

si tu veux faire un fichier de la taille réelle, le seul truc que j'ai trouvé c'est gzip

perso je fais un gzip -9, ça prend du temps mais mon espace de stockage des bacjups est limité
si t'as pas de souci d'espace, un gzip -1 suffira (pas de gzip -0, c'est un tar donc tu auras toujours un fichier de la taille provisionné)

A+ !

Message par **poulpito** » mer. 2 mai 2012 10:53

ok je regarde ca et je testicule

Message par **paulothekid** » mer. 2 mai 2012 10:55

perso je fais un gzip -9, ça prend du temps mais mon espace de stockage des bacjups est limité
si t'as pas de souci d'espace, un gzip -1 suffira (pas de gzip -0, c'est un tar donc tu auras toujours un fichier de la taille provisionné)

A+ !

c'est ce à quoi je pensais car ça ne sert à rien de sauvegarder les 0

Message par **poulpito** » mer. 2 mai 2012 11:17

ouai enfin c quand même un comble ct'histoire de thin provisionning
cbien de la merde

Message par **dsebire** » mer. 2 mai 2012 11:24

le problème c'est que bien que ça prenne moins de place, c'est quand meme provisionné a la taille "fat"
du coup utilité assez moyenne je l'avoue
ça va plyus vite a backuper, et du coup a zipper (les 0 sont a la fin), seul avantage

Message par **poulpito** » mer. 2 mai 2012 11:30

tin ca prend masse de temps le gzip

même en -1
cmoi qui ai dit une connerie j'avais laissé tourner la commande en me plantant :d

Message par **poulpito** » mer. 2 mai 2012 11:38

tin en fait ouai ca se traine genre 1mo/sec en création de gzip

alors que le disque se touche la bite
c'est l'hyperviseur qui rame ou quoi

les vms elles continuent de tataner
et un dd il tatane aussi ca vient pas de mes disques juste gzip qui est lent

Message par **poulpito** » mer. 2 mai 2012 13:40

non mais c'est une blague cet esxi ... une fois que tu as fait tes backup

elle ou la commande ftp EIONNNNNN elle est ou ^^
bon bah scp powaa

Message par **dsebire** » mer. 2 mai 2012 13:40

coté CPU, ça donne quoi ?
le zip ça consomme

chez moi ça va bcp plus vte, sur un disque qui pourtant ne paie pas de mine (un veux 650Go SATAII, CPU E6700)

edit :> pour le ftp, regarde les commandes ftpput et ftpget

Message par **poulpito** » mer. 2 mai 2012 13:55

j'ai pas ces commandes sur la 5.0 visiblement

et pour le cpu ouai faut que je regarde pour débrider l'hyperviseur en conso cpu ou le faire dans un script via des commandes avant de backup

merci en tout cas Mr dseb

Message par **poulpito** » mer. 2 mai 2012 14:32

Pour ceux que ca intéresse mon tit script de backup à chaud des VMs avec le gzip et donc le vrai mode thin

j'ai pas encore fait mais le but c'est d'en faire une fonction qui prendre juste en param le nom de la VM
le reste il se démerdera d'ou la première ligne faut encore que je parse 2-3 trucs

perso je vais pas utiliser les snapshot ou rarement
donc je fais un snapshot.removeall pour être sur d'être bien au top level sur le disque avant le backup

## Serveur WEB
id=`vim-cmd vmsvc/getallvms | grep WEB | cut -d" " -f1`
vim-cmd vmsvc/snapshot.removeall $id
vim-cmd vmsvc/snapshot.create $id temp_backup
gzip -1 -c /vmfs/volumes/datastore1/Serveur\ WEB/Serveur\ WEB-flat.vmdk  > /vmfs/volumes/datastore1/backup/WEB.vmdk.gz
vim-cmd vmsvc/snapshot.removeall $id

bon sinon c'est super long ... ca copie effectivement qu'à 2mo/sec grand maxi alors que le cpu est pas au mini mais presque
j'ai même monté la réservation en %cpu de l'hote mais ca donne rien

Message par **biour** » mer. 2 mai 2012 15:19

tu specifie combien de core pour le Gzip?

Message par **poulpito** » mer. 2 mai 2012 15:34

ca marche pas comme ça ^^ tu peux pas lui dire de pomper x ressources
il pompe les ressources de l'hyperviseur qui est pas bridé niveau cpu donc ca devrait tabasser

enfin bon des backups j'ai pas besoin d'en faire des masses
1 un début et roulez après chaque VM a ses backups

Message par **biour** » mer. 2 mai 2012 20:13

Message par **Zedoune** » jeu. 3 mai 2012 17:16

tu specifie combien de core pour le Gzip?

Gzip est multithread maintenant ?

Message par **biour** » jeu. 3 mai 2012 17:19

J en sais rien jutilise tres peu gaynux

Message par **Zedoune** » jeu. 3 mai 2012 17:25

poulpito, à tout hasard, c'est plus rapide si tu fais ça ? Logiquement non mais on sait jamais..

cat /vmfs/volumes/datastore1/Serveur\ WEB/Serveur\ WEB-flat.vmdk | gzip -f - -6 > /vmfs/volumes/datastore1/backup/WEB.vmdk.gz

Change le 6 par 1 ou 2 si tu vois que gzip est bridé par le cpu

Message par **poulpito** » jeu. 3 mai 2012 17:27

le cpu il se touche la nouille

mdr c'est ca le pire
il pompe rien pour compresser pour décompresser par contre il pompe un peu plus

Message par **dsebire** » ven. 4 mai 2012 09:54

t'as essayé de tester la vitesse des disques a partir du CLI ?

sur une VM chez OVH d'un client, me suis apperçu que c'etait ça qui bridait

Message par **poulpito** » ven. 4 mai 2012 10:33

tu veux dire via vmfstool en mode clone ?

Message par **dsebire** » ven. 4 mai 2012 11:11

non.

http://smpfr.mesdiscussions.net/smpfr/S ... htm#t10685

Message par **poulpito** » ven. 4 mai 2012 11:21

non via dd c'est bon 25-30mo/sec de ce que j'ai pu estimer mais c'est dur car dd me renvoi pas le temps :/ j'ai pas eu le temps de regarder de plus prêt

Message par **dsebire** » ven. 4 mai 2012 11:31

mets "time" devant les commandes.
t'auras le temps réél

genre time dd if=....