VMware ESXi

Message par **dsebire** » jeu. 7 avr. 2011 11:14

bon alors, du concret:
disque original 100Go, 13Go en thin mais 100Go provisionés.
gzip -9 => 5.2Go

par contre, 2h15 pour zipper :/

lecture: 1m43sec => 40Mo/s
ecriture: test sur 100000 itérations au lieu de 1000000, vu le temps

1m34sec pour 409600000 octets soit 4.3Mo/s

viens de faire un test, j'ecris plus vite sur le stockage distant par ftp qu'en local (26Mo/s)
3m32sec pour 5.2Go => 24.9Mo/s pour etre precis

autre test, lancé 2 gzip en meme temps, bah les IOs disque sont pareil qu'avec une seul ! donc c'est bien la vitesse d'ecriture qui bride, et en plus il supporte mal les accès simultanés au meme disque (lecture/ecriture sur le meme DD)

concernant les tests de débit, je viens de tester a la maison:
ecriture 19Mo/s
lecture 50.5Mo/s
(ya une VM qui tourne et c'est des vieux disques...)
je suis sur de l'esx 4.0 qui est censé avoir un bug sur le debit disque justement (debit faible)

je crois que je vais appeler OVH c'est juste pas normal.

edit: je viens de faire du menage, j'avais 7 post qui se suivaient....

Message par **dsebire** » jeu. 7 avr. 2011 13:54

pour ceux que ça interesse, vu que dans ESXi 4.1 ya plus le Host update utility, ya moyen de l'avoir quand meme
faut installer le msi qu'on trouve dans les anciens Vsphere client puis suivre ce tuto (normalement pour 7 mais c'est pareil sous XP, testé et validé sur 2 machines)
http://www.techhead.co.uk/running-vmwar ... -windows-7

je viens de patcher un ESXi 4.1 avec cette bidouille

Message par **dsebire** » ven. 8 avr. 2011 09:10

reprise des tests ce matin (sur les perfs disk)
copîe d'un fichier de 3.5Go a l'interieur d'une VM
meme si la source et la destination etaient sur des disques logiques différents, physiquement ça ecrit sur le meme disque.

debut de la copie: 50Mo/s content le gars....
arrivé a 2go, ça baisse, ça s'ecroule meme. la vitesse moyenne se stabilise a 3.3Mo/s donc idem que dans la console

en regardant de plus près les 2 premiers Go ont remplis le cache Windows donc ça bridait a la vitesse de lecture

=> idem VM et console, ça avance pas. chuis au tel avec OVH, je vous dis ce qu'il en ressort.

PS: il y a apparement une limitation au niveau de la console qui n'apparait pas au niveau du Vsphere ou des VM mais je n'ai rien pu trouver d'officiel la dessus. dans mon cas de toute façon, le problème est pas la puisque ça bride dans tous les cas !
http://communities.vmware.com/message/1731437

Message par **dsebire** » ven. 8 avr. 2011 10:37

OVH: dans le cas du raid hardware, le cache en ecriture est déscativé !!!!
a ce qu'il parait, si le cache est activé, il arrive qu'il s'emballe et cause de la corruption de données et rend impossible la synchro des disques.

donc le techos au tel s'est fait engueler magistralement (option RAID hardware à 34€HT/mois quand meme pour des perfs lamentables)

après qq minutes de discussion il a quand meme convenu que bien que le cache soit desactivé, 4Mo/s c'est quand meme très bas.
donc il vont tester sur une autre machine avec conf similaire pour verifier si les disques/controleur n'ont pas un problème.

apparement, on peut demander a activer le cache en ecriture mais "a nos risques et perils". en clair plus de support

Message par **gizmo78** » ven. 8 avr. 2011 11:34

ovh baisse vraiment... je trouve ca nul car la ca fait pas de la bonne pub...

Message par **dsebire** » ven. 8 avr. 2011 12:26

c'est clair que c'est carrement redibitoire.
malheuresement j'ai pas le choix (GTR 4h niveau 1, ce sont les seuls a le faire)

Message par **kalistyan** » ven. 8 avr. 2011 12:37

Moi qui songeais prendre leur "Private Cloud" ici cela me fait réfléchir...

Message par **dsebire** » ven. 8 avr. 2011 13:23

fut un temps, tu pouvais tester leur offres pendant plusieurs jours gratos, par contre faudra etre intensif sur les tests

Message par **jc2011** » ven. 8 avr. 2011 13:30

salut, ton disk de destination a quel système de fichier ? VMFS ?

Message par **dsebire** » sam. 9 avr. 2011 07:39

oui, c'est le datastore des vm

retour d'OVH ce matin:
le cache en ecriture est désactivé car pas de BBU sur le controleur.
pour 34€HT/mois ça a du mal a passer....
ils déconseillent de forcer le cache car en cas de problème blablabla... je leur ai demandé si ils le déconseillaient a cause d'un système electrique non fiable chez eux (ils sont censé etre ondulés + groupe electrogene) donc le BBU on s'en cogne.

j'ai aussi demandé quel est le debit avec le cache activé, a suivre.

Message par **kalistyan** » sam. 9 avr. 2011 11:25

Bah bordel

...cela devrait être indiqué que le cache est off.

Message par **dsebire** » ven. 26 déc. 2014 21:50

pour ceux que ça interesse, vu que dans ESXi 4.1 ya plus le Host update utility, ya moyen de l'avoir quand meme
faut installer le msi qu'on trouve dans les anciens Vsphere client puis suivre ce tuto (normalement pour 7 mais c'est pareil sous XP, testé et validé sur 2 machines)
http://www.techhead.co.uk/running-vmwar ... -windows-7

je viens de patcher un ESXi 4.1 avec cette bidouille

dans le meme genre de bidouille, si vous avez un hote ESXi 5.5, le client VSphere n'est pas compatible avec XP/2003.
en fait, le niveau de crypto necessaire pour se connecter a l'hyperviseur n'est pas supporté par XP/2003.

mais (il y a toujours un mais) ya un workaround:
http://kb.vmware.com/selfservice/micros ... Id=2049143

1.Connect to the host via SSH. For more information, see Using ESXi Shell in ESXi 5.0 and 5.1 (2004746). 
2.Navigate to the directory:

/etc/vmware/rhttpproxy/


3.Backup the config.xml file. Do not skip this step. 
4.Open config.xml file using vi editor. For more information, see Editing files on an ESX host using vi or nano (1020302). 
5.Add the ALL parameter between the ... section of the configuration file. Use the model below as an example: 


...

...

 false 
true
/lib/
120000
ALL

...

...



6.Save and close the config.xml file 
7.Reset the rhttpproxy service for the change to take effect by running the command:

/etc/init.d/rhttpproxy restart

youpi, ça marche !!!!

PS: je suis en cours de migration W7 mais le client qui me sert a me connecter a l'hote sera le dernier a migrer, du coup fallait que ça marche sur XP.

Message par **Xender** » ven. 26 déc. 2014 23:16

J'ai eu un problème similaire au tient concernant les débits d'écriture.
sur un R200 et Esxi 5.5. J'utilisais le contrôleur sata du r200 mais je ne dépassais pas les 20 mo/s. J'ai donc prit une Perc 6 avec raid 0 et je monte a plus de ~170 mo/s. (Les disques sont resté les même entre temps.)

Tu as un contrôleur Raid sur le serveur actuel ? Si oui lequel ?
(Cache désactivé je suis à ~170 mo/s aussi)

Je n'ai jamais trouvé le problèmes ...

Mais j'ai trouvé une solution

Message par **dsebire** » sam. 27 déc. 2014 13:32

Ça date de 2011, la machine a été remplacée depuis.
Le contrôleur était une Lsi mais je ne me souviens plus du modèle précis.
Mais je suis quasi sur que mes soucis étaient liés au cache désactivé

Message par **Xender** » sam. 27 déc. 2014 14:07

Ah ouais j'avais pas regardé la date

J'ai eu le même soucis sur une IBM 5014 ! Pas plus de 20mo/s Tout ça parce qu'elle était en mode write back. Maintenant ~280-300mo/s. Donc c'était surement un problème dans le genre pour toi

En tout cas ça y ressemble beaucoup.

Message par **dsebire** » sam. 27 déc. 2014 16:06

oui, c'est meme sur, avoué par le support OVH.
a l'epoque l'option RAID hard etait payante, mais ils avaient juste oublié de preciser que ils avaient été radins au point de ne pas prendre la batterie sur le cache et que ça desactivait donc le cache en ecriture !
resultat => perfs minables

Message par **dsebire** » mar. 30 déc. 2014 19:06

aller, derniere bidouille et j'arrete pour les 3 prochaines années

speciale dedicace a kali, qio comme moi est un fervent admirateur du SCSI (bon, moi j'ai failli, la grappe RAID est passée en SATA)

donc si vous etes comme moi, un vieux (con) parano qui fait encore ses backups sur bande, vous allez très vite vous appercevoir que quasi aucun controleur SCSI n'est encore supporté dans la HCL de ESX(i) 5.5

ce qui exclu quasi d'office de brancher des lecteurs de bande sur votre ESX et passer le periph scsi a une VM pour faire les backups de ce qui est dedans.

en fait, les drivers sont toujours inclus dans l'image mais pas chargés au demarrage car le map est pas fait entre le driver et les periphériques !!

du coup:
https://communities.vmware.com/message/ ... =0#2428666

donc, on remplace la LSI 1020 du Pc, on met une vieille dapatec 39320 (a base de chip aic7802), un petit coup de ssh sur l'hote et:

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --driver="aic79xx" --description="Adaptec SCSI 78xx HBA"

le controleur apparait dans la liste des controleurs de stockage, mon LTO est detecté et hop, un petit ajout de periph SCSI a la VM et le backup tourne !

je ne sais pas si un reboot de l'hote est necessaire, j'ai mis la commande AVANT d'arreter la machine et y mettre l'adaptec. du coup, detecté direct au demarrage.

je sais pas si c'est ma config ou les bidouillages divers qui font ça mais ça a pas l'air rapide.
3h annoncées pour 60Go (donc 20Go/h, 330Mo/min)
edit:> ça vient de passer a 1h40, et ça baisse, je devais etre sur des petits fichiers pourris
je passe donc a plus de 600Mo/min

Message par **kalistyan** » mar. 30 déc. 2014 19:22

Message par **dsebire** » mar. 30 déc. 2014 20:36

backup fini:
53mn pour 56Go donc 1Go/min, ce qui est très raisonnable pour un LTO2

PS: ça marche aussi avec des peripheriques SATA sur des controleurs AHCI (attention, faut le driver du controleur quand meme, AHCI reconnu comme SCSI sur VMWare)
par ex, vous pouvez passer un disque SATA en direct a la VM, sans creer de datastore dessus ! (pratique pour des disques en vrac que vous passez après un XPenology ou freenas, ou simplement un lecteur de bande SAS/SATA)

Message par **Xender** » mer. 31 déc. 2014 00:33

Passer les disque en RDM sur une VM fais la même chose non ? (quand on veut récup un disque direct sur une VM)

Message par **dsebire** » mer. 31 déc. 2014 08:16

Un peu, oui.
Mais la on est plus proche du directpath (envoyer le disque physique a la vm) car sans passer par un datastore (ce que le rdm émule)
Et ca marche avec tout ce qui est vu comme du scsi (lecteur optique, magnétique, disque dur....)

Message par **Xender** » mer. 31 déc. 2014 09:07

D'acc.
C'était pour bien comprendre la diff.

Message par **dsebire** » jeu. 29 janv. 2015 16:42

aller, derniere bidouille et j'arrete pour les 3 prochaines années

je suis faible....

donc, vous aurez remarqué que esxi 5.X inclus un firewall.
cool ! enfin un truc qui filtre un peu quand les machines sont exposées.

sauf que du coup, ya des trucs qui marchent plus

exemple, un FTP passif pour externaliser un backup de VM
seul le FTP actif est activable dans la console ESXi

donc on va créer une règle pour le FTP passif !

vi /vmfs/volumes/Backups/PassiveFTPClient.xml

le fichier doit nécessairement être a un endroit qui est dispo après un reboot.

on colle ça dedans:


  
    
        PassiveftpClient
        
          outbound
          tcp
          dst
          
             65500
             65535
          
        
        
          outbound
          tcp
          dst
          20
        
        
          inbound
          tcp
          src
          
             65500
             65535
          
        
        false
        false

le port 20 est dans mon cas le port sur lequel le serveur écoute (21 en standard) et la plage 65500-65535 la page des ports passifs (c'est aussi a vous de configurer ça sur le serveur) sur laquelle le serveur répond (et donc sur laquelle le client va causer)

il faut donner des droits spécifiques au fichier:

chmod 444 /vmfs/volumes/Backups/PassiveFTPClient.xml

ensuite, on va modifier le script de démarrage pour copier le ficher qu'on a créé dans la zone de config du firewall

vi /etc/rc.local.d/local.sh

on ajoute a la fin (avant le "exit 0"):

cp /vmfs/volumes/Backups/PassiveFTPClient.xml /etc/vmware/firewall/
esxcli network firewall refresh

voila, ça sera opé après un reboot.
évidement, c'est personnalisable avec n'importe quel service (suffit de modifier ports in/out)

lancez les commandes que vous venez de copier dans /etc/rc.local.d/local.sh

pour vérifier que c'est chargé en tapant:

esxcli network firewall ruleset list

et maintenant, il faut activer la règle:

esxcli network firewall ruleset set -e true -r PassiveftpClient

si vous relancez

esxcli network firewall ruleset list

vous verrez que la règle est passé de false a true

inutile de tenter d'editer "/etc/vmware/firewall/service.xml", il sera écrasé au prochain reboot.

sources:
http://kb.vmware.com/selfservice/micros ... Id=2008226
http://kb.vmware.com/selfservice/search ... Id=2011818
+ un peu (beaucoup) d'inspiration

Message par **kalistyan** » jeu. 29 janv. 2015 17:14

J'ai rencontré le problème avec l'infra de Online.

Message par **dsebire** » jeu. 29 janv. 2015 17:21

pas de soucis chez OVH, leurs serveurs FTP sont en actif uniquement, et sont maintenant montables en NFS directement (supporté par esx en direct)

en fait, j'ai eu le soucis au taf, ou j'upload les backup sur un NAS avant passage de la bande.