SMPFR

Salut,

Je me demande s'il existe des softs, si possible natifs sur debian, pour faire une gestion de charge pour des VM (aussi pour debian).
L'idée serait d'avoir un bus, ou un système de queue, et suivant la charge de la machine X lui envoyer ou non du boulot.
Aujourd'hui, la répartition est faite via HAproxy, mais il ne fait que distribuer à tel ou tel VM le boulot. Si les VM sont déjà trop chargée elles sont quand même gavée.
Le système actuel est trop basique : un script php perdu dans un beanstalk appel (en fopen, même pas en curl) un script php sur le système d'encodage qui lui appel avconv (c'est un peu plus compliquer mais le principe est là)

J'hésite sur deux améliorations.
Soit mettre en place un système de buffer de tâches localement sur chaque VM. Ce qui serait, il me semble le plus simple.
Mais, les VM sont anciennes, c'est du debian 6... ce qui limite un peu les possibilité native.
Soit mettre en place un système plus complexe, où les VM debian sont de simple calculateurs,et gérer le buffer de tâche en amont.
C'est là qu'interviendrait un logiciel qui permttrait à la fois de savoir si une VM se tourne les pouces ou non.
Et puis il y a le high management qui veut des graphiques...

Merci

je verrais bien un bricolage assez facile, à voir comment le rendre plus fiable. Mais périodiquement tu mesures la charge des VM et tu pondères dans HAProxy tes VM en fonction de la charge disponible.

Encodage : vidéo ?!

augur vu les infos (avconv) c'est du fait maison

Oui, encodage vidéo "statique" (on prend ce qui vient est on le transforme en vidéo suivant un schéma spécifique) et création des images de prévisualisation.

Il me semble qu'il y a déjà des client zabbix dessus. Je ne connais pas l'outil (enfin, juste de nom), à voir si je peux récupérer ses infos.

L'idée de fonctionnement est simple, les gens postes une vidéo sur un site, elle est récupérée, puis encodée sous forme de vidéo pour être affichée en suite en "preview" directement sur le dit site.

C'est un vieux système qui utilisé fvec à l'origine et que j'ai modifié pour utiliser avconv. Mais, ça fait des mois que je pleure pour qu'il y ait une tolérance de coupure réseau etc...
Les sysadmin se plaignent d'engorgements etc...

DU coup je voudrais proposer une évolution complète du truc. Par contre, comme toujours, 0 budget. L'informatique, c'est magique !!

ah ben ca
classique

Tu fais une fifo style redis ou rabbitMQ et quand un serveur à un slot de libre il prend le boulot. Tu peux surveiller la taille de la fifo avec ça.
En mettant des trucs en base tu pourras aussi avoir plein d'informations. Et c'est vraiment très simple à mettre en place

+1 MQTT ou équivalent ca marcherait nickel

Oui, j'avais pensé à ça. Mais on m'a vite expliqué comment m'en passer...
C'est pour ça que je voulais savoir s'il n'y a pas un soft qui fait déjà ça ou l'équivalent. Genre calcul distribué.
Les sysadmins font apt-get install
déploiement d'un fichier conf
et puis voilà.
Et comme les VM sont en deb6, virer apche/php5 et tout le tsoin tsoin, juste ouvrir un socket et serveur qui lance un script shell quand il reçoit une commande. Alors, que là, utiliser rabittmq, ou autre, ça veut dire avec du code client, et donc avoir un env compatible etc...
La version d'avconv qui tourne est la 0.8... j'ai déjà fais des verrues pour contourner des petits bugs, pourtant corrigés dans des versions plus récentes. (la version max de php est la 5.3.3 je crois ou 5.3.9).
Je me pose trop de questions pt

Connais pas le truc... mais Telestream Episode pro Engine ou Vantage le fait, et c'est ce qu'on utilise en broadcast : il n'y a pas mieux !

Avant c'etait Carbon Coder qui etait principalement utilisé mais l'encodage h264 et sa gestion de node ne sont pas terrible.

Merci pour les références !

Je vasi essayer de faire un maquettes avec rabbitmq, au moins pour essayer de jouer avec ces outils modernes

Bon, il "faut" que je m'y mette

RipBot264, approuvé & adopté !