SMPFR

Salut à tous,

J'vais m'en remettre à vous parce que la je n'y comprend plus grand chose.

J'ai un serveur ubuntu 11.10 qui sert des targets Iscsi à des ESXi 5 et 3.5 grâce a IETD.

Suite a une panne matériel sur le serveur j'ai dû le rebooter et depuis le démon ietd plante de manière aléatoire (au bout de quelque secondes ou quelque minutes).

Quand le démon plante j'ai une grosse stack trace dans le syslog mentionnant un bug du kernel toussa et des problème diverses mais pas moyen de savoir d'ou ça vient vraiment.

Il y à en tout 12 ESXi qui était connecté sur le serveur et la depuis le reboot certains arrivent à récupérer les targets d'autres si on fait un rescan de l'adapter font planter le démon ietd et d'autres trouve les targets en "dead or error".

Dans tout les cas si jamais ont récupère les targets et qu'on veut lancer une VM au bout de quelque instant le démon ietd crash (reboot obligatoire, impossible de le restart et le kill -9 sur le process ne fait rien).


Voila, si quelqu'un à déjà rencontrer un problème similaire ou aurait une idée de ce qui peut provoquer ça, ça m'aiderai bien.

Sinon plus généralement vous utiliser l'iscsi vous, et si oui sur quelles machines quelles distribs et avec quels soft ?

Openfiler 2.3 sur un vieux HP DL360. Mais je n'ai qu'un seul serveur ESXi 3.5.

Quant à ton problème... ne peux malheureusement pas t'aider.

Openfiler j'avais testé il y a longtemps j'avais été déçu par un problème de performance. Mais ça date déjà comme expérience.

J'pensai monter une openindiana et profiter de ZFS pour faire un serveur de stockage un peu plus sérieux.

Y en à qui ont déjà testé ?

ca en parle de partout sur smp

En parler ça j'ai vu ^^

Mais y en à qui en ont vraiment mis en place ?

Perso je m'en servirai comme gateway fibre channel -> iscsi puisque j'ai pas de vrai réseau san dans l’environnement dans lequel je bosse.

Salut à tous,

J'vais m'en remettre à vous parce que la je n'y comprend plus grand chose.

J'ai un serveur ubuntu 11.10 qui sert des targets Iscsi à des ESXi 5 et 3.5 grâce a IETD.

Suite a une panne matériel sur le serveur j'ai dû le rebooter et depuis le démon ietd plante de manière aléatoire (au bout de quelque secondes ou quelque minutes).

Quand le démon plante j'ai une grosse stack trace dans le syslog mentionnant un bug du kernel toussa et des problème diverses mais pas moyen de savoir d'ou ça vient vraiment.

Il y à en tout 12 ESXi qui était connecté sur le serveur et la depuis le reboot certains arrivent à récupérer les targets d'autres si on fait un rescan de l'adapter font planter le démon ietd et d'autres trouve les targets en "dead or error".

Dans tout les cas si jamais ont récupère les targets et qu'on veut lancer une VM au bout de quelque instant le démon ietd crash (reboot obligatoire, impossible de le restart et le kill -9 sur le process ne fait rien).


Voila, si quelqu'un à déjà rencontrer un problème similaire ou aurait une idée de ce qui peut provoquer ça, ça m'aiderai bien.

Sinon plus généralement vous utiliser l'iscsi vous, et si oui sur quelles machines quelles distribs et avec quels soft ?

salut,

tu as 12 hote ESXi qui font du iscsi sur ton serveur linux ???

ça me parait énorme...

enfin sinon openindiana c'est nexentastor CE à peu de chose pres.

A savoir que je n'ai pas eu de soucis avec nexentastor alors que j'en ai eu avec freenas et openfiler

Ouaip le chiffre fait peur, mais 11 des machines sont des lames HS20 avec des xeon 604 et 4go de ram qui font tourner entre 2 et 4 machines linux ou 1 à 2 machines windows.

En tout et pour tout il doit y avoir 30 machines virtuelles qui tourne.

Oui j'avais vu que nexentastor était basé sur openindiana. Par contre si je me trompe pas la community edition souffre de pas mal de limitation non ?

tu as un blade center chez toi ? photos ?

Non, pas chez moi ^^

Ce sont les machines du taf ça.

Sans charges ces trucs font au moins 90DB pas moyen que je mette ça dans mon appart ^^

Ouaip le chiffre fait peur, mais 11 des machines sont des lames HS20 avec des xeon 604 et 4go de ram qui font tourner entre 2 et 4 machines linux ou 1 à 2 machines windows.

En tout et pour tout il doit y avoir 30 machines virtuelles qui tourne.

Oui j'avais vu que nexentastor était basé sur openindiana. Par contre si je me trompe pas la community edition souffre de pas mal de limitation non ?

je crois que la limitation c'est 18 Tb

alu : quel est le backend ISCSI , un SAN; un serveur homemade ?

je dirais un serveur vu qu'il est sous ubuntu, après doit y avoir une baie d'y attaché nan?

Yep c'est un serveur,un IBM x345 attaché sur 2 baie IBM FASTT200 Fibre Channel.

Il redistribue les luns qu'il reçoit en fibre en Iscsi.

Je suis en train de tester nexentastor CE sur une autre infra la.
C'est assez cool comme truc, l'interface de gestion est pas trop mal foutu et j'ai réussi rapidement à faire des target Iscsi et des share NFS.

Commence à me plaire cette petite distrib

c'est possible de dumper la conf des initiateurs ?

Les initiators sont des ESXi donc conf ultra minimal juste un iqn et une adresse pour la dynamic discovery.

Du coté des targets j'ai ietd configuré pour servir des lun venant du san en block io.

Si j'ai le temps j'essaierai de dumper sa config en détail.

tu n'as aucune perte de connexion, mais pourtant le process part au carton :/ bizarre. Les logs du kernels ne donnent rien de potable ?

Je sortirai les logs, mais ce que je peux dire c'est que c'est une grosse stack trace d'un "kernel bug"

Ouai c'est très étrange, il faudrait que je vois si j'utilise la dernière version de ietd

J'utilise open-iscsi en production depuis des années, le démon n'a JAMAIS planté une seule fois, d'où mon grand étonnement. Il faut voir si tu n'aurais pas plutôt un problème hardware. D'ailleurs le démon gère la persistance des connexions, par défaut tu peux perdre 120 secondes, il est capable de conserver la connexion avec la target une foi le lien revenu. Quelle version du kernel ?

Problème résolu ^^.

C'est un bug qui est résolu dans les sources mais pas encore dans le paquet sous ubuntu 11.10.

Ubuntu server kernel 3.0.0.17-pae
ietd v1.4.20.3


J'ai isolé sur un même réseau un esxi5 et mon server iscsi et dès que je fait un scan voila ce qu'il se passe :

[cpp]Apr 10 13:38:26 Bubuntu kernel: [ 454.369619] iSCSI Enterprise Target Software - version 1.4.20.3
Apr 10 13:38:26 Bubuntu kernel: [ 454.370027] iscsi_trgt: Registered io type fileio
Apr 10 13:38:26 Bubuntu kernel: [ 454.370036] iscsi_trgt: Registered io type blockio
Apr 10 13:38:26 Bubuntu kernel: [ 454.370041] iscsi_trgt: Registered io type nullio
Apr 10 13:38:49 Bubuntu kernel: [ 478.080395] e1000: eth0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
Apr 10 13:38:49 Bubuntu kernel: [ 478.080756] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
Apr 10 13:38:51 Bubuntu kernel: [ 479.440372] e1000: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
Apr 10 13:38:51 Bubuntu kernel: [ 479.440706] ADDRCONF(NETDEV_CHANGE): eth1: link becomes ready
Apr 10 13:39:00 Bubuntu kernel: [ 488.872016] eth0: no IPv6 routers present
Apr 10 13:39:02 Bubuntu kernel: [ 490.336013] eth1: no IPv6 routers present
Apr 10 13:44:34 Bubuntu kernel: [ 822.228591] iscsi_trgt: BUG at /var/lib/dkms/iscsitarget/1.4.20.2/build/kernel/iscsi.c:392 assert(req->tio)
Apr 10 13:44:34 Bubuntu kernel: [ 822.229849] Pid: 2024, comm: istiod3 Not tainted 3.0.0-17-generic-pae #30-Ubuntu
Apr 10 13:44:34 Bubuntu kernel: [ 822.229854] Call Trace:
Apr 10 13:44:34 Bubuntu kernel: [ 822.229871] [] ? printk+0x2d/0x2f
Apr 10 13:44:34 Bubuntu kernel: [ 822.229886] [] send_data_rsp+0x1b4/0x1f0 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.229895] [] ? _raw_spin_lock+0xd/0x10
Apr 10 13:44:34 Bubuntu kernel: [ 822.229905] [] ? is_volume_reserved+0x3e/0x70 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.229914] [] disk_execute_cmnd+0x23c/0x280 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.229922] [] worker_thread+0x119/0x2b0 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.229931] [] ? default_wake_function+0x10/0x20
Apr 10 13:44:34 Bubuntu kernel: [ 822.229938] [] ? __wake_up_common+0x47/0x70
Apr 10 13:44:34 Bubuntu kernel: [ 822.229943] [] ? try_to_wake_up+0x190/0x190
Apr 10 13:44:34 Bubuntu kernel: [ 822.229951] [] ? nthread_stop+0x50/0x50 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.229960] [] kthread+0x6d/0x80
Apr 10 13:44:34 Bubuntu kernel: [ 822.229965] [] ? flush_kthread_worker+0x80/0x80
Apr 10 13:44:34 Bubuntu kernel: [ 822.229974] [] kernel_thread_helper+0x6/0x10
Apr 10 13:44:34 Bubuntu kernel: [ 822.230015] ------------[ cut here ]------------
Apr 10 13:44:34 Bubuntu kernel: [ 822.230604] kernel BUG at /var/lib/dkms/iscsitarget/1.4.20.2/build/kernel/iscsi.c:392!
Apr 10 13:44:34 Bubuntu kernel: [ 822.231610] invalid opcode: 0000 [#1] SMP
Apr 10 13:44:34 Bubuntu kernel: [ 822.232165] Modules linked in: iscsi_trgt vesafb psmouse serio_raw scb2_flash mtd chipreg map_funcs i2c_piix4 sworks_agp lp parport qla2xxx scsi_transport_fc floppy ips e1000 scsi_tgt pata_serverworks e100
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556]
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] Pid: 2024, comm: istiod3 Not tainted 3.0.0-17-generic-pae #30-Ubuntu IBM eserver xSeries 345 -[867031X]-/
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] EIP: 0060:[] EFLAGS: 00010286 CPU: 3
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] EIP is at send_data_rsp+0x1b4/0x1f0 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] EAX: 00000000 EBX: f1b49798 ECX: 00000000 EDX: 00000000
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] ESI: f1b49798 EDI: f1b44dc0 EBP: f14f5f4c ESP: f14f5f10
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] DS: 007b ES: 007b FS: 00d8 GS: 00e0 SS: 0068
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] Process istiod3 (pid: 2024, ti=f14f4000 task=f170b300 task.ti=f14f4000)
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] Stack:
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] f86b3e68 f86b3e30 00000188 f86b55d7 00000000 00000000 f14f5f30 c155d97d
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] 00000000 f86aeb6e 003d0200 00000000 f1b49798 f1b49798 f1b44dc0 f14f5f6c
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] f86b015c 00000000 f1b49870 f754d000 f1b44dc0 f1b49798 f754d000 f14f5fb8
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] Call Trace:
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? _raw_spin_lock+0xd/0x10
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? is_volume_reserved+0x3e/0x70 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] disk_execute_cmnd+0x23c/0x280 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] worker_thread+0x119/0x2b0 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? default_wake_function+0x10/0x20
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? __wake_up_common+0x47/0x70
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? try_to_wake_up+0x190/0x190
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? nthread_stop+0x50/0x50 [iscsi_trgt]
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] kthread+0x6d/0x80
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] ? flush_kthread_worker+0x80/0x80
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] [] kernel_thread_helper+0x6/0x10
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] Code: eb ca c7 44 24 0c d7 55 6b f8 c7 44 24 08 88 01 00 00 c7 44 24 04 30 3e 6b f8 c7 04 24 68 3e 6b f8 e8 f8 21 ea c8 e8 b6 fd e9 c8 0b 89 74 24 0c c7 44 24 08 fb 00 00 00 c7 44 24 04 cc 34 6b
Apr 10 13:44:34 Bubuntu kernel: [ 822.232556] EIP: [] send_data_rsp+0x1b4/0x1f0 [iscsi_trgt] SS:ESP 0068:f14f5f10
Apr 10 13:44:34 Bubuntu kernel: [ 822.257470] ---[ end trace 256963e4d24f330f ]---
[/cpp]


Ca passe tout seul en compilant les sources depuis le svn (https://iscsitarget.svn.sourceforge.net ... scsitarget)

Bon ça a tenu un petit moment mais j'ai quand même des segfault aléatoire de temps en temps :


[cpp]Apr 13 09:24:22 Bubuntu kernel: [242981.602415] iscsi_trgt: scsi_cmnd_start(1084) Unsupported 93
Apr 13 09:24:22 Bubuntu kernel: [242981.625060] iscsi_trgt: cmnd_skip_pdu(472) b4921700 1c 93 512
Apr 13 09:51:48 Bubuntu kernel: [244628.195172] ietd[2388]: segfault at 8364e80c ip 0072b27d sp bf94568c error 4 in libc-2.13.so[6bb000+178000]
Apr 13 09:51:48 Bubuntu kernel: [244628.195561] iscsi_trgt: Removing all connections, sessions and targets
[/cpp]

C'est moins violent qu'avant puisque dès que je restart le daemon les opérations reprennent normalement (les VM continue comme si de rien n'était)

Après quelque googleling je suis pas vraiment fixé sur la cause du problème