Nouveau RAID

Message par **T1nyb0y** » ven. 29 juil. 2011 21:43

les copains

J'ai un petit problème avec une machine.

Ubuntu 11.04 avec 4 disques de 1.5 To en SATA.

sur chaque disque j'ai:
une partition swap de 1Go
une partition raid 1 de 100Mo
une partition raid 5 qui occupe le reste de l'espace disque (md1)
sur le raid 1 j'ai mon /boot
sur le raid un lvm avec mon système et mes données.
Tous les raid sont soft (mdadm)

Au démarrage la machine m'ouvre un prompt initramfs.
Je ne sais pas trop de quoi ça pourrait venir, j'aimerais contrôler si mon raid n'a pas pris un coups.
Je connais un peu la création / modification de raid avec mdadm, mais c'est la première fois que j'ai un raid qui ne marche pas. Je ne sais pas trop quelles sont les commandes qui peuvent endommager mon raid.

En faisant un :
[cpp]mdadm -D /dev/md1 [/cpp]
j'obtiens :
[cpp]mdadm: CREATE user root not found
mdadm: CREATE group disk not found
mdadm: md device /dev/md1 does not appear to be active[/cpp]

Qqun pourrait-il me dire par où commencer ?

Edit:
je viens de faire un:
[cpp]cat /proc/mdstat
Personalities : .............
md0: active raid1 sdb2[1] sdd2[2] sdc[3]
146368 blocks [4/3] [_UUU]
md1: inactive sdc3[3](S) sdd3[2](S) sdb3[1](S) sda3[0](S)
5858012928 blocks
unused devices: none
[/cpp]
Déjà y'a l'air d'y avoir un disque qui manque dans le md0

Ensuite que veulent dire les (S) sur le md1 ?

Bon après quelques recherches, j'ai essayé ça:
[cpp]mdadm --stop /dev/md1
mdadm --assemble /dev/md1 /dev/sda3 /dev/sdb3 /dev/sdc3 /dev/sdd3
mdadm: CREATE user root not found
mdadm: CREATE group disk not found
mdadm: device 3 in /dev/md1 has wrong state in superblock, but /dev/sdc3 seems ok
mdadm: /dev/md1 assembled from 2 drives - not enough to start the array
[/cpp]

Comprends pas pourquoi il ne prend que 2 disques, je lui en ai bien passé 4 et il ne relève qu'une erreur sur le 3ème.

Du nouveau
[cpp]
mdadm --assemble --force /dev/md1 /dev/sda3 /dev/sdb3 /dev/sdc3 /dev/sdd3
mdadm: CREATE user root not found
mdadm: CREATE group disk not found
mdadm: cannot open device /dev/sda3: Device or ressource busy
mdadm: /dev/sda3 has no superblock - assembly aborted
[/cpp]

Message par **dricfr** » ven. 29 juil. 2011 23:08

Salut, tes partitions sont peut-être déjà utilisées, c'est pour ça qu'il ne les trouvent pas.

Message par **T1nyb0y** » ven. 29 juil. 2011 23:13

Hmm je ne sais pas. En tout cas, je n'ai rien de monté

Message par **dricfr** » ven. 29 juil. 2011 23:17

Que te donne la commande "mdadm --detail --scan --verbose" stp ?

EDIT : As-tu fait un "mdadm --examine /dev/sdX" sur tes devices pour voir le contenu des superblock, peut-être que ça te donnera des infos intéressantes ?

Message par **T1nyb0y** » ven. 29 juil. 2011 23:25

le examine sur sda3 me dit:

no md superblock detected on /dev/sda3

Message par **dricfr** » ven. 29 juil. 2011 23:32

Hum, peut-être y a-t-il un soucis au niveau des chemins des devices.
As-tu vérifié que la numérotation des partitions n'avaient pas changée ?

"fdisk -l" devrait te donner le détail des disques physiques et des partitions.

EDIT: je suis sous Debian, attention à fdisk c'est une commande dangereuse ! Vérifie que l'option -l n'a pas une autre signification sur ton système ( y a pas de raison avec Ubuntu).

Message par **T1nyb0y** » ven. 29 juil. 2011 23:35

le truc un peu embêtant c'est que je n'ai pas de fdisk / vi et autres outils bien pratiques ... =(

je viens de faire --assemble sans le disque qui ne marche pas (sda3). du coups mon raid apparaît à nouveau dans le /proc/mdstat mais je ne sais pas pourquoi il me dit toujours qu'il a assemblé depuis 2 disques et que ça ne suffit pas

Message par **dricfr** » ven. 29 juil. 2011 23:38

Mais, le problème est survenu quand ? Juste après un reboot ou alors tu viens d'installer le système ?

Message par **T1nyb0y** » ven. 29 juil. 2011 23:41

Après un reboot.
En plus ce n'est pas ma machine donc je ne sais pas s'il y a eu une mise à jour ou qqch dans ce genre.

Parcontre le no superblock sur sda3 c'est de ma faute, en cherchant une solution je suis tombé sur un tuto qui demandait de --zero-superblock sur le disque qui ne fonctionnait pas.

Message par **T1nyb0y** » ven. 29 juil. 2011 23:44

Ce que je ne comprends pas, c'est que le " /dev/sdXY has no uperblock" je l'ai pour tous les disques.

Que j'essaye d'assembler 1 2 3 ou4 disques à chaque fois j'ai ce message avec un disque différent

Message par **dricfr** » ven. 29 juil. 2011 23:44

Ton cat /proc/mdstat est étrange.

Déja dans personnalities tu devrais avoir raid1 et raid5. Es-tu sur que les modules sont chargés ? Et puis j'ai l'impression que /dev/sdc3 est présent dans md0 (qui fonctionne ) et md1.

Message par **dricfr** » ven. 29 juil. 2011 23:47

Houlà, si tu as fait "--zero-superblock" je pense que ça va être difficile . C'est comme ça que j'ai mis définitivement perdu mon aire raid5 il y a quelques temps.

Je vais essayer de retrouver mes notes.

Message par **T1nyb0y** » ven. 29 juil. 2011 23:54

euh le mdstat j'ai mis ..... mais y'a bien:
[linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]

PS j'a trouvé cette commande sur une liste debian:

mdadm -Cv /dev/md0 -l5 -n5 /dev/sda /dev/sdb /dev/sdc /dev/sdc /dev/hdc
Donc en gros recréer le raid. avec les disques. Mais je peur que si mes disques déconnent, je perde tout.

Avant de faire mon "zérotage", le --examine me disait que mon disque était bon

PS: C'est marrant, je viens de voir que c'est aussi le sda qui manque dans le raid1

Message par **dricfr** » sam. 30 juil. 2011 00:13

Avant de recréer il faut être *** SUR *** d'assembler les bons devices sinon mdadm risque d'écraser des données en reconstruisant l'aire !

Message par **dricfr** » sam. 30 juil. 2011 00:24

J'ai retrouvé un lien qui m'avait servit, surtout l'option "build" pour un raid 5 :
http://blog.maxux.net/index.php?post/20 ... us-reconnu

Bon, ça n'a pas marché jusqu'au bout pour moi, mais peut-être que ça t'aidera.

Désolé de ne pas pouvoir faire plus !

Bon courage.

Message par **T1nyb0y** » sam. 30 juil. 2011 09:19

T'as déjà fait beaucoup

Merci

Bon j'ai du nouveau, il semblerait que la nuit dernière, il y ait eu une coupure de courant ...

Bon de mon côté j'avais trouvé la même solution: recréer le raid.
Ça à l'air de marcher pour pas mal de gens.

Dans mon cas je ne sais pas si tous mes disques sont bons, est-il possible de recréer le RAID avec un disque qui ne fonctionne pas ?
Je pense qu'il faudrait que je trouve un moyen de tester, voir si tous mes disques sont bon. Je vais aller me faire un liveCD, histoire d'avoir au moins les outils de base ...

Message par **gizmo78** » sam. 30 juil. 2011 09:37

tu peux, quand tu crée ton raid y a une option pour le mettre enmode dégradé, regarde la doc ubuntu la dessus c'est marqué a la fin

Message par **T1nyb0y** » sam. 30 juil. 2011 11:14

Bon j'ai du nouveau

Alors après un
[cpp]sudo fdisk -l | grep raid
/dev/sda2 182384 182402 146432 fd Linux raid autodetect
/dev/sda3 61 182384 1464503296 fd Linux raid autodetect
/dev/sdb2 182384 182402 146432 fd Linux raid autodetect
/dev/sdb3 61 182384 1464503296 fd Linux raid autodetect
/dev/sdc2 182384 182402 146432 fd Linux raid autodetect
/dev/sdc3 61 182384 1464503296 fd Linux raid autodetect
/dev/sdd2 182384 182402 146432 fd Linux raid autodetect
/dev/sdd3 61 182384 1464503296 fd Linux raid autodetect[/cpp]

[cpp]sudo mdadm --examine /dev/sda3
mdadm: No md superblock detected on /dev/sda3.
[/cpp]
[cpp]sudo mdadm --examine /dev/sdb3
/dev/sdb3:
Magic : a92b4efc
Version : 0.90.00
UUID : d0ed52a3:206bdf03:da545b4d:5dbf398e
Creation Time : Thu Feb 24 19:13:50 2011
Raid Level : raid5
Used Dev Size : 1464503232 (1396.66 GiB 1499.65 GB)
Array Size : 4393509696 (4189.98 GiB 4498.95 GB)
Raid Devices : 4
Total Devices : 3
Preferred Minor : 1

Update Time : Wed Jul 27 22:00:02 2011
State : clean
Active Devices : 1
Working Devices : 1
Failed Devices : 2sudo mdadm --examine /dev/sdd3
/dev/sdd3:
Magic : a92b4efc
Version : 0.90.00
UUID : d0ed52a3:206bdf03:da545b4d:5dbf398e
Creation Time : Thu Feb 24 19:13:50 2011
Raid Level : raid5
Used Dev Size : 1464503232 (1396.66 GiB 1499.65 GB)
Array Size : 4393509696 (4189.98 GiB 4498.95 GB)
Raid Devices : 4
Total Devices : 3
Preferred Minor : 1

Update Time : Wed Jul 27 20:46:58 2011
State : active
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Checksum : c57b1669 - correct
Events : 19614

Layout : left-symmetric
Chunk Size : 64K

Number Major Minor RaidDevice State
this 2 8 51 2 active sync /dev/sdd3

0 0 0 0 0 removed
1 1 8 19 1 active sync /dev/sdb3
2 2 8 51 2 active sync /dev/sdd3
3 3 8 35 3 active sync /dev/sdc3

Spare Devices : 0
Checksum : c57b7424 - correct
Events : 19617

Layout : left-symmetric
Chunk Size : 64K

Number Major Minor RaidDevice State
this 1 8 19 1 active sync /dev/sdb3

0 0 0 0 0 removed
1 1 8 19 1 active sync /dev/sdb3
2 2 0 0 2 faulty removed
3 3 0 0 3 faulty removed
[/cpp]
[cpp]sudo mdadm --examine /dev/sdc3
/dev/sdc3:
Magic : a92b4efc
Version : 0.90.00
UUID : d0ed52a3:206bdf03:da545b4d:5dbf398e
Creation Time : Thu Feb 24 19:13:50 2011
Raid Level : raid5
Used Dev Size : 1464503232 (1396.66 GiB 1499.65 GB)
Array Size : 4393509696 (4189.98 GiB 4498.95 GB)
Raid Devices : 4
Total Devices : 3
Preferred Minor : 1

Update Time : Wed Jul 27 20:47:55 2011
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 1
Spare Devices : 0
Checksum : c57b6342 - correct
Events : 19616

Layout : left-symmetric
Chunk Size : 64K

Number Major Minor RaidDevice State
this 3 8 35 3 active sync /dev/sdc3

0 0 0 0 0 removed
1 1 8 19 1 active sync /dev/sdb3
2 2 0 0 2 faulty removed
3 3 8 35 3 active sync /dev/sdc3
[/cpp]
[cpp]sudo mdadm --examine /dev/sdd3
/dev/sdd3:
Magic : a92b4efc
Version : 0.90.00
UUID : d0ed52a3:206bdf03:da545b4d:5dbf398e
Creation Time : Thu Feb 24 19:13:50 2011
Raid Level : raid5
Used Dev Size : 1464503232 (1396.66 GiB 1499.65 GB)
Array Size : 4393509696 (4189.98 GiB 4498.95 GB)
Raid Devices : 4
Total Devices : 3
Preferred Minor : 1

Update Time : Wed Jul 27 20:46:58 2011
State : active
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Checksum : c57b1669 - correct
Events : 19614

Layout : left-symmetric
Chunk Size : 64K

Number Major Minor RaidDevice State
this 2 8 51 2 active sync /dev/sdd3

0 0 0 0 0 removed
1 1 8 19 1 active sync /dev/sdb3
2 2 8 51 2 active sync /dev/sdd3
3 3 8 35 3 active sync /dev/sdc3
[/cpp]

En lançant Disk Utility sur mon livCD, les partition sd{b,c,d}3 sont bien de type "RAID Component", mais le sda3 apparaît en tant que PV lvm

Message par **dricfr** » sam. 30 juil. 2011 14:06

Ok, donc les partitions en sdX2 appartiennent à md0 qui est un raid 1.
Est-ce que lui fonctionne ? Est-ce qu'il est complet ou est-ce qu'il manque toujours sda2 ?

Au fait, si tu as effacé les superblocks sur les dd, comment se fait-il que tu arrives à faire un "mdadm --examine" dessus ? Cette commande va justement lire les informations des superblock ?

[cpp]-E, --examine
Print content of md superblock on device(s).
[/cpp]

Message par **T1nyb0y** » sam. 30 juil. 2011 14:32

j'arrive à assembler md0, mais sda2 n'est pas pris.
J'ai effacé le superblock de sda3 (donc de md1).

Et lorsque je fais un --examine sur sda3 j'ai bien
mdadm: No md superblock detected on /dev/sda3.

Bon je teste la procédure http://blog.maxux.net/index.php?post/20 ... us-reconnu. On verra bien ...
Le problème c'est que pour 4.5To c'est ultra lent ....

Edit:

je viens de finir la manip, résultat:

[cpp]cat /proc/mdstat cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md1 : active raid5 sdd3[4](S) sdc3[2] sdb3[1] sda3[0](F)
4393505280 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/2] [_UU_]

md0 : active raid1 sdb2[1] sdc2[3] sdd2[2]
146368 blocks [4/3] [_UUU]

unused devices:

Personalities : [raid1] [raid6] [raid5] [raid4]
md1 : active raid5 sdd3[4](S) sdc3[2] sdb3[1] sda3[0](F)
4393505280 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/2] [_UU_]

md0 : active raid1 sdb2[1] sdc2[3] sdd2[2]
146368 blocks [4/3] [_UUU]

unused devices:
[/cpp]

Si j'ai bien compris, sdd3 est en spare et sda3 a un problème.
Est-ce que le PV qui est supposé être sur md1 va être détecté automatique, ainsi que le VG et tous mes LVs ? ou je dois faire une manip particulière pour les récupérer ?

Message par **dricfr** » sam. 30 juil. 2011 19:33

Désolé, je en connais pas du tout LVM :/
Tu as recréé une aire raid ?

Message par **T1nyb0y** » sam. 30 juil. 2011 20:28

oui

C'est un peu ennuyeux, la commande --build ne fonctionne pas avec le --level=5

Du coups je ne peux pas essayer de placer mes disques dans un autre ordre

Edit: je viens de trouver un truc intéressant:

[cpp]
sudo mdadm --examine /dev/sda3
/dev/sda3:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 7547e34f:d2eab0c6:1afca9c7:32f627a9
Name : ubuntu:1 (local to host ubuntu)
Creation Time : Sat Jul 30 12:57:31 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 2929004544 (1396.66 GiB 1499.65 GB)
Array Size : 8787010560 (4189.97 GiB 4498.95 GB)
Used Dev Size : 2929003520 (1396.66 GiB 1499.65 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 1baecbac:82a6e3bd:23ce8725:7045a93e

Update Time : Sat Jul 30 15:10:21 2011
Checksum : 97f3fb2a - correct
Events : 5

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 0
Array State : AAAA ('A' == active, '.' == missing)
[/cpp]
[cpp]
sudo mdadm --examine /dev/sdb3
/dev/sdb3:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 7547e34f:d2eab0c6:1afca9c7:32f627a9
Name : ubuntu:1 (local to host ubuntu)
Creation Time : Sat Jul 30 12:57:31 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 2929004544 (1396.66 GiB 1499.65 GB)
Array Size : 8787010560 (4189.97 GiB 4498.95 GB)
Used Dev Size : 2929003520 (1396.66 GiB 1499.65 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 491d984e:b5a77cd9:03e303ae:0f4e3e2f

Update Time : Sat Jul 30 19:10:10 2011
Checksum : ce6cc141 - correct
Events : 12

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 1
Array State : .AA. ('A' == active, '.' == missing)
[/cpp]
[cpp]
sudo mdadm --examine /dev/sdc3
/dev/sdc3:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 7547e34f:d2eab0c6:1afca9c7:32f627a9
Name : ubuntu:1 (local to host ubuntu)
Creation Time : Sat Jul 30 12:57:31 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 2929004544 (1396.66 GiB 1499.65 GB)
Array Size : 8787010560 (4189.97 GiB 4498.95 GB)
Used Dev Size : 2929003520 (1396.66 GiB 1499.65 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : a86548b9:0e0a115b:7828a3bb:d5895506

Update Time : Sat Jul 30 19:10:10 2011
Checksum : 9f67ed35 - correct
Events : 12

Layout : left-symmetric
Chunk Size : 512K

Device Role : Active device 2
Array State : .AA. ('A' == active, '.' == missing)
[/cpp]
[cpp]
sudo mdadm --examine /dev/sdd3
/dev/sdd3:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 7547e34f:d2eab0c6:1afca9c7:32f627a9
Name : ubuntu:1 (local to host ubuntu)
Creation Time : Sat Jul 30 12:57:31 2011
Raid Level : raid5
Raid Devices : 4

Avail Dev Size : 2929004544 (1396.66 GiB 1499.65 GB)
Array Size : 8787010560 (4189.97 GiB 4498.95 GB)
Used Dev Size : 2929003520 (1396.66 GiB 1499.65 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 9a46618f:1167ff7e:2ed40b9f:63777b04

Update Time : Sat Jul 30 19:10:10 2011
Checksum : 7afdc470 - correct
Events : 12

Layout : left-symmetric
Chunk Size : 512K

Device Role : spare
Array State : .AA. ('A' == active, '.' == missing)
[/cpp]

sda3 a l'air de vivre dans un monde à part

Message par **augur1** » sam. 30 juil. 2011 21:21

on dirait qu'il spare en live wé !!

Message par **T1nyb0y** » sam. 30 juil. 2011 22:20

Edit:

Bon bah RAID perdu

Je viens d'en créer un nouveau, parait que c'est en f'sant des erreurs qu'on apprend

Message par **T1nyb0y** » ven. 5 août 2011 22:43

Bon étant donné que je dois refaire un RAID vous me conseillez quoi ? et comment ?

Sachant que j'ai 4 disques, je voudrais un truc robuste, je risque de pas pouvoir accéder physiquement à la machine pendant un moment .... donc si ça pouvait éviter d'être comme mon RAID 5 ça serait bien. Je ne cherche pas du tout les performances et j'aimerais éviter de perdre trop d'espace de stockage.

Sachant que je n'ai pas de carte contrôleur, je vais surement utiliser mdadm.

Vous me conseiller de faire un RAID distinct pour l'OS et les données ?
Vu mes mésaventures avec le RAID 5, je pensais me tourner vers du 10