ein wenig offtopic: problem ubuntu und mdadm

bsd4me

bsd4me

Well-Known Member
Hi, ich weiss,

hier ist ein *BSD Forum, und ich mag *BSD :) - aber vielleicht weiss hier jemand Rat, denn in einer deutschen Ubuntu group und auch bei Oracle hatte ich bisher keinen Erfolg... Worum geht es:

ich habe auf einer Sun X4450 die defekte erste Platte /dev/sda ausgetauscht. Die 4 installierten Platten liefen jeweils zu zweit in einem mirror, was ich mit mdadm eingerichtet habe...

Leider wird nach runterfahren des Servers, tausch der Platte und hochfahren, diese neue PLatte nicht gelistet:

# ls /dev/sd*
/dev/sda /dev/sda1 /dev/sda2 /dev/sda5 /dev/sdb /dev/sdb1 /dev/sdc /dev/sdc1

da sind also nur 3 Platten da.

Allerdings im /var/log/dmesg steht da was über die Hardware:

[ 6.519826] scsi 9:1:0:0: Direct-Access FUJITSU MBB2147RCSUN146G 0705 PQ: 0 ANSI: 5
[ 6.522761] scsi 9:1:1:0: Direct-Access HITACHI H101414SCSUN146G SA23 PQ: 0 ANSI: 5
[ 6.525871] scsi 9:1:2:0: Direct-Access HITACHI H101414SCSUN146G SA23 PQ: 0 ANSI: 5
[ 6.529276] scsi 9:1:3:0: Direct-Access HITACHI H101414SCSUN146G SA23 PQ: 0 ANSI: 5
[ 6.645816] scsi 9:3:0:0: Enclosure ADAPTEC Virtual SGPIO 0 0001 PQ: 0 ANSI: 5

(die Fujitsu ist die neue!)

Die ist aber auch nicht im raid vorhanden:

# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Tue Feb 16 09:24:43 2016
Raid Level : raid1
Array Size : 108023680 (103.02 GiB 110.62 GB)
Used Dev Size : 108023680 (103.02 GiB 110.62 GB)
Raid Devices : 2
Total Devices : 1
Persistence : Superblock is persistent

Update Time : Thu Jul 7 10:17:12 2016
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Spare Devices : 0

Name : TOTORO:0 (local to host TOTORO)
UUID : d527ceec:c99d5cad:f066b6e6:d26caa91
Events : 648413

Number Major Minor RaidDevice State
0 0 0 0 removed
1 8 5 1 active sync /dev/sda5

Was muss ich machen, um die Platte wieder in das md0 einzubinden? Da sie ja nicht unter /dev/sd* gelistet wird, kann ich sie weder formatieren noch sonst was, oder?

Vielen Dank für Hilfe, Norbert
 
OffTopic ist nicht schlimm, aber in den FreeBSD-Unterbereich passt es nun wirklich nicht... Hab dich mal umgeschubbst.
 
Was verbirgt sich denn hinter /dev/sdb und /dev/sdc? Kann es sein, dass es unterschiedliche Controller für die Platten auf dem Board gibt?

Hängt die neue Platte am selben Anschluss wie die alte? Wenn ja, probier mal einen anderen Anschluss. Vielleicht hat der Controller ja auch ein Problem...
 
Oben steht etwas mit Adaptec. Ich denke das wird irgendein RAID Controller sein. Damit die Festplatte beim OS erscheint, musst du diese vermutlich zuerst über den Controller definieren. Eine Möglichkeit wäre z.B. als JBOD.
 
die X4500 aka Thumper hat keinen RAID Controller, nur SATA Extender (da mit Solaris und ZFS ausgeliefert). Kann es sein, dass die neue Platte einfach nen Schaden hat?
 
@derOliver
ich hatte zwar auch schon eine X4500 (die wurde vor kurzem ausgemustert), aber hier geht es um einen X4450 :)

@KobRheTilla
# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sda5[1]
108023680 blocks super 1.2 [2/1] [_U]

md127 : active raid1 sdc1[1] sdb1[0]
143114112 blocks super 1.2 [2/2] [UU]

unused devices: <none>


ich bin gerade in das Adaptec Controller Bios gegangen - konnte sogar die Fujitsu sehen, und sie prüflesen. Sie wird aber trotzdem nicht als raid device angeboten - ich bleibe nach einen Neustart immer bei 3 Platten hängen...
 
Automatisch wird da gar nix passieren, du musst das Device manuell ins RAID wiedereinhängen. Die Frage ist aber erstmal: warum sieht das System die Platte überhaupt nicht. Wie ist die Ausgabe von
Code: 
# dmesg | grep sd

Rob
 
Hi Rob,
das ich was machen muss, ist mir eigentlich klar... Ist halt nur komisch, dass die Platte NICHT als sd device angezeigt wird. Sollte ja unabhängig von allen mirrors und sonstwas funktionieren.
Grüße, Norbert
 
bsd4me schrieb:
Hi Rob,
Ist halt nur komisch, dass die Platte NICHT als sd device angezeigt wird.
Grüße, Norbert
Zum Vergrößern anklicken....

Ist meines Erachtens normal, da das BS die Platte nicht sieht, wenn du einen Raid Kontroller hast.Du musst die Platte im Konfigurationsmenü des Raid Kontrollers neu einbinden dann wird sie auch verwendet.

Gruss roema
 
Vielleicht ein paar Screendumps im Adaptec Configuration Utility: ich kann das Fujitsu sehen, es aber nicht initialisieren - hat jemand eine Idee, was ich falsch mache??

Thanks!! Norbert
 

Anhänge

  • x-select-drive.jpg
    x-select-drive.jpg
    125,1 KB · Aufrufe: 440
  • x-initialize-drive.jpg
    x-initialize-drive.jpg
    131,3 KB · Aufrufe: 455
  • x-verify-drive.jpg
    x-verify-drive.jpg
    155,7 KB · Aufrufe: 454
Hallo Norbert!

Ich bin der Meinung, das die Platte bereits im Array verwendet wird. Sie wäre sonst grau hinterlegt.
Eine verwendete Platte solltest du übrigens nicht initialisieren, laut Sun Docu.

So weit ich in Erinnerung habe, wird die Platte automatisch ins Array eingebunden, was aber je nach Grösse dauern kann.

Probier unter Ubuntu
  • sudo apt-get install arcconf
danach
  • arcconf rescan
um neue oder fehlende Platten anzuzeigen.

Hab ich von hier https://www.thomas-krenn.com/de/wiki/Adaptec_arcconf_CLI

Gruss roema
 
https://wiki.ubuntuusers.de/Software-RAID/ hast du das gelesen?

Also, ich kenne mich da wirklich nicht gut aus, lese aber hier trotzdem mit und es scheint mir eine gewisse Unklarheit zu bestehen. Ohne Auflösung der folgenden Konstellation, ist guter Rat sicherlich sehr schwierig.

Es ist wichtig zu wissen, ob du einen SW-Raid angelegt hast, oder den HW-Raid-Kontroller benutzt hattest.
Nur, weil man einen Raid-Kontroller hat, muss der nicht als Raid-Kontroller eingesetzt sein. Er kann, je nach Typ und Konfiguration, die Platten auch einzeln ans System durchreichen. Dann wirkt er eben wie ganz gewöhnliche Kontroller ohne jede Raid-Funktion.
In diesem Fall kannst du einen SW-Raid anlegen, ganz gewöhnlich und genauso, als wenn gar kein HW-Raid vorhanden wäre. DIe Platten werden einzeln gezählt, sda...sdx. Das oben verlinkte Beispiel erklärt das.
Wählst du die HW-Raid-Funktion, werden nur die jeweiligen (nach Konfiguration und Möglichkeit des Kontrollers) Plattenverbände ans System weitergereicht.
Es kann sein, dass trotzdem in dmesg ganz zu Anfang die einzelnen Platten gelistet werden.
Das hängt sehr vom Betriebssystem und von der Funktion des Raid-Kontrollers ab. In meinem alten FreeBSD hatte ich einen Onboard-Raid-Kontroller und zwei Platten damit verbunden. Die Platten waren einzeln in dmesg gelistet, aber dann auch ein zusätzliches Gerät mit abweichendem Namen, das eben den Plattenverband wiedergab. Weil ich deine Sachen nicht kenne, wage ich nicht, irgendwelche Behauptungen aufzustellen. Du solltest aber Ausschau halten (und hast ja auch immer noch einen funktionierenden Plattenverband in einem Raid organisiert, zu dem du was finden kannst), ob da nicht tatsächlich weitere Pseudo-Geräte existieren, die der Raid-Kontroller dem System übergibt und wo sich die Plattenverbände dahinter verstecken könnten.

Wenn du den HW-Raid als Raid-Kontroller benutzt hattest, dann müsstest du herausfinden, wie bei dem Kontroller eine Platte aus einem Verband ersetzt wird. Manchmal gibt es (grafische) ZustazSW, manchmal kann das über das Kontroller-Bios gehandhabt werden. Wichtig ist, dass eine "Replace"-Prozedur gefunden wird. Manchmal muss erst die alte Platte entfernt werden (also nicht HW-mäßig, sondern logisch im Kontroller).

Wenn du mit mdadm ein Raid aufgesetzt hattest und so, wie du das oben beschrieben hattest, spricht das nicht dafür, dass du den HW-Raid benutzt hattest. In diesem Fall solltest du dem Link oben folgen und die Anweisungen zum Austausch von Platten befolgen. Auch hier wird eine "Replace"-Prozedur durchlaufen und zunächst die defekte Platte logisch aus dem Verband entfernt.

Ob dies hilfreich ist, kann ich nicht sagen. Vielleicht kann eine neue Platte nicht aufgenommen und durchgereicht werden, wenn nicht die alte erst eindeutig auch logisch entfernt wurde. Vielleicht ist auch einfach die neue Platte oder der Kanal des Raid-Kontrollers defekt.
Insofern du den HW-Raid nicht benutzt haben solltest, könntest du dann natürlich auch deine neue Platte ganz normal anschließen und sehen, ob sie quasi am "Raid-Kontroller vorbei" erkannt wird und funktioniert.
 
Danke für die Antworten, @roema und @pit234a.

Also, das mit HW oder SW Raid ist mir bekannt. Ich habe mdadm genutzt, mache also ein SW raid. Der Punkt ist allerdings, dass ich es einfach nicht hinbekomme, die neue Platte verfügbar zu haben. Sie erscheint nicht als sd device. Wenn ich das Adaptec Configuration Utility nutze, kann ich zwar sogar auf die Platte zugreifen, das hat allerdings keinen weiteren Einfluss. Ich möchte einfach meine /dev/sda bis /dev/sdd Einträge haben. Und das sollte machbar sein, egal welches Filesystem darauf ist, oder? Und ob per gpt partitioniert wurde oder nicht. Warum ist das nur so kompliziert? Ich habe eine Sun X4540 unter FreeBSD am Laufen. ZFS drauf und Plattenwechsel ist ein Kinderspiel. Auch Supermirco Server laufen unter FreeBSD/ZFS wie am Schnürchen... Die haben ja auch keinen Adaptec Raid Controller ;-) Soweit der kleine Aus-Schritt. Ich möchte die X4450 wieder ganz lauffähig haben, alledings unter Ubuntu diesmal, da Chef unbedingt gerne einen Linux Server hätte...

Grüße, Norbert
 
Hi foxit,
die Platte funktioniert, da ich sie ja mit dem Adaptec Controller Utility prüflesen kann (ohne Fehler)...
VG Norbert
 
roema schrieb:
Hallo Norbert!
  • arcconf rescan
Zum Vergrößern anklicken....

arcconf ergibt leider nur:

[root@host:~] # arcconf rescan

Usage: RESCAN <Controller#> [nologs]
===================================================================================

Scan for any change in available drives.
[root@host:~] # arcconf rescan 1
Segmentation fault (core dumped)

:-(
 
bsd4me schrieb:
Hi foxit,
die Platte funktioniert, da ich sie ja mit dem Adaptec Controller Utility prüflesen kann (ohne Fehler)...
VG Norbert
Zum Vergrößern anklicken....
Ich würde sie trotzdem mal an einen anderen Rechner hängen. Alleine, um diese Fehlerquelle komplett ausschließen zu können. Oder das System von einem USB-Stick mit einer Live Distribution booten und dann mal gucken.
 
bsd4me schrieb:
die Platte funktioniert, da ich sie ja mit dem Adaptec Controller Utility prüflesen kann (ohne Fehler)
Zum Vergrößern anklicken....
Sorry ich glaube das ist eben nicht so. Oben bei deinen Bildern steht auf dem rechten: "Unable to initialize drive". Laut Handbuch sollte dies aber genau der erste Schritt [1] sein:
When using the Sun StorageTek (Adaptec) HBA card, you must first initialize the hard drives using the card’s BIOS (even for single-disk configurations) so the OS can see the drives (use the Adaptec-based procedure below).
Zum Vergrößern anklicken....
Entweder ist der Controller nicht mehr OK oder die HDD hat einen Schaden.

Gruss

[1] https://docs.oracle.com/cd/E19150-01/820-6889-10/820-6889-10.pdf
 
Vielleicht habe ihr recht - dann müsste ich die Platte einschicken...

Ach, habe gerade mit Mühe und Not noch ein anderes arcconf gefunden, dass ohne core dump geht: Hier mal der Ausgabe:

# ./arcconf getconfig 1
Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
Controller Status : Optimal
Channel description : SAS/SATA
Controller Model : Sun STK RAID INT
Controller Serial Number : 00813AA0199
Physical Slot : 52
Temperature : 62 C/ 143 F (Normal)
Installed memory : 256 MB
Copyback : Disabled
Background consistency check : Disabled
Automatic Failover : Enabled
Defunct disk drive count : 1
Logical devices/Failed/Degraded : 3/0/0
--------------------------------------------------------
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (15583)
Firmware : 5.2-0 (15583)
Driver : 1.2-0 (30300)
Boot Flash : 5.2-0 (15583)
--------------------------------------------------------
Controller Battery Information
--------------------------------------------------------
Status : Failed

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 1
Logical device name : 2
RAID level : Simple_volume
Status of logical device : Optimal
Size : 139890 MB
Read-cache mode : Enabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back)
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : Yes
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (0,1) 000809ESDYNA P4VSDYNA

Logical device number 2
Logical device name : 3
RAID level : Simple_volume
Status of logical device : Optimal
Size : 139890 MB
Read-cache mode : Enabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back)
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : No
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (0,2) 000809ESDHTA P4VSDHTA

Logical device number 3
Logical device name : 4
RAID level : Simple_volume
Status of logical device : Optimal
Size : 139890 MB
Read-cache mode : Enabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back)
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : No
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (0,3) 000809ESE9YA P4VSE9YA


----------------------------------------------------------------------
Physical Device information
----------------------------------------------------------------------
Device #0
Device is a Hard drive
State : Failed
Supported : Yes
Transfer Speed : Failed
Reported Channel,Device : 0,0
Reported Location : Enclosure 0, Slot 0
Reported ESD : 2,0
Vendor : FUJITSU
Model : MBB2147RCSUN146G
Firmware : 0705
Serial number : 000837H02V6P BS20P8902V6P
World-wide name : 500000E01D2D9A31
Size : 0 MB
Write Cache : Unknown
FRU : None
S.M.A.R.T. : No
Device #1
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SAS 3.0 Gb/s
Reported Channel,Device : 0,1
Reported Location : Enclosure 0, Slot 1
Reported ESD : 2,0
Vendor : HITACHI
Model : H101414SCSUN146G
Firmware : SA23
Serial number : 000809ESDYNA P4VSDYNA
World-wide name : 5000CCA0002A94B3
Size : 140009 MB
Write Cache : Disabled (write-through)
FRU : None
S.M.A.R.T. : No
Device #2
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SAS 3.0 Gb/s
Reported Channel,Device : 0,2
Reported Location : Enclosure 0, Slot 2
Reported ESD : 2,0
Vendor : HITACHI
Model : H101414SCSUN146G
Firmware : SA23
Serial number : 000809ESDHTA P4VSDHTA
World-wide name : 5000CCA0002A8DFB
Size : 140009 MB
Write Cache : Disabled (write-through)
FRU : None
S.M.A.R.T. : No
Device #3
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SAS 3.0 Gb/s
Reported Channel,Device : 0,3
Reported Location : Enclosure 0, Slot 3
Reported ESD : 2,0
Vendor : HITACHI
Model : H101414SCSUN146G
Firmware : SA23
Serial number : 000809ESE9YA P4VSE9YA
World-wide name : 5000CCA0002A9A2B
Size : 140009 MB
Write Cache : Disabled (write-through)
FRU : None
S.M.A.R.T. : No
Device #4
Device is an Enclosure services device
Reported Channel,Device : 2,0
Enclosure ID : 0
Type : SES2
Vendor : ADAPTEC
Model : Virtual SGPIO
Firmware : 0001
Status of Enclosure services device
Device #5
Device is an Enclosure services device
Reported Channel,Device : 2,1
Enclosure ID : 1
Type : SES2
Vendor : ADAPTEC
Model : Virtual SGPIO
Firmware : 0001
Status of Enclosure services device


Command completed successfully.
 
ohne zu sehr auf die Ausgabe oben einzugehen: die neue Platte wird da unter anderem mit 0MB angegeben.
Du hattest (wenn ich recht entsinne) auch nicht die detaillierte Analyse des ersten Fehlers, der zum Austausch der Platte geführt hatte, hier wiedergegeben. Deshalb sollte man dringend auch die Möglichkeit in Betracht ziehen, dass dein Kontroller eine Macke hat. Nutz einfach einen freien Anschluss auf dem Motherboard (falls vorhanden) und steck die Platte mal da an. Oder eben in einem anderen PC, wie nun auch schon mehrfach erwähnt.
 
sorry...

Aber vielleicht nach einem rescan bekomme ich nun:

# ./arcconf getconfig 1
...
Physical Device information
----------------------------------------------------------------------
Device #0
Device is a Hard drive
State : Ready
Supported : Yes
Transfer Speed : SAS 3.0 Gb/s
Reported Channel,Device : 0,0
Reported Location : Enclosure 0, Slot 0
Reported ESD : 2,0
Vendor : FUJITSU
Model : MBB2147RCSUN146G
Firmware : 0705
Serial number : 000837H02V6P BS20P8902V6P
World-wide name : 500000E01D2D9A31
Size : 140009 MB
Write Cache : Unknown
FRU : None
S.M.A.R.T. : No

ist doch schonmal besser... und damit dieser thread sich nicht zu sehr aufblläht melde ich mich wieder, wenn ich wirklich mehr habe :)
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben