PCI SATA Raid5 Controller

[hazelnut]

Hi,

also, ich hab hier ein Gvinum Raid5, welches ich durch eine Hardwarelösung ersetzen möchte. Die Frage ist nur, welchen Controller nehmen. Die Kompatibilitätsliste ist an sich ja erstmal nicht schlecht. Leider habe ich nur 32 Bit PCI Steckplätze und habe nicht vor, mir nur wegen eines Controllers ein neues Board zu holen ...

Genau passend für meine 6 HDD's wäre ein MegaRAID SATA 150-6 von LSI. Nur bekommt man den offensichtlich nicht mehr. Selbst beim kleinen MegaRAID SATA 150-4 siehts mau aus. Die Alternative, ein SRCS16 von Intel sollte auch gehen - hier habe ich eine (!) Bewertung gefunden, und die bescheinigt dem bei 32 Bit eher schlechtes Abschneiden.
Genau genommen würde ich dann auch lieber nur 300 anstatt 400€ ausgeben. 6 Ports sind minimum - 8 sicher auch möglich. Ich denke aber das Hauptproblem wird der PCI mit 32 Bit sein.

Nun die Frage ... was habt ihr im Einsatz oder was könnt ihr empfehlen?

Von daher wäre ich für Hilfe mehr als Dankbar.

Gruß

Hazel

PS: OS wäre ein FreeBSD 5.5 oder 6.1 (wahrscheinlich dann letzteres)

 

[TCM]

ehrlich gesagt sehe ich den sinn nicht. wenn du eh auf 32bit-pci bleibst, wozu dann die zusaetzliche abhaengigkeit von jetzt schon schlecht verfuegbarer hardware? wenn der controller mal kaputtgeht und du in 2-3 jahren vielleicht gar keinen ersatz mehr kriegst, dann sind die daten futsch.

software-raid ist flexibler, und unter netbsd kriege ich hier mit raidframe und 5 platten ueber 3 32bit-pci-controller verteilt (jeweils master) 110MB/s lesend und 70MB/s schreibend. damit ist es auch nicht wesentlich langsamer als hardware-raid.

nebenbei: ein (software-)raid5 sollte aus 2^n+1 platten bestehen. hardware-controller koennen performanceeinbrueche zwar sicher besser abfangen als software-raids; trotzdem sollten die filesystembloecke von der groesse her 1:1 auf eine stripe-unit passen, damit man optimale performance hat.

 

[Elessar]

Ich wollte gerade Areca Karten mit ins Spiel bringen, aber sieht so aus, als ob die nur PCI-X und PCIexpress Versionen herstellen.

 

[hazelnut]

Hi,

genau das Softraid ist es, was mir sorgen macht. Sprich, ich hatte ja geschrieben, dass ich hier 6 Platten in einem Gvinum Raid5 betreibe.
Soweit ja auch ganz gut. Aber ... zum einen schafft das nicht wirklich gute Schreibdurchsätze (ca. 10MB/s - geschätzt) und zum anderen läuft der Rechner den ganzen Tag über stabil. Und wenn ich dann mal schlafen gehe, und der weitermachen soll schmiert der mir mitten in der Nacht regelmäßig ab. Speziell wenn das (gbde verschlüsselte) Raid eingebunden habe. (ist nicht immer der Fall). Und das nervt. Ich dachte erst, es liegt am Arbeitsspeicher - das war es aber nicht. Auch ein kräftigeres Netzteil brachte keine Besserung (als Überbllick: 2,8 Ghz Athlon, 512 + 256 MB Ram, 8 HDD's, Netzteil 470W Enermax)

Was ich bisher verschwiegen habe, bei meinem Raid sind 4 Plattan SATA-Platten (Promise SATA 150-II Controller) und 2 IDE (Boardeigener Controller). Ich hatte schon mal Probleme mit dem System. Damals hat (man merke auf) ein Tauschen der SATA-Kabel die Lösung gebracht.

Nun habe ich aber keine Idee mehr. Hatte auch lange keinen Fehler mehr. Bis dann gestern früh ...

Eine der SATA-Platten wurde seitens Gvinum als stale gemeldet. Wiederherstellung war kein Problem, aber ich möchte ein System, auf das ich mich verlassen kann, auch wenn ich mal nicht eine Woche lang zu Hause bin...

Oder hat hier noch einer eine Idee?

und das kann ich hier jetzt nicht. Wenn nicht werd ich wohl doch in den sauren Apfel beissen und Board + CPU neu holen...

Hazel

 

[Yamagi]

Deine Performanceprobleme sind sicherlich nicht auf gvinum zurückzuführen, denn dort wären 10 MB/s wirklich verdammt wenig. Das Problem würde ih eher auf das sehr gemöchlich arbeitende GBDE zurückführen. Ein Wechsel auf Geli würde hier sicherlich einen nennenswerten Performanceschub auslösen. Das aber nur am Rande, dein Problem wird es nicht lösen.

 

[hazelnut]

Fehlersuche

Hi,

na dann wage ich mal den Schritt ... wie gesagt, eigentlich stehe ich kurz davor aufzugeben. Aber ich hab ehrlich gesagt auch keine große Ahnung von Analysen nach einem Crash.
In dem sinne ... mein dmesg poste ich gern heute Abend.
Habe ich denn eine chance herauszufinden, warum die Kiste neu gestartet ist? Ein Stromausfall war es nicht, das kann ich ausschließen. Ich denke weiterhin, dass der Rest der Komponenten soweit funktioniert, wie es soll. Ich würde das Problem jetzt primär auf die SATA Platten schieben bzw. auf den Controller. Die Platten sind von IBM/Hitachi, 160GB der Controller - ich glaube ich hatte es schon erwähnt, ein Promise SATA 150-4.

Ich hatte bereits früher Probleme mit SATA-Kabeln. Kann die in dem Sinne gern auch ncoh mal tauschen.

Problem ist aber, dass ich so gar keinen Anhaltspunkt habe, an dem ich ansetzen kann. Wenn es da was gibt, sprich wenn irgendwo ein Dump gespeichert wäre, der die letzte Sekunde enthält, wäre ich entsprechend dankbar, wenn mir einer einen Hinweis geben könnte, wo der zu finden ist...

IM Voraus schon mal Danke

Hazel

 

[FreeBSDuser]

Du sagst das du das Raid verschlüsselt hast...

die einzelnen platten oder das raid volume?
ersteres wäre wahrscheinlich seehr langsam...

Athlon XP 2800 oder nen A64 mit 2800Mhz oder nen A64 2800+ ?

AXP 2800+ würde bei der verschlüsselung bestimmt arge probleme bekommen...
(bei nem raid)

crash analyse ... hmm logs ... #

gruß FreeBSDuser

 

[hazelnut]

Hi,

so, sorry erst mal, dass ich mittendrin so aufhören musste mit schreiben. Ging leider nicht anders. Mir ist die Arbeit einfach über dem Kopf zusammengeschlagen (nunja, normalerweise geht sie mir nur bis zum Hals :-) )

Nein, im ernst - hab das ganze Volume verschlüsselt. Der Prozessor scheint immernoch ausreichend. Ich meine, ich schaffe es nur beim Kernel bauen, ihn mehr als 50% auszulasten.

Beim Lesen erhalte ich auch ordentlichen Durchsatz. Nur schreiben ist halt ewig langsam.

Davon mal abgesehen habe ich mir immernoch fest vorgenommen, mein Problemchen hier zu lösen. Im Rahmen dessen wird das System wohl noch eine "Hot Spare" Platte bekommen. Soll heißen, wenn das gvinum die will. Und das mit dem Geli überleg ich mir ebenso.

Bleiben eigentlich nur noch zwei Probleme. Eines davon kann ich mit Lesen sicherlich selber lösen ... ( wenn Hot Spare mit gvinum funzt - was ist, nachdem er eine Pladde rausgehauen hat) ... die andere - wo denn nun eigentlich mein Problem liegt ... na, wir werden sehen ...

so sieht mein DMESG dazu aus.

falls einer eine Idee hat, dann bitte in den Crashanalysethread ...

atapci1: <Promise PDC40518 SATA150 controller> port 0xa800-0xa8ff,0xb000-0xb07f mem 0xe4000000-0xe401ffff,0xe4800000-0xe4800fff irq 17 at device 14.0 on pci0
atapci1: failed: rid 0x20 is memory, requested 4
ata4: channel #0 on atapci1
ata5: channel #1 on atapci1
ata6: channel #2 on atapci1
ata7: channel #3 on atapci1

ad0: 157066MB <HDS722516VLAT20/V34OA6MA> [319120/16/63] at ata0-master UDMA100
ad2: 157066MB <HDS722516VLAT20/V34OA6MA> [319120/16/63] at ata1-master UDMA100
ad8: 157066MB <HDS722516VLSA80/V34OA6MA> [319120/16/63] at ata4-master SATA150
ad10: 157066MB <HDS722516VLSA80/V34OA6MA> [319120/16/63] at ata5-master SATA150
ad12: 157066MB <HDS722516VLSA80/V34OA6MA> [319120/16/63] at ata6-master SATA150
ad14: 157066MB <HDS722516VLSA80/V34OA6MA> [319120/16/63] at ata7-master SATA150

Danke an euch ...

Hazel

 

[FierceOne]

Das die Schreibgeschwindigkeit langsam ist, ist nachvollziehbar. GBDE benutzt f"ur jeden Sektor einen neuen Schl"ussel. Daraus folgt das GBDE Unmengen an Zufallszahlen braucht. Es kann sein das die nicht in ausreichend schnell zur Verf"ugung stehen. Beim Lesen gibt es das Problem nat"urlich nicht. Probier mal GELI, ich bin auch umgestiegen. Geht wesentlich besser. Und es bietet mehrere M"oglichkeiten zur Schl"usselverwaltung.

Finde ich aber witzig. "Uberlege mir auch gerade nen RAID Controller...

 

[SierraX]

Die haben ja gesalzene Preise für diese Komponenten
3ware Escalade 8506-4 ~300 Euro
etc. Eine NAS/SAN .... aber dafür sollte es dann laufen.

Wie läuft das dann ab? In der Ausbildung wurde uns gesagt, das ein Raid 5 (egal ob Hard oder Software) nicht bootfähig ist. Wenn das stimmt, verwendet man da dann ein minimalsystem auf ide?

 

[max93]

Hallo!

Die haben ja gesalzene Preise für diese Komponenten
3ware Escalade 8506-4 ~300 Euro

Für ~360 Euro habe ich vor ein paar Monaten einen 9550SX-4 bekommen. Den 8506 würde ich um den Preis ehrlich gesagt nicht nehmen.

Wie läuft das dann ab? In der Ausbildung wurde uns gesagt, das ein Raid 5 (egal ob Hard oder Software) nicht bootfähig ist.

Das kann ich mir ehrlich gesagt nicht mehr vorstellen (kann das jetzt nicht testen, weil ich leider keine 3 freien SATA Platten rumliegen habe, aber im Handbuch zum 9550SX konnte ich keinen Hinweis auf eine solche Einschränkung finden). Früher galt das sicher mal. Da gab es sogar Controller von denen man gar nicht booten konnte, unabhängig vom RAID-Level.

Ciao.
Markus Mann
];-)

PS: Ein kurzer Benchmark hat mir bei deaktiviertem Cache auf dem 9550SX mit 2 Platten im RAID 1 ~45 MB Schreibperformance bescheinigt:

root@tyan# dd if=/dev/zero of=testfile.tmp bs=32768 count=32768
32768+0 records in
32768+0 records out
1073741824 bytes transferred in 22.842688 secs (47005931 bytes/sec)

 

[FierceOne]

Hallo!


Für ~360 Euro habe ich vor ein paar Monaten einen 9550SX-4 bekommen. Den 8506 würde ich um den Preis ehrlich gesagt nicht nehmen.


Das kann ich mir ehrlich gesagt nicht mehr vorstellen (kann das jetzt nicht testen, weil ich leider keine 3 freien SATA Platten rumliegen habe, aber im Handbuch zum 9550SX konnte ich keinen Hinweis auf eine solche Einschränkung finden). Früher galt das sicher mal. Da gab es sogar Controller von denen man gar nicht booten konnte, unabhängig vom RAID-Level.

Ciao.
Markus Mann
];-)

PS: Ein kurzer Benchmark hat mir bei deaktiviertem Cache auf dem 9550SX mit 2 Platten im RAID 1 ~45 MB Schreibperformance bescheinigt:

root@tyan# dd if=/dev/zero of=testfile.tmp bs=32768 count=32768
32768+0 records in
32768+0 records out
1073741824 bytes transferred in 22.842688 secs (47005931 bytes/sec)

Ich habe gerade mal geschaut, der Controller ist PCI-64Bit. Geht der auch in nem 32Bit Slot?
Gibt es ne gute Empfehlung f"urn _echten_ Hardware RAID Controller der normal in 32Bit passt? Habe n"amlich vor nen alten P3 als Fileserver zu pimpen. Der hat nur PCI. Da da auch noch Verschl"usselung oberdrauf soll will ich auf jeden Fall Hardware RAID f"ur meine Platten. Soll mal RAID5 werden.

Danke,

Gr"usse,

B

 

[SierraX]

Für ~360 Euro habe ich vor ein paar Monaten einen 9550SX-4 bekommen. Den 8506 würde ich um den Preis ehrlich gesagt nicht nehmen.

Die 8506 ist bei NetBSD im gegensatz zu der 9950SX-4 auf der Compat liste. Bei solchen Preisen guck ich normal schon ob das überhaupt mit meinem OS funktioniert.

Das kann ich mir ehrlich gesagt nicht mehr vorstellen (kann das jetzt nicht testen, weil ich leider keine 3 freien SATA Platten rumliegen habe, aber im Handbuch zum 9550SX konnte ich keinen Hinweis auf eine solche Einschränkung finden). Früher galt das sicher mal. Da gab es sogar Controller von denen man gar nicht booten konnte, unabhängig vom RAID-Level.

käme auf nen versuch an. Sobald ich mir ne Terrabyte NAS baue probier ichs mal aus, nicht vor mitte nächsten Jahr. Danke für die Info

 

[max93]

Hallo!

Die 8506 ist bei NetBSD im gegensatz zu der 9950SX-4 auf der Compat liste. Bei solchen Preisen guck ich normal schon ob das überhaupt mit meinem OS funktioniert.

Der OP sprach von FreeBSD 6.1 und dort ist der (von mir erwähnte) 9550SX definitiv unterstützt. Ich habe für erste Tests den Treiber von 6.1 in 5.4 übernommen und auch das hat tadellos funktioniert.

käme auf nen versuch an. Sobald ich mir ne Terrabyte NAS baue probier ichs mal aus, nicht vor mitte nächsten Jahr. Danke für die Info

Da musst du wiederum aufpassen, ob das OS überhaupt von einem Terabyte Filesystem bzw. Device booten will/kann (weiß ich jetzt für FreeBSD auch nicht auswendig).

Ciao.
Markus Mann
];-)

 

[hazelnut]

Hi,

also LSI-Logic bietet wohl hoch was an, was in einen 32Bit PCI passt.

Tja, und auf die Frage mit dem Booten - ich hab dafür hier einen Promise (FastTrack ist das glaub ich - irgendwo schwirrt hier mein dmesg rum - schau da mal rein) auf dem ein Raid1 für das OS läuft. Der geht herrlich stabil und bootet natürlich auch davon.

Ansonsten scheint es aber beim FreeBSD und dem gvinum noch immer einige Probleme zu geben. (siehe Wiki?!) Ich bin erstaunt, seit dem ich fleißig mitlogge (nun schon die zweite Nacht, hab das logfile allerdings grad nicht zur Hand - poste ich heute abend mal in den Chrashanalyse Thread) bootet die Karre zumindest nicht mehr neu. Fehlermeldungen kommen allerdings immernoch. Achso, und ich hab gestern nochmal das System aktualisiert (5.5) Na mal sehen, ich lass den heute Nacht noch mal Daten im Kreis schieben.

Ehrlich gesagt ist das traurig. Weil, mir macht das Basteln am Rechner wirklich spass - aber ich hab leider nur sehr wenig Zeit dafür. Daher ist das dann um so frustrierender, dass ich (a) da aus Zeitgründen nicht tiefer einsteigen kann und vielleicht eine Lösung findet und (b) wenn das dann dennoch nicht funktioniert.

Habe auch was völlig anderes gelernt - ist also nur Hobby, die Arbeit mit den Spielzeugen.

Aber bevor ich was unüberlegtes tu und mir auf die Kiste ein Linux draufhaue (weil eigentlich möchte ich ja die Möglichkeiten eines Softraids - schon wegen der Flexibilität) werd ich mal schauen, was NetBSD und raidframe dazu sagt ...

aber erst mal Daten sortieren - die habe ich jetzt schon in 15 facher Ausführung :-)

CU

Hazel

 

[SierraX]

Tja, und auf die Frage mit dem Booten - ich hab dafür hier einen Promise (FastTrack ist das glaub ich - irgendwo schwirrt hier mein dmesg rum - schau da mal rein) auf dem ein Raid1 für das OS läuft. Der geht herrlich stabil und bootet natürlich auch davon.

Geht ja nicht um Raid 1. Da ist ja logisch das es geht,sind doch die Daten alle min 2x Mal vorhanden. Bei Raid 5 werden aber die Daten "physisch" zwischen mehrern Platten aufgeteilt was bei einem bootstrap dafür sorgen könnte, das er nicht korrekt arbeiten kann. Vor allem wenn eine Platte ausfällt.