LSI SAS 9260-8i mit FreeBSD und zfs?

gadean

Depp vom Dienst!
Hallo zusammen,
ich hab die Aufgabe bekommen aus unserem alten ESXI-Host ein Storage System mit ZFS zu machen, bevorzugt ohne groß neue Hardware anzuschaffen. Nun ist in dem Server ein LSI MegaRAID SAS 9260-8i Controller eingebaut, an dem die SAS-Platten hängen.

Zu dem Thema habe ich mir die letzten Tage einige Threads durch gelesen und an vielen Stellen wird ein "LSI SAS 2008" basierender Controller empfohlen, weil er relativ günstig ist und sich gut zu einem stumpfen HBA flashen lässt (IT Firmware), nur würde ich es gerne vermeiden ein anderen Controller zu kaufen, anderer seits wäre es eine verschwendung den jetztigen zu einem einem stumpfen HBA zu degradieren (sofern das überhaupt möglich ist?) aber er ist nunmal vorhanden. Als "workaround" hab ich gelesen, das man jede angeschlossene Platte einzeln als RAID-0 konfiguriert und darauf dann in FreeBSD das ZFS aufsetzt (das OS wird auf einem DOM installiert).

Meine Fragen (zusammengefasst):
  • Kann man mit dem "LSI MegaRAID SAS 9260-8i" und ZFS was anfangen
  • Sollten wir uns lieber den empfohlen "LSI SAS 2008" basierenden Controller zulegen (zb. M5110)
  • Wäre der RAID-0 "workaround" eine sinnvolle Alternative (kann man da auf die SMART-Werte zugreifen?)
  • Habt ihr evtl. noch weiteren Input zu dem Thema oder alternativ Vorschläge?

Verbautes Mainboard: Mainboard: Supermirco X9SCL-F
Angeschlossene Platten am Controller: 5x SAS HDDs + 2x SATA SSDs

Mir bekannte Links zu dem Thema (einschließlich verlinkter Mailing Listen etc.):
Preparing an LSI SAS 2008 based controller for ZFS
Cross flashing to a LSI9211-8i in IT or IR mode
IBM ServeRAID M5110, low profile, PCIe 3.0 x8
MegaRAID SAS 9260-8i
LSI SAS 9211-8i KIT fuer ZFS Fileserver
FreeBSD und Megaraid SAS 9240-8i

Liebe Grüße
gadean
 
Hi @peterle, den Thread hatte ich schon entdeckt, danke trotzdem nochmals fürs Feedback.
Bei deinem Controller ist doch der "LSISAS2008" Chip drin, hätte man den nicht cross flashen können wie den IBM M1015?
Wie dem auch sein, vielleicht hat sich den in letzten 3 Jahren etwas bez. der nicht "LSI SAS 2008" Controller getan.
 
Hätte, hätte, Fahrradkette - das Ding weigerte sich beharrlich, sich irgendwas aufs Auge drücken zu lassen. :(
 
@kira12 Falls die Frage mir gilt, siehe Anhang.
 

Anhänge

  • lsi.png
    lsi.png
    15,4 KB · Aufrufe: 1.791
Hallo,

ich habe auch einen LSI SAS Controller, kann aber nicht mehr genau sagen welchen da war die akuellste Firmware Müll. Die vorhergehende funktioniert dagegen Einwandfrei.

Gruß ré
 
Bei den LSI / Avago HBA ist es extrem wichtig, dass Firmware und Treiber zusammenpassen. Wenn man zum Beispiel einen Gen. 8 Treiber hat, braucht man auch eine Gen. 8 Firmware. Sonst passierenden seltsamste Dinge. Auf der Homepage kann man sich diese Gesamtpakete mit Treiber, Firmware und Tools runterladen.
 
Welcher Treiber ist denn vorzuziehen? Der integrierte oder der offizielle? Ich gehe davon aus, dass der integrierte eh der offizielle mit ggf. ein paar Anpassungen ist.

Code:
mps0: Firmware: 19.00.00.00, Driver: 19.00.00.00-fbsd
 
Ja, das ist praktisch das gleiche. Ich nutze (fast) immer die integrierten Treiber und bisher gab es damit keinen Ärger.
 
So ich hab die Kiste noch mal hoch gefahren, das bisher konfigurierte Volumen gelöscht und hier ein bisschen Output:
Code:
root@storage:/ # mfiutil show adapter
mfi0 Adapter:
    Product Name: LSI MegaRAID SAS 9260-8i
   Serial Number: SV20304231
        Firmware: 12.12.0-0124
     RAID Levels: JBOD, RAID0, RAID1, RAID5, RAID6, RAID10, RAID50
  Battery Backup: not present
           NVRAM: 32K
  Onboard Memory: 512M
  Minimum Stripe: 8K
  Maximum Stripe: 1M
root@storage:/ # mfiutil show firmware
mfi0 Firmware Package Version: 12.12.0-0124
mfi0 Firmware Images:
Name  Version                        Date         Time         Status
APP   2.130.363-1846                 Aug 24 2012  17:18:05     active
BIOS  3.25.00_4.12.05.00_0x05180000   7/25/2012
   7/25/2012
  active
PCLI  04.04-020:#%00009              May 04 2012  14:47:14     active
BCON  6.0-51-e_47-Rel                Jun 14 2012  14:29:06     active
NVDT  2.09.03-0039                   Aug 24 2012  18:33:19     active
BTBL  2.02.00.00-0000                Sep 16 2009  21:37:06     active
BOOT  09.250.01.219                  4/4/2011     15:58:38     active
root@storage:/ # mfiutil show drives
mfi0 Physical Drives:
8 (  932G) UNCONFIGURED GOOD <TOSHIBA MK1001TRKB 0106 serial=42T0A0******> SAS E1:S3
9 (  932G) UNCONFIGURED GOOD <TOSHIBA MK1001TRKB 0106 serial=42U0A0******> SAS E1:S2
11 (  932G) UNCONFIGURED GOOD <TOSHIBA MK1001TRKB 0106 serial=42T0A0******> SAS E1:S0
12 (  932G) UNCONFIGURED GOOD <TOSHIBA MK1001TRKB 0106 serial=42U0A0******> SAS E1:S4
13 (  932G) UNCONFIGURED GOOD <TOSHIBA MG03SCA100 0108 serial=Y2E0A0******> SAS E1:S1
root@storage:/ # pciconf -lvcb mfi0
mfi0@pci0:1:0:0:        class=0x010400 card=0x92611000 chip=0x00791000 rev=0x05 hdr=0x00
    vendor     = 'LSI Logic / Symbios Logic'
    device     = 'MegaRAID SAS 2108 [Liberator]'
    class      = mass storage
    subclass   = RAID
    bar   [10] = type I/O Port, range 32, base 0xe000, size 256, enabled
    bar   [14] = type Memory, range 64, base 0xdfb60000, size 16384, enabled
    bar   [1c] = type Memory, range 64, base 0xdfb00000, size 262144, enabled
    cap 01[50] = powerspec 3  supports D0 D1 D2 D3  current D0
    cap 10[68] = PCI-Express 2 endpoint max data 256(4096) FLR link x8(x8)
                 speed 5.0(5.0) ASPM disabled(L0s)
    cap 03[d0] = VPD
    cap 05[a8] = MSI supports 1 message, 64 bit enabled with 1 message
    cap 11[c0] = MSI-X supports 15 messages
                 Table in map 0x14[0x2000], PBA in map 0x14[0x3800]
    ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
    ecap 0004[138] = Power Budgeting 1

Aber so weit ich das jetzt verstehe, kann ich es mit der Karte knicken?
 

Anhänge

  • dmesg.txt
    16,2 KB · Aufrufe: 601
Ich wäre ohne Recherche auch davon ausgegangen, dass es eine IT Firmware für das Teil geben müsste.
Aber für den LSI SAS2108 findet sich scheinbar nichts im Vergleich zu SAS2008 oder 3008.
Habe erst neulich erfolgreich einen 9341-8i auf IT Firmware umgestellt.

Edit: Bin jetzt verwirrt. Gab es den 9260 mit SAS2008 und SAS2108 Chipsatz? Laut http://blog.grem.de/sysadmin/LSI-SAS2008-Flashing-2012-04-12-22-17.html soll der Controller 2008based sein?
 
Hoi,

hier bärig mal ne Liste des Bummibären. Evtl. ist die mal ganz nützlich im Forum, falls wieder mal einer danach sucht.

SAS 9200-8e Host Bus Adapter: LSI SAS2008

SAS 9201-16e Host Bus Adapter: LSI SAS2116
SAS 9201-16i Host Bus Adapter: LSI SAS2116

SAS 9202-16e Host Bus Adapter: 2 LSI SAS2008

SAS 9206-16e Host Bus Adapter: 2 LSI SAS2308

SAS 9207-4i4e Host Bus Adapter: LSI SAS2308
SAS 9207-8e Host Bus Adapter: LSI SAS2308
SAS 9207-8i Host Bus Adapter: LSI SAS2308

SAS 9210-8i Host Bus Adapter: LSI SAS2008

SAS 9211-4i Host Bus Adapter: LSI SAS2004
SAS 9211-8i Host Bus Adapter: LSI SAS2008

SAS 9212-4i4e Host Bus Adapter: LSI SAS2008

SAS 9217-4i4e Host Bus Adapter: LSI SAS2308
SAS 9217-8i Host Bus Adapter: LSI SAS2308

SAS 9300-4i Host Bus Adapter: LSI SAS3004
SAS 9300-4i4e Host Bus Adapter: LSI SAS3008
SAS 9300-8e Host Bus Adapter: LSI SAS3008
SAS 9300-8i Host Bus Adapter: LSI SAS3008
SAS 9300-16e Host Bus Adapter: 2 SAS 3008
SAS 9300-16i Host Bus Adapter: 2 SAS 3008

SAS 9302-16e Host Bus Adapter: 2 SAS 3008

SAS 9311-4i4e Host Bus Adapter: LSI SAS3008
SAS 9311-8i Host Bus Adapter: LSI SAS3008

MegaRAID SAS 9240-4i: LSISAS2008
MegaRAID SAS 9240-8i: LSISAS2008

MegaRAID SAS 9260-4i: LSISAS2108 RAID-on-Chip (ROC)
MegaRAID SAS 9260-8i: LSISAS2108 RAID-on-Chip (ROC)
MegaRAID SAS 9260-16i: LSISAS2108 RAID-on-Chip (ROC) and LSISAS2x36 Expander

MegaRAID SAS 9261-8i: LSISAS2108 RAID-on-Chip (ROC)

MegaRAID SAS 9266-4i: LSISAS2208 Dual-Core RAID on Chip (ROC)
MegaRAID SAS 9266-8i: LSISAS2208 Dual-Core RAID on Chip (ROC)

MegaRAID SAS 9270-8i: LSISAS2208 Dual-Core RAID on Chip (ROC)

MegaRAID SAS 9271-4i: LSISAS2208 Dual-Core RAID on Chip (ROC)
MegaRAID SAS 9271-8i: LSISAS2208 Dual-Core RAID on Chip (ROC)
MegaRAID SAS 9271-8iCC: LSISAS2208 Dual-Core RAID on Chip (ROC)

MegaRAID SAS 9280-4i4e: LSISAS2108 RAID-on-Chip (ROC)
MegaRAID SAS 9280-8e: LSISAS2108 RAID-on-Chip (ROC)
MegaRAID SAS 9280-16i4e: LSISAS2108 RAID-on-Chip (ROC)
MegaRAID SAS 9280-24i4e: LSISAS2108 RAID-on-Chip (ROC)

MegaRAID SAS 9286CV-8eCC: LSISAS2208 Dual-Core RAID on Chip (ROC)
MegaRAID SAS 9286CV-8e: LSISAS2208 Dual-Core RAID on Chip (ROC)
MegaRAID SAS 9286-8e: LSISAS2208 Dual-Core RAID on Chip (ROC)

MegaRAID SAS 9341-4i: LSISAS3008 PowerPC 476 controller @ 1.2 GHz
MegaRAID SAS 9341-8i: LSISAS3008 PowerPC 476 controller @ 1.2 GHz

MegaRAID SAS 9361-4i: LSISAS3108 dual core RAID on Chip (ROC)
MegaRAID SAS 9361-8i: LSISAS3108 dual core RAID on Chip (ROC)

MegaRAID SAS 9380-4i4e: LSISAS3108 dual core RAID on Chip (ROC)
MegaRAID SAS 9380-8e: LSISAS3108 dual core RAID on Chip (ROC)

Gruß Bummibär
 
falls wieder mal einer danach sucht.

Ist geschehen...ich hab auch ein bissl herausgefunden, was die gebrandeten Versionen betrifft, denn da verweigert das Flashtool gerne mal den Dienst. :)

Der HP H220 z.B. läuft als Bezeichnung SAS9205-8i oder auch LSI SAS2308. Bei dem hat megarec und megacli versagt, wird einfach nicht erkannt.

Man braucht ein FreeDos mit himem-Unterstützung.

Der Trick ist, komplett mit sas2flash zu arbeiten. Mit der Version 20 des tools kann man keine gebrandeten Karten flashen, mit Version 14 klappts allerdings wunderbar.

1. Erstmal ein Foto von der Karte hinten machen (wir wollen die SAS-Adresse auf dem grünen Aufkleber, da wir diese später eingeben müssen)
2. ROM löschen
Code:
flashold -o -e 7
3. firmware draufprügeln (nicht von den Zahlen beirren lassen, wir flashen mit sas2flash v14 die firmware 20)
Code:
flashold -f p20.bin
4. SAS adresse schreiben
Code:
flashold -o -sasadd XXXXXXXXXXX

Hinweis dazu: ich hab nur die Firmware draufgeschrieben und nicht noch das BIOS, da ich nicht von den SAS-Platten boote und das Hardwareraid nicht benötige. Wer das braucht, findet mit google weitere Hilfe.

Broadcom stellt im Archiv sämtliche Versionen bereit, da kann man sich alles benötigte zusammenbasteln.

https://www.broadcom.com/products/storage/host-bus-adapters/sas-9207-8i#downloads

Ich hab dem Ding auch Wärmeleitpaste spendiert und das Wärmeleitpad runtergekratzt, ebenso einen Noctua-Lüfter draufgeschnallt, weil der Chip brutal heiß wird.

@peterle
Das nützt dir vllt. was, solltest du den Controller noch besitzen.
 

Anhänge

  • sas2308.zip
    492,4 KB · Aufrufe: 503
Ich habe auch noch einen Dell Perc H310. Der hat noch folgende Namen: LSI 9211-8i, SAS2008

Ich bin nach folgender Anleitung vorgegangen, aber die funktionierte so nicht 100%:

https://www.taste-of-it.de/flash-dell-perc-h310-mit-lsi-9211-8i-it-mode/

Das reine FreeDos mit rufus geschrieben funktioniert nicht, da himem nicht geladen wird. Das wäre die erste Hürde.

Bei meinem Controller stand die SAS-Adresse nicht physikalisch drauf. Da ist es wichtig, dass megacli die Karte erkennt und somit auch die Adresse ins log schreibt. (die Batch-Dateien sollte man sich anschauen, damit man auch versteht, was da genau abläuft)

Ich hab da stundenlang rumgeeiert, bis es mal geklappt hatte. Z.B. musste ich mehrmals die Batch mit den erase-Befehlen starten, bis das durchlief. Kann an meinem langsamen USB-Stick gelegen haben.

Dann wird empfohlen, die P19 zu benutzen...hab mich daran gehalten. Man muss aber erst P7 flashen, rebooten, P19 flashen, rebooten, SAS-Adresse schreiben. Das hat Haare gekostet....:ugly:

Auch hier habe ich nur die firmware geflasht und nicht das BIOS.
Auch bei diesem Controller empfiehlt es sich, die Paste zu erneuern und einen Lüfter aufzuschrauben.
 
Wegen der never-ending Story hier habe ich mir nochmal einen Dell Perc H310 gekauft, bekommt man ja mittlerweile hinterhergeworfen.

Der war absolut 'stock' mit uralter Firmware. Zum Glück hatte ich alle Daten noch auf dem bootstick vom April und die Vorgehensweise hier aufgeschrieben.

Dann wird empfohlen, die P19 zu benutzen...hab mich daran gehalten. Man muss aber erst P7 flashen, rebooten, P19 flashen, rebooten, SAS-Adresse schreiben.

Kleine Korrektur hierzu, das funktioniert so nicht. Im Prinzip hab ichs nach der Anleitung hier gemacht:
https://techmattr.wordpress.com/201...-flashing-to-it-mode-dell-perc-h200-and-h310/

Ab hier ist das anders:
megarec.exe -cleanflash 0
*reboot*
sas2flsh.exe -o -f 6GBPSAS.fw #das muss mit dem originalen Dell-package P7 gemacht werden, klappt sonst nicht!
sas2flsh.exe -o -sasadd 500xxxxxxxxxxxxx #die exe ist vom Tutorial abweichend, da wird s2fp19.exe erwähnt.
*reboot*
sas2flsh.exe -o -f 2118it.bin #jetzt so aus dem package LSI9211-8i IT-Firmware (P7), es wird ein hersteller-mismatch angemahnt, wird aber mit 'y' bestätigt.
Ohne(!) reboot gehe ich jetzt ins Verzeichnis vom 9210-8i_Package_P20_IR_IT_Firmware_BIOS_for_MSDOS_Windows. 9210 ist kein Tippfehler, ist die gleiche Karte, gleicher Chip, die Anschluss-Buchsen sind nur anders ausgerichtet. Ist nach meinem aktuellen Kenntnisstand das einzige Paket, womit man die FW-Version 20.00.07.00 vom 4.4.2016 auf den SAS2008 bekommt.

Das Package gibts hier:
https://www.broadcom.com/products/s...rs/sas-9210-8i?pname=ACPL-38JT-000E#downloads
https://docs.broadcom.com/docs/12350504

Und die Info hab ich von hier:
https://linustechtips.com/main/topic/779052-lsi-9211-8i-p20-firmware/
 
Hallo, ich suche eine Erweiterungskarte für meinen HP Microserver N54L. Laut hardwareluxx Forum gehen diese:


wieso wird da der 8i nicht gelistet? Zu dem 9240 habe ich was gefunden, ( https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/ ) das geht wohl mit dem flashen zum IT-mode?

von bummibär in der liste steht er auch:
MegaRAID SAS 9240-4i: LSISAS2008
MegaRAID SAS 9240-8i: LSISAS2008

Oder lieber einen IBM ServeRAID M1015?

Ich blicke da nichtmehr durch :( Am besten ein link zu ebay etc wo ich direkt den richtigen bestellen kann;)

Grüße!
 
Da stimme ich dir zu, wir haben uns "damals", als Austausch, für den "LSI MegaRAID SAS/SATA 9211-8i" entschieden, der lies sich ohne Probleme flashen und ist seit dem auch 24/7 in betrieb.
 
Hi @all.

Ich möchte das Thema hier noch einmal vor holen. . .

Suche auch eine HBA für den IT Mode um die Platten an die VM's durchreichen zu können.

Grundsystem ist ein Asus M5A78L-M-USB3 mit AMD FX-8350 und 24 GB nonECC RAM.

Ziel soll sein 4 WD red 6 TB ins System zu hängen. Die VM soll dann die HDD's per HBA durchgereicht bekommen und entweder ein Raid5 oder das ZFS1 draus machen. Wobei ich gelesen habe, dass für das ZFS ECC Speicher zu bevorzugen wäre.

Nach einigem Einlesen auf etlichen Webseiten, bin ich gedanklich bei der LSI SAS9341-8i gelandet.
Etwas größer gedacht, weil ich möglicherweise das Grundsystem in Zukunft noch verbessere. Das jetztige Board hat PCIe 2.0, die Karte ist PCIe 3.0 und die HDD's sind SATA 6 Gb/s und der Controller stellt max. 12 Gb/s. Das sollte denke ich mit dem jetztigen System klappen.

Nun stelle ich mir aber die Frage, wellchen günstigen und zuverlässigen HBA ich noch nutzen könnte, wenn ich einfach nur das Mindestmaß annehme. Also das bessere Preis/Leistungsverhältnis auf das jetztige System bezogen.

Zu welchem Controller mit welchem Chip würdet ihr mir raten? Gerade auch im Bezug der Flashbarkeit. Günstig und Funktionell wäre prima. Ohne mir ein Nadelöhr ins System zu bauen. Wäre die originale LSI Karte besser oder eine von Dell, IBM, Fujitsu, etc...?

Es wäre klasse, wenn ihr mich bei meinen Fragen unterstützen könntet.

PS: Vielleicht hat jemand von euch noch einen für mich geeigneten Controller in der Schublade liegen? ;-)
 
Wieviel SATA-Anschlüsse hat denn dein Mainboard?
Wenn du nur 4 Platten unterbringen willst, sehe ich keinen Grund für einen gesonderten Controller.

Rob
 
Nicht genug. Das System läuft schon auf 2 gespiegelten SSD. Und weiterhin könnte ich keine weitere Platte mehr in den Verbund hängen.

Geplant ist den ganzen Controller an die VM durchzureichen. Erst dann wird in der VM der Verbund gebildet. Entweder per Raid5 oder ZFS1. Je nachdem was besser in der Konstellation wäre.
 
Zurück
Oben