• Diese Seite verwendet Cookies. Indem du diese Website weiterhin nutzt, erklärst du dich mit der Verwendung von Cookies einverstanden. Erfahre mehr

Hardware für NAS (16HDD / 3U) gesucht

rakso

Well-Known Member
Themenstarter #27
nun gehts! man musste richtig rauskehren:

1) Boot with FreeDOS USB drive with all dloaded stuff on it.
2) megarec -writesbr 0 sbrempty.bin
3) megarec -cleanflash 0
4) Boot into BIOS, Exit, Boot into UEFI shell
5) fs0:
6) sas2flash.efi -o -f <it-fw-file> -b mptsas2.rom
7) sas2flash.efi -o -sasadd <id>
8) sas2flash.efi -listall

Mit den flash/bios Dateien aus 9207_8e_Package_P20_IT_FW_BIOS_for_MSDOS_Windows.zip
Vielen Dank auch für die Unterstützung an @Bummibaer !

mps0: <Avago Technologies (LSI) SAS2308> port 0xd000-0xd0ff mem 0xdf240000-0xdf24ffff,0xdf200000-0xdf23ffff irq 19 at device 0.0 on pci2
mps0: Firmware: 20.00.07.00, Driver: 21.02.00.00-fbsd
mps0: IOCCapabilities: 5a85c<ScsiTaskFull,DiagTrace,SnapBuf,EEDP,TransRetry,EventReplay,MSIXIndex,HostDisc>
 

rakso

Well-Known Member
Themenstarter #29
Manche meiner HDDs laufen nicht.. die hdd caddy led leuchtet nicht.


Es blinkt halt noch langsam die "Module Fault" LED...

Module Fault LED (Amber)
Comes on when there is a system hardware fault. It may be associated with a
fault LED on a PCM or I/O module that helps the user to identify which
component is at fault.

laut SBX_UserGuide Kann das sein:

1.
Associated LEDs/ Alarms: PCM fault LEDs, fan fault LEDs
Status: Unknown (invalid or mixed) PCM type installed or I2C bus failure (PCM comms)

2.
Associated LEDs/ Alarms: Array in impacted state
Status: Arrays operating backgroundfunction


Am controller hinten is soweit alles grün, 2x SF8088 sind angeschlossen.
 

mr44er

moderater Moderator
Mitarbeiter
#30
Ok, schaun wir mal.

1.) Ich schließe mal aus, dass du die Platten zu weit nach vorne ins caddy geschraubt hast
2.) Welche Platten gehen, welche nicht? Hast du noch von damals die SAS-Platte? Wie verhält sich diese?
3.) Wenn man die netapp mit allen 4 Netzteilen startet und dann eins ausschaltet oder abklemmt (ja, auch die NTs sind hotswap-fähig), geht ne Warnlampe an und erst wieder aus, wenn alle NTs laufen, mit sovielen wie gestartet wurde.
4.) Ist es anders, wenn du mit allen 4 NTs startest? Was passiert, wenn du nur mit einem NT gesteckt startest?
5.) Evtl. ist ja wirklich irgendwo ein Lüfter hinüber.
6.) Ist es anders, wenn du mit nem IOM startest? (Starte immer nur mit einem gesteckten Modul, niemals mischen oder so, die flashen sich gegenseitig auf die neue FW des anderen automatisch)
 

rakso

Well-Known Member
Themenstarter #31
danke, alles fein, fehler wieder vor der maschine - hatte die platten, die nicht gingen, falsch reingeschraubt... ein loch weiter hinten, so dass kein Kontakt bestehen konnte ;-)

Hab den netapp jetzt an des AsRock board im SC836 angeschlossen, weil ich im anderen Gehäuse den HBA nicht kühlen kann und der ja ultra heiss wird... dort lief ja eine platte aus 4 nicht, die wird im netapp schon per orangener LED als defekt erkannt/markiert.. hab die jetzt gegen eine andere ersetzt, das resilvering läuft. hoff die ratzt jetz nicht ab.
 

rakso

Well-Known Member
Themenstarter #33
ist doch super dieser indikator. wie auch immer er funktioniert...
die ausrufezeichen-LED links blinkt immernoch... vllt geht die erst aus wenn alle 4 Netzteile drin sind? Hab ja nur 2...
 

mr44er

moderater Moderator
Mitarbeiter
#34
wie auch immer er funktioniert
Ich vermute, dass die Backplane das anhand von Spannungsbereichen prüft. Wenn außer der Norm, dann Meldung oder so.

vllt geht die erst aus wenn alle 4 Netzteile drin sind?
Nope, wenn man nur zwei hat/betreiben will, dann lo und ru stecken, dann starten. Aus der Erinnerung heraus meine ich, dass die Lampe leuchtete, wenn ich von 4 angeschlossenen eins gezogen hatte.

Blinken hatte ich noch nicht. Es ist denkbar, dass ein Lüfter wirklich kaputt ist und dann schreit es ja sowieso nach modding mit den Noctuas. ;)
Wenn du unter 12 Platten gesteckt hast, reicht zum Betrieb ein NT. Somit kannst du es ja mal mit nur einem Netzteil testen und dann nochmal mit dem anderen.

Tip: Mit sesutil locate kannst du die Slot-LEDs übrigens ansteuern. (Ich habe trotzdem kleine Labels auf die Slot mit der serial gepappt) ;)
 

rakso

Well-Known Member
Themenstarter #35
danke dir. ich habe unter 12 HDDs und soweit ich weiss ging mit einem NT nix.
Verkäufer schreibt zur orangenen LED: "it’s just to state that full redundancy psu redundancy isn’t activated."


ok, dann bestell ich 4x Noctua NF-A8 FLX, Leiser Premium-Lüfter, 3-Pin 80mm

Ich meine aber dass im Gehäuse noch weitere Lüfter sind, oder regelt die netapp den gasamten AirFlow mit den PSU-Fans?

Die PSUs gibts ja ab 10 EUR bei ebay:) https://www.ebay.de/itm/NetApp-Hot-...er-HB-PCM01-580-AC-82562-20-580W/264441478491

Die Idee, den Storage an zwei Stromkreise/Sicherungen anzuschließen, gefällt mir. Aber wie macht man das mit dem Rechner, der nur ein Netzteil hat? Gibts eine USV mit zwei Eingängen?
 

mr44er

moderater Moderator
Mitarbeiter
#36
"it’s just to state that full redundancy psu redundancy isn’t activated."
Äh, das stimmt so nicht. Ich habe zwei Netzteile gesteckt (lo und ru) bei 24 Platten und es ist keine Warnleuchte an.

ok, dann bestell ich 4x Noctua
Ja, kann nicht schaden. Aber du musst/solltest ja trotzdem rausfinden, welches NT die Macke hat. Mein best guess wäre nur ein NT links oben versuchen.

regelt die netapp den gasamten AirFlow mit den PSU-Fans?
So ist es. Deswegen ist es wichtig, dass nichts offen ist und den Sog killt.

Die Idee, den Storage an zwei Stromkreise/Sicherungen anzuschließen, gefällt mir. Aber wie macht man das mit dem Rechner, der nur ein Netzteil hat? Gibts eine USV mit zwei Eingängen?
Normalerweise pro Stromquelle eine USV, weil nur eine USV dann der SPOF ist. Beim Rechner kann man redundante Netzteile verbauen. Sieht so aus: https://www.caseking.de/silverstone...ntes-servernetzteil-2x-600-watt-nest-141.html
 

rakso

Well-Known Member
Themenstarter #37
Moin, also ich habe es jetzt nochmal getestet. habe die PSU ol und ur.
Sobald ich eines ausschalte, fliegt das Gehäuse wech (auch die grünen LED an den HDDs gehen aus). Wenn ich das ausgeschaltet dann wieder einschalte, kommt es nicht, wie erwartet, wieder, sondern erst, wenn ich beide aus- und wieder einschalte. Sind 11 HDDs drin. An der orangen LED ändert sich nichts.
 

rakso

Well-Known Member
Themenstarter #38
hast du noch eine Empfehlung für einen "host-rechner"? mein C2750i board liegt grad noch im SC836... am besten vllt doch ein 19" Gehäuse? 2HE? Redundante PSU wären ned schlecht, aber leise :) Und Steckplatz für mindestens einen HBA, viel mehr brauch ich da ja nicht.
 

mr44er

moderater Moderator
Mitarbeiter
#39
Mhm, klingt wirklich so, als hätte ein NT ne Macke. Dann solltest du ggf. noch ein NT bestellen, bei 10€ ja wurscht. Für Ersatz bzw. zum Verifizieren des Problems oder falls beim Noctua-Umbau was schiefgeht etc.

hast du noch eine Empfehlung für einen "host-rechner"?
Leider nein. Irgendein Board mit PCI-E 3.0, du bist jetzt völligst frei in der Wahl damit und auch beim Gehäuse.
Da du das nun durchexerziert hast und es mit eigenen Händen erfühlt, verstehst du, warum ein 4-Port HBA sinnlos gewesen wäre?
Der hätte dir z.B. den Einbau in ein 2HE-Gehäuse verwehrt, wäre am Bus langsamer und hätte dann 3 ungenutzte Ports zur Schau gestellt. :p
Im Prinzip brauchst du ne HW-Empfehlung für nen aktuellen Filer. Die Frage ist halt, ob der nur die NetApp bespaßen soll oder noch mehr etc. und dementsprechend sollte man dann die CPU+Ram dimensionieren. (Zaunpfahl: neuer Thread ;) )
Wenn dir Platz egal ist, dann solltest du das Gehäuse größer dimensionieren. Dann hat man mehr Möglichkeiten, den HBA adäquat zu kühlen.

Redundante PSU wären ned schlecht, aber leise
Serverzeug leise kriegen ist so ne Sache. Daumenregel: Möglichst großes Gehäuse oder sogar Tower nehmen, damit vermeidet man Hitzestau. Dann alle Lüfter gegen Noctuas tauschen, die haben ja sämtliche Größen. Wenn das immer noch lärmt, kann man die rpm regeln und dazu temps messen.

Tip: Schau zuerst nach Netzteilen (2x Redundanz, 3x?), wähle anhand dessen dein Gehäuse. Andersrum wirds immer schwierig und teurer oder geht gar nicht. 4x Redundanz für 19" 1HE wäre sowas Exotisches.
 

rakso

Well-Known Member
Themenstarter #40
Warum 3 ungenutzte Ports? Habe jetzt 2 Kabel vom HBA zum NetApp, und der HB-SBB2-E601-COMP hat doch 3 Ports, ja, also wäre nur einer ungenutzt? Fragt sich aber, ob mir noch ein weiterer einen Vorteil bringt? Könnte ja nun auch noch einen 2. HBA einbauen, um 3 Kabel zu haben.. nur, bringts was? Oder kann man damit noch mit nem zweiten Rechner auf die Disks zugreifen? (halt ned auf die gleichen..?)

Das 2750D4I ist jetzt schon recht leise. Liegt im SC836 drin, mit nem normalen PC Netzteil (irgendwas leises natürlich schon), auf dem CPU liegt ein Noctua, und neben dem HBA steht auch ein Noctua... das ganze halt jetzt in ein anderes Gehäuse reinbauen und zumachen.. fertig. Was würdest Du nehmen? Aber mache gerne einen neuen Thread auf ;)

Wenn schon der NetApp die Redundanz bietet, wäre es ja praktisch wenn der Rechner das dann auch hat. Aber dann sollten es nicht die üblichen Netzteile sein die dann sehr laut sind (daher nutze ich die PSUs im SC836 nicht, sondern hab ein normales reingestellt..) Mir ist neulich eine APC USV abgeraucht, das war mir auch ein Zeichen.. die beiden Netzteile nicht an die gleiche USV...

PS: Nochmal fettes Danke an dich für die Empfehlungen - sehr cool!
VG!
 

mr44er

moderater Moderator
Mitarbeiter
#41
Warum 3 ungenutzte Ports? Habe jetzt 2 Kabel vom HBA zum NetApp, und der HB-SBB2-E601-COMP hat doch 3 Ports, ja, also wäre nur einer ungenutzt?
Stimmt ja. Ne, ich meinte Ports am HBA, du hast ja am Anfang zu dem 4-port tendiert. Da wären dann nun 2 unbenutzt und die Karte hätte nicht in ein 2HE-Gehäuse gepasst.

Fragt sich aber, ob mir noch ein weiterer einen Vorteil bringt?
Wie schon gesagt, würde ein Kabel reichen. Jetzt mit zwei gesteckten hast du 8 Lanes und somit die doppelte Bandbreite zwischen Expander und HBA anliegen. Die Festplatten erreichen aber nichtmal annähernd das Limit der Bandbreite. Einen Vorteil hat es: du hast Redundanz beim Kabel.
https://serverfault.com/questions/676942/max-sas-throughput-of-a-disk-stack
https://de.wikipedia.org/wiki/Serial_Attached_SCSI

Mit dem dritten Port am HB-SBB2-E601-COMP würde eine zweite NetApp als ID 01 angeschlossen funktionieren und an diese kann man dann die nächste hängen. Je nachdem wo und wie man Bandbreite sowie Redundanz braucht. Du kannst ja in die Netapp noch 3 weitere HB-SBB2-E601-COMP stopfen. Oder du nimmst noch mehr HBAs. Stell dir einen Expander (die kannst auch wiederum nochmal expandieren) wie eine Mehrfachsteckdose vor. Alle kriegen Saft, aber wenn du insgesamt mehr als 3500W (Bandbreite) ziehst, knallt die Sicherung.

Oder kann man damit noch mit nem zweiten Rechner auf die Disks zugreifen? (halt ned auf die gleichen..?)
Ja, kann man. Aber das geht nur mit SAS. Ist nicht die ganze Wahrheit, es gibt interposer, die simulieren SAS aus SATA. Aber wenn du das bräuchtest und dir deine Daten lieb sind, solltest du gleich SAS-Platten nehmen.
Auch rate ich davon ab, von zwei Servern aus gleichzeitig direkt auf ein ZFS zuzugreifen. Da ist ohne Vorplanung Ärger garantiert und die Daten geräuchert.
Womöglich ginge es sogar, wenn du von Server1 z.B. auf die Platten 0-11 zugreifst und von Server2 auf 12-23. Aber das riecht einfach schon nach Fehlerquellen und Datenverlust. ;)

Keine Ahnung, ich bin nicht uptodate bei Serverzeug. Ich hab ne alte Maschine an die NetApp gepappt, leistungstechnisch reicht sie locker. Ich musste nicht neu kaufen, weil die NetApp erst später dazu kam. ;)
Mach mal nen neuen Thread auf, da wird dir schon von den anderen geholfen.
Eins noch: Für ZFS will man eigentlich ECC, wenn man eh schon eine Neuanschaffung plant. Am Rande habe ich mitbekommen, dass DDR4 ein ähnliches Goodie mitbringt. Da könnte man sich ggf. nochmal einlesen, dürfte dann preisdrückend sein.
 

rakso

Well-Known Member
Themenstarter #43
und jetzt der "showdown" - meine im alten SC836 problematischen (aber im DS380 problemlos laufenden, gerade erst scrub gemacht) platten im Netapp - es knallt wieder. Aber nur bei einer - auch in verschiedenen Slots, beim Einstecken:

Code:
mps0: SAS Address for SATA device = 3e28394eac6e616e
mps0: SAS Address from SATA device = 3e28394eac6e616e
        (probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00 length 36 SMID 888 terminated ioc 804b loginfo 31111000 scsi 0 state c xfer 0
(probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00
(probe0:mps0:0:26:0): CAM status: CCB request completed with an error
(probe0:mps0:0:26:0): Retrying command
        (probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00 length 36 SMID 842 terminated ioc 804b loginfo 31111000 scsi 0 state c xfer 0
(probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00
(probe0:mps0:0:26:0): CAM status: CCB request completed with an error
(probe0:mps0:0:26:0): Retrying command
        (probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00 length 36 SMID 405 terminated ioc 804b loginfo 31111000 scsi 0 state c xfer 0
(probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00
(probe0:mps0:0:26:0): CAM status: CCB request completed with an error
(probe0:mps0:0:26:0): Retrying command
        (probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00 length 36 SMID 177 terminated ioc 804b loginfo 31111000 scsi 0 state c xfer 0
(probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00
(probe0:mps0:0:26:0): CAM status: CCB request completed with an error
(probe0:mps0:0:26:0): Retrying command
        (probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00 length 36 SMID 1099 terminated ioc 804b loginfo 31111000 scsi 0 state c xfer 0
(probe0:mps0:0:26:0): INQUIRY. CDB: 12 00 00 00 24 00
(probe0:mps0:0:26:0): CAM status: CCB request completed with an error
(probe0:mps0:0:26:0): Error 5, Retries exhausted
Kann es sein, dass es an der Platte liegt? Im anderen Gehäuse+Board läuft sie aber prolemlos, auch mehrere Tage scrubbing Vollast etc kein Problem.


10TB 1: ST10000VN0004-1ZD101
10TB 2: ST10000VN0004-2GS11L
10TB 3: ST10000VN0004-1ZD101
10TB 4: ST10000VN0004-1ZD101
10TB 5: ST10000VN0004-2GS11L macht die Probleme

firmware revision bei allen: SC60

Die beiden 2GS.. sind von DriveCity, alle anderen von Cyperport.
 
Zuletzt bearbeitet:

mr44er

moderater Moderator
Mitarbeiter
#44
Das sieht so aus, als würde die Platte sich in irgendeinen standby begeben. (Siehe im ganz alten Thread vom letzten Jahr)

Im anderen Gehäuse+Board läuft sie aber prolemlos, auch mehrere Tage scrubbing Vollast etc kein Problem.
Kann sein, dass es nur so wirkt, weil unter Last der standby verhindert wird.

Oder eben der Klassiker, dass sich die Kombi Expander+SATA nicht lieb haben.
 

rakso

Well-Known Member
Themenstarter #45
> Kann sein, dass es nur so wirkt, weil unter Last der standby verhindert wird.
ne, diese fehler habe ich in der anderen kiste never gesehen. bei netapp / sc836 kommt das SOFORT beim Einstecken, und die platte wird als solche garnicht erkannt im gpart... hab jetz ne neue gleichen typs bestellt... (hatten ich damals auch schon gemacht.. spooky)
 

Bummibaer

Registered Schwarzbär
#48
Hoi,
hast Du mal spaßeshalber geschaut ob die Platten, welche ja aus der selben Modelreihe zu sein scheinen, auch wirklch die selbe Firmware Revision aufweisen ?

Es gab bei einigen Händlern schon öfter verkaufte Platten, auf welchen nicht die aktuelle Firmware vom Hersteller war und wo der Händler trotz Verpflichtung im Vertrag mit dem Hersteller dann die Plattenfirmware beim Verkauf nicht aktualisiert und mit der alten verkauft hat. Vielleicht hast Du so einen Fall vorliegen, da könnte es gut sein das die im Verbund zu Problemen neigen und einzeln dann vielleicht ohne Fehler funktionieren.

Falls die FW der HDDs identisch ist geb mir mal bitte von der betroffenen Platte die vollständige Seriennummer, dann schauen wir mal was mer zu der konkret in Erfahrung bringen kann.

Gruß Bummibär
 

Bummibaer

Registered Schwarzbär
#50
Hallo,

die Modellreihe mit der M/N & S/N sollte Firmware Version SC61 (17-Jul-19 ) haben.
Die Info und der Download Link sind im Anhang enthalten.

Falls die Probleme danach noch da sein sollten, würde ich zum Austausch der Platte raten. Die müsste zeitlich noch bis zum 07.09.21im Rahmen der Garantiezeit sein.

Gruß Bummibär
 

Anhänge