Bau eines großen ZFS NAS Servers - Hardware?

[rakso]

Hallo zusammen,

mein HP N36L Fileserver mit 4x 2TB HDD im RaidZ ist nun installiert und schon stelle ich fest, dass dieser Platz schon bald viel zu wenig ist. Meine Frage ist nun, wie und woraus ich mir einen "richtig fetten" Fileserver brauchen kann (bzw, inwieweit der eSATA Anschluss des N36L mir da eine Hilfe ist - kann man da externe hdd bays anschließen?)

Drobo, synology, qnas usw kommen nicht in frage, da ich inzwischen ZFS-fanboy geworden bin und meine daten nichtsmehr anderem anvertrauen würde

Über das, was gerade so "angesagt" ist, habe ich leider keinen Überblick.. was ich brauche.... :


- Mainboard - cpu - kombi mit viel RAM
Atom? oder was "richtiges"?

- Gehäuse mit viel hdd einschüben (mind. 10)

- wie schließt man soviele hdds ans board an, die üblicherweise ca 6 sata Anschlüsse haben? -> PCI-E sata karten?

- leise sollte es sein


Freue mich auf Tips ...


Grüße


PS: Mir ist klar, dass "groß" für viele hier hunderte Platten bedeutet, für mich sind 10-20 HDDs schon "groß".. Bite habt Nachsicht ;-)

[Crest]

Leise und "groß" verträgt sich nicht. Leise gibt es nur im Desktop/Gaming Bereich. Vernünftige Serverhardware ist auf zuverlässige und ausreichende Kühlung ausgelegt nicht auf <20dB.
Günstige brauchbare Hardware kriegt man von Supermicro recht gut. Nimm einfach mal ca. 2GB RAM pro TB Platten.
Atoms und ZFS vertragen sich nicht. Der Atom ist einfach zu lahm und genug RAM kann man auch nicht anschließen. Von ECC RAM wollen wir hier mal noch garnicht reden. Guck dir doch mal 3HE Gehäuse an.

[kira12]

Hallo,

leider ist mein Tipp alles andere als leise ;-) Aber HP's SMA60 ist ein schönes externes Festplattengehäuse für 12 HDD. Allerdings nur in Kombi mit einem Server von HP. Der ML110 ist recht preiswert und leise. Ich habe dazu einen ML370, der ist verdammt laut was mich aber im Keller nicht stört.

Gruß ré

[rakso]

von "leise" muss ich mich verabschieden, alleine ein dutzend platten machen lärm.

unter SMA60 finde ich nichts,.. schreibweise?

wie wird das an den server angeschlossen? "sieht" freebsd dann die einzelnen platten für zfs?

[kira12]

Moin,

sorry, "MSA 60" oder "MSA 70". Das ist nur das externe Plattengehäuse. Der Rechner + Controller dazu ermöglicht dir die Platten als Raid oder JBOD zu konfigurieren. Ich nutze den P600 zum MSA60, der SC44e reicht aber auch. Du kannst die MSA weiter kaskadieren falls die 12 HDD nicht reichen sollten...

Gruß ré

P.S. der ML110 dürfte am leistesten ein bzw. auch zu modifizieren zu sein.

[rakso]

sicherlich ne coole sache aber 3000 eur für ein hdd gehäuse sind mir dann doch zuviel. zum anderen sind das dann HP raidgeschichten? ich will das mit ZFS raidz machen, freebsd braucht also einzelne platten, das geht damit nicht, so wie ich das verstanden habe..

[kira12]

es muß ja nicht neu sein. na klar geht das . Ich nutze das auch:

da1 at ciss1 bus 0 scbus2 target 0 lun 0
da1: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
da1: 135.168MB/s transfers
da1: Command Queueing enabled
da1: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
da2 at ciss1 bus 0 scbus2 target 1 lun 0
da2: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
da2: 135.168MB/s transfers
da2: Command Queueing enabled
da2: 1907697MB (3906963632 512 byte sectors: 255H 32S/T 65535C)
da3 at ciss1 bus 0 scbus2 target 2 lun 0
da3: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
da3: 135.168MB/s transfers
da3: Command Queueing enabled
da3: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
da4 at ciss1 bus 0 scbus2 target 3 lun 0
da4: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
da4: 135.168MB/s transfers
da4: Command Queueing enabled
da4: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
da5 at ciss1 bus 0 scbus2 target 4 lun 0
da5: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
da5: 135.168MB/s transfers
da5: Command Queueing enabled
da5: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
da6 at ciss1 bus 0 scbus2 target 5 lun 0
da6: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
da6: 135.168MB/s transfers
da6: Command Queueing enabled
da6: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)

Gruß ré

[rakso]

Zitat von kira12

es muß ja nicht neu sein. na klar geht das . Ich nutze das auch:

stimmt, da is was bei ebay für 1133 drin.
dort wird der ML110 nicht als "kompatibel" gelistet.

[kira12]

suche mal nach MSA60 quickspecs. Dort findest du die kompatiblen Controllertypen, nach den Controller gesucht findest du die kompatiblen Rechner dazu. Meiner Meinung nach ist der SC44e zum MSA60 kompatibel und der ML110 G6/7 zum SC44e.

Gruß ré

[Yamagi]

Wir bauen ZFS-Server im Moment so:
- ASUS P8B-M Sockel 1155 Mainboard
- Intel Xeon E3-1260L Prozessor mit 45W TDP
- 16GB Kingston ECC RAM (nicht registred / buffered)
- LSI 9211-8i mit IT-Firmware
- Intel SSD 313 20GB
- Intel SSD 320 80GB

Bei den Festplatten kommt es drauf an, was man möchte. Für Kunden, denen Zuverlässigkeit wichtig ist, verbauen wir meist Hitachi Ultrastar 7K3000. Das sind sehr zuverlässige, schnelle SAS-Festplatten, allerdings auch recht teuer. Natürlich sind auch alle anderen S-ATA oder SAS Festplatten denkbar. In jedem Fall hängen bis zu acht der Festplatten an dem LSI-Controller. An dem internen S-ATA Controller des Mainboards hängen die beiden SSD. Auf der 20GB SLC-SSD liegen eine 4GB ZIL und ein ~16GB L2ARC-Cache. Auf der 80GB SSD liegen ca. 45G Dedup-Daten, 16GB Swap und auf dem Rest das System selbst auf einem eigenen ZPool.

[reakktor]

Bei wirklich dick: Die IBM DS3x00 Linie, z.B. IBM DS3500 oder größer, stapelbar
Benötigt allerdings noch entsprechende Controller (Fiber/SAS).

[solarix]

Zitat von reakktor

Bei wirklich dick: Die IBM DS3x00 Linie, z.B. IBM DS3500 oder größer, stapelbar
Benötigt allerdings noch entsprechende Controller (Fiber/SAS).

Naja.. wirklich Dick ist anders.
Das ist ja ein Midrange System, aber das ist wohl auch kaum das was der OP will.
Wenn ich den OP richtig verstanden hab, will die Frage ist wohl eher wo kriegt Er ein Gehäuse her um die restlichen Platten unterzubringen mit entsprechendem Controller ohne das Er gleich arm wird wie eine Kirchenmaus.
Vielleicht wär das eine Option

[Crest]

solarix: Von dem Gehäuse kann ich nur abraten. Ein Bekannter hat das im Einsatz. Es ist langsam und unzuverlässig unter Ubuntu 10.x und 11.x und FreeBSD 8.2 und 9.0. Mit 4 Platten erreichte er unter Ubuntu 11.x sowohl per USB nur 5MiB/s bis 7MiB/s als auch per eSATA nur <10MiB/s. Direkt an den AHCI Controller angeschlossen erreicht das selbe RAID5 >200MiB/s seq. Reads. Der AHCI Controller ist FIS fähig.

[q000te]

@Crest / @solarix

Das Fantec Gehäuse ist extrem wählerisch. Ich nutze das zur Zeit nur noch als zweites Backup.
Es bringt bei mir per esata mit einem SiI 3132 bis zu 70 MiB (im Schnitt sind es dann ca. 55).
An anderern Controllern bricht das häufig dramatisch ein! USB habe ich bislang nie verwendet.

[lockdoc]

Fuer gross und leise kann ich folgendes Gehaeuse empfehlen "Sharkoon Rebel 12". Es hat Platz fuer 12x 5 1/4" Einschuebe.
http://www.pc-look.com/boutik/images...2-009_p004.jpg
http://www.sharkoon.com/sites/defaul...el12_b_eco.jpg
Ich habe vorne im Gehaeuse vor den Festplatten noch 3 Gehaeuseluefter dran, ich denke ein 4. Luefter haette noch Platz.
Hinzukommt, dass die Blenden vorne (wenn man luefter dran hat) den Staub sehr sehr gut abfangen und nicht ins Innere lassen.
Man muss dann nur alle paar Tage/Wochen vorne mal mit einem grossen Pinsel den Staub wegpinseln.

In dem Gehaeuse habe ich meine Festplatten alle entkoppelt drinne via dem "vibe fixer"
http://www.kmcomputer.de/item/742/68...ibe-fixer.html
Damit sind die sogut wie unhoerbar.

Das Kabelmanagement ist auch sehr gut.