Bau eines großen ZFS NAS Servers - Hardware?

Dieses Thema im Forum "FreeBSD - Allgemein" wurde erstellt von rakso, 23 April 2012.

  1. rakso

    rakso Member

    Registriert seit:
    8 August 2003
    Beiträge:
    533
    Hallo zusammen,

    mein HP N36L Fileserver mit 4x 2TB HDD im RaidZ ist nun installiert und schon stelle ich fest, dass dieser Platz schon bald viel zu wenig ist. Meine Frage ist nun, wie und woraus ich mir einen "richtig fetten" Fileserver brauchen kann (bzw, inwieweit der eSATA Anschluss des N36L mir da eine Hilfe ist - kann man da externe hdd bays anschließen?)

    Drobo, synology, qnas usw kommen nicht in frage, da ich inzwischen ZFS-fanboy geworden bin und meine daten nichtsmehr anderem anvertrauen würde :)

    Über das, was gerade so "angesagt" ist, habe ich leider keinen Überblick.. was ich brauche.... :


    - Mainboard - cpu - kombi mit viel RAM
    Atom? oder was "richtiges"?

    - Gehäuse mit viel hdd einschüben (mind. 10)

    - wie schließt man soviele hdds ans board an, die üblicherweise ca 6 sata Anschlüsse haben? -> PCI-E sata karten?

    - leise sollte es sein


    Freue mich auf Tips ...


    Grüße


    PS: Mir ist klar, dass "groß" für viele hier hunderte Platten bedeutet, für mich sind 10-20 HDDs schon "groß".. Bite habt Nachsicht ;-)
  2. Crest

    Crest rm -rf /*

    Registriert seit:
    25 Juni 2008
    Beiträge:
    1.268
    Wohnort:
    /dev/random
    Leise und "groß" verträgt sich nicht. Leise gibt es nur im Desktop/Gaming Bereich. Vernünftige Serverhardware ist auf zuverlässige und ausreichende Kühlung ausgelegt nicht auf <20dB.
    Günstige brauchbare Hardware kriegt man von Supermicro recht gut. Nimm einfach mal ca. 2GB RAM pro TB Platten.
    Atoms und ZFS vertragen sich nicht. Der Atom ist einfach zu lahm und genug RAM kann man auch nicht anschließen. Von ECC RAM wollen wir hier mal noch garnicht reden. Guck dir doch mal 3HE Gehäuse an.
  3. kira12

    kira12 Member

    Registriert seit:
    3 März 2009
    Beiträge:
    745
    Wohnort:
    Dresden
    Hallo,

    leider ist mein Tipp alles andere als leise ;-) Aber HP's SMA60 ist ein schönes externes Festplattengehäuse für 12 HDD. Allerdings nur in Kombi mit einem Server von HP. Der ML110 ist recht preiswert und leise. Ich habe dazu einen ML370, der ist verdammt laut was mich aber im Keller nicht stört.

    Gruß ré
  4. rakso

    rakso Member

    Registriert seit:
    8 August 2003
    Beiträge:
    533
    von "leise" muss ich mich verabschieden, alleine ein dutzend platten machen lärm.

    unter SMA60 finde ich nichts,.. schreibweise?

    wie wird das an den server angeschlossen? "sieht" freebsd dann die einzelnen platten für zfs?
  5. kira12

    kira12 Member

    Registriert seit:
    3 März 2009
    Beiträge:
    745
    Wohnort:
    Dresden
    Moin,

    sorry, "MSA 60" oder "MSA 70". Das ist nur das externe Plattengehäuse. Der Rechner + Controller dazu ermöglicht dir die Platten als Raid oder JBOD zu konfigurieren. Ich nutze den P600 zum MSA60, der SC44e reicht aber auch. Du kannst die MSA weiter kaskadieren falls die 12 HDD nicht reichen sollten...

    Gruß ré

    P.S. der ML110 dürfte am leistesten ein bzw. auch zu modifizieren zu sein.
  6. rakso

    rakso Member

    Registriert seit:
    8 August 2003
    Beiträge:
    533
    sicherlich ne coole sache aber 3000 eur für ein hdd gehäuse sind mir dann doch zuviel. zum anderen sind das dann HP raidgeschichten? ich will das mit ZFS raidz machen, freebsd braucht also einzelne platten, das geht damit nicht, so wie ich das verstanden habe..
  7. kira12

    kira12 Member

    Registriert seit:
    3 März 2009
    Beiträge:
    745
    Wohnort:
    Dresden
    es muß ja nicht neu sein. na klar geht das . Ich nutze das auch:

    da1 at ciss1 bus 0 scbus2 target 0 lun 0
    da1: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
    da1: 135.168MB/s transfers
    da1: Command Queueing enabled
    da1: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
    da2 at ciss1 bus 0 scbus2 target 1 lun 0
    da2: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
    da2: 135.168MB/s transfers
    da2: Command Queueing enabled
    da2: 1907697MB (3906963632 512 byte sectors: 255H 32S/T 65535C)
    da3 at ciss1 bus 0 scbus2 target 2 lun 0
    da3: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
    da3: 135.168MB/s transfers
    da3: Command Queueing enabled
    da3: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
    da4 at ciss1 bus 0 scbus2 target 3 lun 0
    da4: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
    da4: 135.168MB/s transfers
    da4: Command Queueing enabled
    da4: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
    da5 at ciss1 bus 0 scbus2 target 4 lun 0
    da5: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
    da5: 135.168MB/s transfers
    da5: Command Queueing enabled
    da5: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)
    da6 at ciss1 bus 0 scbus2 target 5 lun 0
    da6: <COMPAQ RAID 0 VOLUME OK> Fixed Direct Access SCSI-5 device
    da6: 135.168MB/s transfers
    da6: Command Queueing enabled
    da6: 953837MB (1953459632 512 byte sectors: 255H 32S/T 65535C)

    Gruß ré
  8. rakso

    rakso Member

    Registriert seit:
    8 August 2003
    Beiträge:
    533
    stimmt, da is was bei ebay für 1133 drin.
    dort wird der ML110 nicht als "kompatibel" gelistet.
  9. kira12

    kira12 Member

    Registriert seit:
    3 März 2009
    Beiträge:
    745
    Wohnort:
    Dresden
    suche mal nach MSA60 quickspecs. Dort findest du die kompatiblen Controllertypen, nach den Controller gesucht findest du die kompatiblen Rechner dazu. Meiner Meinung nach ist der SC44e zum MSA60 kompatibel und der ML110 G6/7 zum SC44e.

    Gruß ré
  10. Yamagi

    Yamagi Possessed With Psi Powers Mitarbeiter

    Registriert seit:
    14 April 2004
    Beiträge:
    7.215
    Wohnort:
    Schleswig-Holstein
    Wir bauen ZFS-Server im Moment so:
    - ASUS P8B-M Sockel 1155 Mainboard
    - Intel Xeon E3-1260L Prozessor mit 45W TDP
    - 16GB Kingston ECC RAM (nicht registred / buffered)
    - LSI 9211-8i mit IT-Firmware
    - Intel SSD 313 20GB
    - Intel SSD 320 80GB

    Bei den Festplatten kommt es drauf an, was man möchte. Für Kunden, denen Zuverlässigkeit wichtig ist, verbauen wir meist Hitachi Ultrastar 7K3000. Das sind sehr zuverlässige, schnelle SAS-Festplatten, allerdings auch recht teuer. Natürlich sind auch alle anderen S-ATA oder SAS Festplatten denkbar. In jedem Fall hängen bis zu acht der Festplatten an dem LSI-Controller. An dem internen S-ATA Controller des Mainboards hängen die beiden SSD. Auf der 20GB SLC-SSD liegen eine 4GB ZIL und ein ~16GB L2ARC-Cache. Auf der 80GB SSD liegen ca. 45G Dedup-Daten, 16GB Swap und auf dem Rest das System selbst auf einem eigenen ZPool.
  11. reakktor

    reakktor Member

    Registriert seit:
    2 Juni 2004
    Beiträge:
    188
    Bei wirklich dick: Die IBM DS3x00 Linie, z.B. IBM DS3500 oder größer, stapelbar
    Benötigt allerdings noch entsprechende Controller (Fiber/SAS).
    Zuletzt bearbeitet: 28 April 2012
  12. solarix

    solarix Konsolenpenner

    Registriert seit:
    17 Juni 2004
    Beiträge:
    346
    Wohnort:
    Kuchen (Fils)
    Naja.. wirklich Dick ist anders. ;)
    Das ist ja ein Midrange System, aber das ist wohl auch kaum das was der OP will. ;)
    Wenn ich den OP richtig verstanden hab, will die Frage ist wohl eher wo kriegt Er ein Gehäuse her um die restlichen Platten unterzubringen mit entsprechendem Controller ohne das Er gleich arm wird wie eine Kirchenmaus. :)
    Vielleicht wär das eine Option
    Zuletzt bearbeitet: 28 April 2012
  13. Crest

    Crest rm -rf /*

    Registriert seit:
    25 Juni 2008
    Beiträge:
    1.268
    Wohnort:
    /dev/random
    solarix: Von dem Gehäuse kann ich nur abraten. Ein Bekannter hat das im Einsatz. Es ist langsam und unzuverlässig unter Ubuntu 10.x und 11.x und FreeBSD 8.2 und 9.0. Mit 4 Platten erreichte er unter Ubuntu 11.x sowohl per USB nur 5MiB/s bis 7MiB/s als auch per eSATA nur <10MiB/s. Direkt an den AHCI Controller angeschlossen erreicht das selbe RAID5 >200MiB/s seq. Reads. Der AHCI Controller ist FIS fähig.
  14. q000te

    q000te Member

    Registriert seit:
    27 Juli 2010
    Beiträge:
    109
    Wohnort:
    Dresden
    @Crest / @solarix

    Das Fantec Gehäuse ist extrem wählerisch. Ich nutze das zur Zeit nur noch als zweites Backup.
    Es bringt bei mir per esata mit einem SiI 3132 bis zu 70 MiB (im Schnitt sind es dann ca. 55).
    An anderern Controllern bricht das häufig dramatisch ein! USB habe ich bislang nie verwendet.
  15. lockdoc

    lockdoc Active Member

    Registriert seit:
    3 Februar 2005
    Beiträge:
    1.499
    Fuer gross und leise kann ich folgendes Gehaeuse empfehlen "Sharkoon Rebel 12". Es hat Platz fuer 12x 5 1/4" Einschuebe.
    http://www.pc-look.com/boutik/images/Plus2/700822-009_p004.jpg
    http://www.sharkoon.com/sites/default/files/products/rebel12_b_eco.jpg
    Ich habe vorne im Gehaeuse vor den Festplatten noch 3 Gehaeuseluefter dran, ich denke ein 4. Luefter haette noch Platz.
    Hinzukommt, dass die Blenden vorne (wenn man luefter dran hat) den Staub sehr sehr gut abfangen und nicht ins Innere lassen.
    Man muss dann nur alle paar Tage/Wochen vorne mal mit einem grossen Pinsel den Staub wegpinseln.

    In dem Gehaeuse habe ich meine Festplatten alle entkoppelt drinne via dem "vibe fixer"
    http://www.kmcomputer.de/item/742/684/0/115122/sharkoon-hdd-vibe-fixer.html
    Damit sind die sogut wie unhoerbar.

    Das Kabelmanagement ist auch sehr gut.
  16. pit234a

    pit234a Active Member

    Registriert seit:
    8 Juli 2006
    Beiträge:
    1.692
    http://weispit.eu/daempfung.pdf

    gerade habe ich wegen eines anderen Threads mal nachgesehen: etwas über drei Jahre funktioniert das nun schon! Die Fahrrad-Schlauch Methode hat sich bei mir voll bewährt!

    Nun ist die Frage, ob du dir selbst was basteln willst und ob du das auch kannst.
    Leider trauen sich die meisten Menschen, denen ich in meinem Alltag begegne, keinerlei Bastel-Arbeiten an PCs zu. Sie kaufen immer nur.

    Die beste Quelle für PC-Gehäuse ist der Wertstoffhof in deiner Nähe!
    Wandere mal dort und du wirst extrem viele wirklich gute Gehäuse sehen und mit etwas Glück kannst du die für etwa eine Flasche Bier auch bekommen. Gehäuse verbrauchen sich nicht. Wenn die zehn Jahre alt sind, sind die nicht schlechter geworden.
    Sobald sie ATX-Formfaktor haben, sind sie auch brauchbar.
    Natürlich muss dann Arbeit investiert werden.
    Das Gehäuse muss gereinigt und aufpoliert werden, vielleicht neu lackiert und auch umgebaut werden. Fast immer findest du Schächte für die Laufwerke, aber mit der Fahrradschlauch-Methode brauchst du die nicht. Optische Laufwerke etc sollten gut erreichbare Schächte finden und du musst dann halt deine Fantasie und Kreativität etwas laufen lassen.

    Krach machen auf alle Fälle die Lüfter und die sind unbedingt ratsam.
    Oh nein, die Kühlung ist ratsam, nicht die Kühlung durch einen Luftstrom!
    Das mit den Lüftern ist eben einfach und billig. Es ist konkurrenzlos einfach und billig und deshalb habe ich es so gelassen. Die Aufhängung der Festplatten war bei mir die wichtige Maßnahme zur Beruhigung. Wenn ich einen neuen Server baue, werde ich versuchen, das noch besser zu machen. Für CPUs gibt es leise Kühlungen ohne Lüfter und Festplatten können mit zusätzlichen Kühlkörpern versehen werden und dann mit großen und leisen Lüftern angeblasen werden. Vielleicht gibt es sogar eine Halbleiterkühlung, die ich da einbauen kann (Peiltier-Elemente, etwa aus aktiven Kühlboxen etc , die da ebenfalls in Massen verschrottet werden.). Jede Kühlung, die nicht über den einfachen, billigen und lauten Luftstrom passiert, ist aufwändig und kostet. Jedenfalls Strom. Alle echten Wärmetauscher und gerade Peiltier-Elemente brauchen recht viel Strom. Trotzdem plane ich da bereits für den nächsten Server und sehe so langsam, was ich finden kann.
    Deshalb brauche ich auch immer Zeit. Schnell geht gar nichts. Die CPU und das Mainboard und der Speicher kommen am Schluss und sind beinahe unwichtig. Die Kosten belaufen sich dann aber beinahe nur auf diese Komponenten, Controller und Platten.
    Dabei habe ich seit vielen Jahren eine große Vorliebe für SCSI Platten und würde mir auch gerne SAS leisten können. Meine persönliche Einschätzung ist aber, dass SATA es durchaus tut. Das hatte ich nie geglaubt und immer an die Erfahrung mit IDE gedacht, aber es gibt wirklich gute SATA Platten viel billiger als SAS. Besonders, wenn wirklich 25 Platten laufen sollen.
    Trotzdem: wenn jemand so viel Speicher braucht, dann sollte er auch das Geld locker machen und SAS Platten kaufen!

    Jedenfalls bräuchte man schon einen langen Fahrradschlauch, um 25 Platten daran aufzuhängen.
    Deshalb sprach ich auch von Bastel-Arbeit.
    Ich würde mir eher vorstellen, ein eigenes Gehäuse dafür zu bauen und zwar evtl unter Verwendung vorhandener alter Gehäuse, Aber, das Mainboard würde ich hinter den Platten quer einbauen und dann die SAS Verbindungen von den Controllern aus zu den Platten führen. Die Platten würde ich etwa zu sechs oder sieben an einer Fahrradschlauch-Schleife aufhängen. Ich denke, dass auch acht gelingen wird und zwar innerhalb der Höhe eines normalen Towers. Je dichter die Platten sich aber kommen, desto ärger wird das Problem der Kühlung.
    Jedenfalls würde ich dann drei derartige Plattenbanken nebeneinander vorsehen, nicht breiter als das. Das dürfte in etwa der Größe eines quer dazu eingebauten normalen Mainboards entsprechen.
    Die Stromversorgung so vieler Platten passiert über getrennte Netzteile und ich weiß nicht, ob ich die aus alten PCs ausbauen würde. Wohl eher nicht! PC-Netzteile sind trotzdem sehr billig und ich würde vielleicht welche nutzen, um die Platten mit Strom zu versorgen. Wahrscheinlich würde ich aber eher ein ausgesondertes Industrienetzteil nehmen. Da habe ich einen berufsbedingten Vorteil. Ein neus NT dieser Gattung wäre viel zu teuer für mich, dann schon lieber mit PC-NT.

    Alles zusammen nicht billig, aber mit so vielen Platten ist das nun mal so.
    Mit drei bis vier möglichst gleichen Gehäusen vom Schrott und etwas gestalterischer Schaffenskraft und ein wenig mechanischen Grundfertigkeiten, kann aber sicher viel Geld gespart werden und wenn nicht die Ergebnisse der Profis nachgebaut werden sollen, dann können so für den Privatbereich doch preiswerte Alternativen geschaffen werden, die durchaus brauchbar sind.
    Mich würde das reizen, doch ich habe dafür einfach kein Geld.
  17. Crest

    Crest rm -rf /*

    Registriert seit:
    25 Juni 2008
    Beiträge:
    1.268
    Wohnort:
    /dev/random
    Dein Server hat die Bezeichnungen "Datengrab" und WOM (Write Only Memory) wirklich verdient.