Neugier: ZFS auf welchen Platten

[chaos]

Hallo,

ich überlege gerade mir ein kleinen Rechner/"Serverchen" mit ZFS (3 Festplatten im RaidZ und eine SSD) als "On-Demand-Heimserver" (=nur an wenn benötigt[1]) zu basteln, und da stellt sich natürlich die Frage nach den geeigneten Festplatten.
Und da ist mann dann natürlich neugierig, auf was andere so vertrauen.
Denn bei Festplatten hat wohl jeder so seine Vorurteile bezgl. eigener Ausfallerlebnisse.

ciao
chaos
--------
[1]
d.h. er läuft zunächst wenn Backups geschrieben werden, oder ports gebaut werden oder der Raspberry etwas wiedergeben soll.
Irgendwann, wenn in meinem Desktop die Festplatte die Krätsche macht oder sich das "Rechnerkonzept" ändert, auch als NFS-Server,wenn der Desktop/Laptop/.... läuft.
Aber bis jetzt hat meine WD green im Desktop nach 4 1/4 Jahren noch keine Ausfallerscheinungen.

 

[Rakor]

Darf man fragen warum ein RAIDZ mit drei Platten? Ich würde wohl eher auf 2 größere im mirror oder 4 im Pool aus 2 mirrors gehen.

 

[chaos]

Die Idee war, ein klassisches RAID5 zu simulieren. Ich hatte gehofft mit betriebswirtschaftlichen Argumenten antworten zu können.
Für WD schaut es wie folgt aus: Für 4TB Speicher im "WD-Regenbogen" mit den Preisen eines großen Onlineversenders schaut das wie folgt aus:

| Plattengröße | Stück |  Red  |  Green  |  Black  |
|     2TB      |   3   |  264€ |   219€  |   390€  |
|     4TB      |   2   |  328€ |   268€  |   442€  |
|     1TB      |   4   |  252€ |   192€  |   312€  |

Da ist das Setup mit vier Platzten in der Tat wohl bei allen (jetzt gerade ausgerechneten) Farben günstiger. Bei Red ist der unterschied am geringsten.

Die Idee war auch beim Ausfall die Platte evtl. durch etwas größeres zu wechseln und so das Raid allmälich wachsen zu lassen. Aber dann dauert das Wachsen evtl. nur länger, bis die Platten ersetzt werden......

Ein Gehäuse mit vielen Festplattenkäfigen im Luftstrom wollte ich sowieso.

Das ändert aber nichts an der Neugier.

 

[h^2]

Ich habe jeweils eine HGST, WD und Seagate in den NAS/Red-Varianten verbaut. Bis jetzt tun alle brav, obwohl die HGST im Durchschnitt 5° wärmer ist als die anderen. Dafür sagt die Seagate das hier:

  1 Raw_Read_Error_Rate  0x000f  114  099  006  Pre-fail  Always  -  74069960
  7 Seek_Error_Rate  0x000f  072  060  030  Pre-fail  Always  -  12942861976

Während die anderen noch auf 0 sind nach ca einem Jahr Dauerbetrieb.

Bei deiner Rechnung hast du übrigens nicht berücksichtigt, dass du von den 1TB-Platten fünf brauchst um auf eine effektive Kapazität von 4TB zu kommen (wie bei den anderen Kombinationen). Das dürfte dann nicht mehr so günstig sein.

 

[Rakor]

Ja wenn du die 1 TB Variante mit 2 mirrors nimmst kommst du effektiv nur auf 2 TB. Wohingegen die anderen Alternativen im RAIDZ oder mirror je 4 TB bringen.

Ein RAIDZ wachsen zu lassen bedeutet halt 3 Platten tauschen und jede einzeln zu resilvern, dann neu import und export. Das dauert, kostet Zeit und Geld. Ein Mirror kostet dich zwar mehr Byte für Redundanz dafür hast du aber immer eine vollwertige Kopie. Vergrößern bedeutet hier nur 2 Platten tauschen. Und was ich als Vorteil sehe: Wenn beim resilvern dein Pool verreckt ist im RAIDZ Fall mit drei Platten dein Pool hinüber. Verreckt dir im Mirror dein Pool beim Resilvern hast du noch einen vollständigen (degraded) Pool auf dem Schreibtisch liegen (die ausgebaute Platte).

 

[Yamagi]

Meiner bescheidenen Erfahrung nach nehmen sich die verschiedenen Hersteller in Sachen Zuverlässigkeit nichts. In der Firma habe ich im Moment vor allem HGST Ultrastar und WD RE verbaut. Wobei ich den diffusen Verdacht habe, dass es seit der Übernahme von Hitachi / HGST durch Western Digital mehr oder weniger der gleiche Wein in anderen Schläuchen ist.

 

[Kamikaze]

5×3 TB WD Red in der NAS Variante, Raid Z2. Auf SSD Cache verzichte ich. Ich habe lokal nur 1GBit, die werden auch so voll ausgelastet.

 

[-Nuke-]

Ich habe Platten verschiedener Hersteller in verschiedenen Servern. In meinem aktuellsten sind WD Red Platten. Das Teil ist ja quasi ein NAS und es sind Platten für NAS Systeme. Im Laufe der ganzen ZFS Nutzung sind mir 2 Seagate Platten gestorben und noch keine WD. Aber normalerweise achte ich weniger auf den Hersteller, sondern mehr auf den Preis/Leistung.

Ich achte aber immer darauf, dass die Platten für 24/7 zugelassen sind.

 

[Crest]

Wenn es irgendwie geht würde ich dir zu nem RAID1 bzw. RAID10 raten. Es ist deutlich schneller, besser Erweiterbar und erholt sich deutlich schneller von Festplatten ausfällen. Eines der Probleme mit RAID-Z (gerade bei kleinen Setups) ist, dass du ein RAID-Z weder vergrößern noch das VDEV aus dem Pool entfernen kannst. Das gibt nur zwei Wege einen Pool aus RAID-Z zu vergrößern. Der eine ist weitere ganze VDEVs zum Pool hinzufügen und der andere ist alle Platten in einem VDEV durch größere zu ersetzen. Die einzige Lösung eine Pool mit mehr Platten pro RAID-Z zu bekommen oder den RAID-Z Level zu ändern ist die Daten in einen neuen Pool zu kopieren. Dafür brauchst du aber den Platz und ein ausreichend großes Wartungsfenster.

 

[chaos]

Meiner bescheidenen Erfahrung nach nehmen sich die verschiedenen Hersteller in Sachen Zuverlässigkeit nichts.

Ich sag ja: Das ist primär persönliche Vorurteile/Erfahrungen.
Ich bin bei Seagate skeptisch, seit der Verkäufer gesagt hat: "Nimm die Seagate, die ist einen € billiger als die WD und bietet 5 jahre Garantie."
Ich: "Wirklich nicht die WD?"
Verkäufer: "Ja, 5 Jahre Garantie."
Wie der Teufel so will ist das die einzige Platte, bei der ich die Garantie nutzen mußte nach einem Totalausfall. (Die Platte war bei dem XP meiner Mutter allerdings auch nicht SMART überwacht).

Wobei ich den diffusen Verdacht habe, dass es seit der Übernahme von Hitachi / HGST durch Western Digital mehr oder weniger der gleiche Wein in anderen Schläuchen ist.

Ist zu befürchten. Die Tage hab ich auch irgendwo gelesen, WD hätte wegen Kartelbeschwerden Teile der Hitachipatente an Toshiba verkauft......

Ja wenn du die 1 TB Variante mit 2 mirrors nimmst kommst du effektiv nur auf 2 TB.

Da haben meine Rechenkünste gestern abend irgendwie geschlafen. Ich bin davon ausgegangen, dass diese im RAID10 auch auf 4TB kommen, wie auch immer das gehen soll...
3-D Drucker können das wohl noch nicht?

Verreckt dir im Mirror dein Pool beim Resilvern hast du noch einen vollständigen (degraded) Pool auf dem Schreibtisch liegen (die ausgebaute Platte).

Der dann allerdings vermutlich auch "seltsame" Smart-Werte liefert - so wie ich mein Austauschverhalten bei Festplatten kenne.
Oder aber ich schaffe es mal zur Abwechslung wirklich den Speicher voll zu bekommen.

Auf SSD Cache verzichte ich. Ich habe lokal nur 1GBit, die werden auch so voll ausgelastet.

Die SSD ist auch primär eher für Bequemlichkeit (auf den Festplatten einfach eine Partition GPT für ZFS, Swappartition nur auf der SSD), Swap und ein UFS-Root gedacht, falls das Board bei GPT-Partitionen nur im UEFI-mode booten will, Cache nehme ich eher als Abfallprodukt mit.

Wenn es irgendwie geht würde ich dir zu nem RAID1 bzw. RAID10 raten. Es ist deutlich schneller, besser Erweiterbar

Inzwischen bin ich auch zu der Überzeugung/einsicht gekommen es mit RAID1/RAID10 zu probieren.

Danke nochmals für die Anregungen.

BTW: Kennt Ihr das Buch
Michael W. Lucas / Allan Jude: FreeBSD Mastery: ZFS (https://www.michaelwlucas.com/nonfiction/freebsd-mastery-zfs)?

 

[lme]

Ja, das Buch ist super.

 

[s-tlk]

Ich setze ja privat auf HGST und auch auf der Arbeit haben wir eigentlich die besten Erfahrungen damit gemacht, auch wenn sie etwas teurer sind. WD und Seagate tut sich da meiner Meinung nach nicht mehr so viel. Die gehen ungefaehr gleich oft kaputt.

Wenn man https://www.backblaze.com/blog/hard-drive-reliability-q3-2015/ traut dann sollte HGST auch am besten sein. Montagsmodell gibts aber natuerlich ueberall.

 

[mr44er]

Für die Firma 24-stünder, Hersteller egal.

Privat gerne consumer-zeugs, die Daten sind nicht sooo wichtig. Kaltbackup ist vorhanden und RAIDZ2 regelt.

Ich sehe ZFS gerne als Schrottmühle für die Platten.