eigener Homeserver/NAS

[-Nuke-]

Den angesprochenen DDR4 RAM mit WriteCRC kannte ich noch gar nicht bzw war mir noch kein Begriff - setzt den jemand hier ausm Forum ein, könnts dazu was (positives) sagen?

Das ist kein optionales Feature. Jeder der DDR4 RAM einsetzt, setzt auch WriteCRC ein. Und klar sind mir die von dir genannten Vorteile von ECC RAM klar. Meine Aussage war auch nicht, dass es sinnlos ist, nur durch DDR4 nicht mehr so relevant wie damals, weil selbst Consumer-RAM auf Korrektheit prüft, nur eben in die andere Richtung.

Ich vermute ganz stark die von dir genannten Infos stammen aus der Zeit lange vor DDR4 RAM

Außerdem kann 'zfs scrub' durch weitere Bitkipper korrekte Daten für inkonsistent halten. Das kann soweit gehen, dass keine Datei in dem Pool mehr lesbar ist. Außerdem kann der Pool durch defekte Metadaten zerstört werden.

Das braucht aber eine verdammt lange Kette von korrekt platzierten Bitkippern. Ich hatte bereits einen Server wochenlang mit kaputtem RAM im Betrieb und ZFS meldete hunderte Checksum-Errors, aber kaputt gegangen ist nie was. ZFS schreibt nicht einfach die erstbeste Info auf die Platte die es findet und dass ein Bitflip bei zweifachem Lesen an genau der gleichen Position auftritt und dann auch noch die Bitflips die korrekte Checksumme erzeugen, dass ZFS die Daten als "OK" ansieht, ist doch sehr unwahrscheinlich. Und mein Fall hier wäre bei Consumer-DDR4 RAM sofort ersichtlich gewesen, da es MCE gehagelt hätte ohne Ende.

Wie gesagt, ich will niemandem ECC ausreden, mein Heimserver hat selbst ECC (DDR3) RAM. Meine Aussage ist, dass DDR4 hier bereits in der Consumer-Variante viele Fehlerfälle behandelt und man nicht "unbedingt" ECC-RAM braucht.

 

[Yamagi]

Das braucht aber eine verdammt lange Kette von korrekt platzierten Bitkippern.

Ja. ich habe auch nie einen Pool durch defekten RAM endgültig kaputt bekommen. Es blieb immer bei Checksum-Fehlern in einzelnen Dateien.

 

[turrican]

Ich vermute ganz stark die von dir genannten Infos stammen aus der Zeit lange vor DDR4 RAM .

*hüstel*... "lange"? Äääh... wart ma, welches Jahr haben wir grade? Oh, schon '20
Ah, wa! Mehr als nen einzelnen, maximal zwei 72-Pin PS2/EDO RAM RIegel braucht doch kein Mensch... DDR4? Teufelszeug! Vade retro!

Nee, im Ernst - mit RAM-Interna (außer ECC/non-ECC) hab ich mich nie ernsthaft auseinandergesetzt - genausowenig wie mit CPU-Sockel und solcherlei Gedöns ...

 

[bananenBrot]

Wir haben hier 30+ Server im Einsatz und in 5 Jahren hatten wir 2x einen korrigierten ECC Error (wird ja geloggt).
Grundsätzlich halte ich das Thema für überbewertet und sehe darin eher ein Marketingzug...
Im profressionellen Umfeld bekommt man eh fast nur ECC, daher ist mir das egal aber im (Semi)Privat Bereich würde ich nie auf die Idee kommen ECC einzusetzen.

 

[pit234a]

wenn ich an einer fremden HW sitze, kann ich dann im Betriebssystem (FreeBSD oder GNU/Linux) erkennen, ob ich ECC RAM vorliegen habe? Oder generell, welche Sorte RAM benutzt wird? Also, wenn ich nicht ins BIOS schauen kann und die Kiste nicht zerlegen darf/kann/möchte.

Bei der CPU kenne ich sysutils/cpuid und ich frage mich, ob es was ähnliches für RAM gibt, das mir auch sagt, welcher Typ RAM das ist.

 

[marmorkuchen]

wenn ich an einer fremden HW sitze, kann ich dann im Betriebssystem (FreeBSD oder GNU/Linux) erkennen, ob ich ECC RAM vorliegen habe? Oder generell, welche Sorte RAM benutzt wird? Also, wenn ich nicht ins BIOS schauen kann und die Kiste nicht zerlegen darf/kann/möchte.

Bei der CPU kenne ich sysutils/cpuid und ich frage mich, ob es was ähnliches für RAM gibt, das mir auch sagt, welcher Typ RAM das ist.

Ich nutze dafür immer memconf:
https://sourceforge.net/projects/memconf/

 

[bananenBrot]

Oder einfach mit dmidecode -t 17 schauen, ob bei "Total Width" mehr steht als bei "Data Width", dass ist dann die ECC Info

 

[Crest]

Oder einfach mit dmidecode -t 17 schauen, ob bei "Total Width" mehr steht als bei "Data Width", dass ist dann die ECC Info

Da stehen bei mir 128 Bits Total Width und 64 Bits Data Width. Das macht keinen Sinn. Mit ECC sollten wenn schon 72 Bit stehen.

 

[bananenBrot]

Sieht mir nach nem Bug im BIOS aus, gibt's dafür ein Update?

 

[Azazyel]

Im profressionellen Umfeld bekommt man eh fast nur ECC, daher ist mir das egal aber im (Semi)Privat Bereich würde ich nie auf die Idee kommen ECC einzusetzen.

Gebranntes Kind scheut das Feuer - mir hat ein DDR4-Riegel, der sporadisch in immer kürzeren Intervallen Bitfehler produziert hat, sowohl Daten korrumpiert als auch ein ZFS zerschossen. Seitdem nehme ich nur noch ECC.

Im Privatbereich bastelt man entweder selber und nimmt einen AMD Ryzen plus Consumer-Mainboard mit "best effort" semi-offiziellem ECC-Support seitens des Herstellers (Asrock war hier Vorreiter, inzwischen haben andere Hersteller nachgezogen). Die gibt auch als Embedded-Varianten mit sehr niedrigen Stromverbrauch.

Komplettlösungen für den Heimbereich mit ECC kenne ich nur mit Intel i3.

Es muss jeder selbst für sich entscheiden, ob ihm die aktuell 2-3€ Aufpreis pro Gigabyte für ECC im Heimbereich die zusätzliche Sicherheit vor (im schlimmsten Fall selbst mit ZFS oder btrfs unbemerkter) Datenkorruption wert sind.

Oder einfach mit dmidecode -t 17 schauen, ob bei "Total Width" mehr steht als bei "Data Width", dass ist dann die ECC Info

Ebenso sollte mit dmidecode -t memory (entspricht den Parametern 5, 6, 16, 17) ein Error Correction Type: Multi-bit ECC erscheinen.

 

[Crest]

Ich habe auch schon nen Filesystem an non-ECC Speicher (und nen billiges Netzteil) verloren.

 

[bsd4ever]

Was schlagt ihr vor für viele Festplatten? ( 12 - 16)

 

[Azazyel]

Was schlagt ihr vor für viele Festplatten? (12 - 16)

Im Heimbereich? Aufräumen.

Scherz beiseite, eine Spielwiese mit 16 Festplatten (3,5") kriegt man noch in einem Tower für 150€ unter. Dazu würde ich noch einen Ryzen mit ECC-fähigem Consumer-Board (8x SATA) plus einen simplen SATA-Hostadapter (8x SATA) nehmen. Man muss sich halt der Einschränkungen eines solchen Setups bewusst sein.

Mich würde aber auch ehrlich der Anwendungsfall für ~50-200 TB Speicherplatz im Heimbereich interessieren.

 

[juedan]

Moin,

Mich würde aber auch ehrlich der Anwendungsfall für ~50-200 TB Speicherplatz im Heimbereich interessieren.

Nun ja, Videos - ich meine nicht die Clips mit der Katze - , Panoramafotos in Originalauflösung, Bilder im RAW-Format. Das sind alles Speicherfresser...

 

[-Nuke-]

Mich würde aber auch ehrlich der Anwendungsfall für ~50-200 TB Speicherplatz im Heimbereich interessieren.

Wenn man z.B. seine DVD und BluRay Sammlung (Filme und Serien) für das Mediacenter auf die Platte rippt. Da hat man gerne zweistellige GB Zahlen pro Film / Episode. Pro Urlaub kommen auch gut und gerne ~100GB an RAW Bildern zusammen die man dort ablegt. Ich persönlich bin nicht so der Fotografie-Fan, aber ich nehm dann gerne die Bilder anderer entgegen, wenn es ein Urlaub mit mehreren Personen war. Dann noch Backups von den PCs. Ich hab noch Backups von meinen Datenträgern aus dem Videospielebereich (PS1, PS2, GC, Wii, WiiU, ...)

Und wenn dann mal so ein Server ein paar Jahre läuft, dann kommt da ganz schön was zusammen. Und bisher ist es auch gar nicht so einfach ein ZFS Dateisystem zu erweitern. "Einfach eine weitere Platte rein und gut" geht halt (noch) nicht. Und solange ein Ende davon nicht absehbar ist, ist es auch gar nicht so dumm gleich größer einzusteigen.

 

[Kamikaze]

Und wenn dann mal so ein Server ein paar Jahre läuft, dann kommt da ganz schön was zusammen. Und bisher ist es auch gar nicht so einfach ein ZFS Dateisystem zu erweitern. "Einfach eine weitere Platte rein und gut" geht halt (noch) nicht. Und solange ein Ende davon nicht absehbar ist, ist es auch gar nicht so dumm gleich größer einzusteigen.

Mein Plan ist hier wenn es so weit ist alle Platten zu ersetzen, das geht dann durchaus. Die Größe des RaidZ2 hängt halt an der kleinsten Platte. Ob man das nach und nach machen soll wenn man die Platten sowieso tauschen muss kann ich nicht sagen. Ich musste kürzlich das erste mal eine Platte tauschen, und habe mich dagegen entschieden, weil der Preisverfall doch ziemlich bescheiden ist.

 

[-Nuke-]

Mein Plan ist hier wenn es so weit ist alle Platten zu ersetzen, das geht dann durchaus. Die Größe des RaidZ2 hängt halt an der kleinsten Platte. Ob man das nach und nach machen soll wenn man die Platten sowieso tauschen muss kann ich nicht sagen. Ich musste kürzlich das erste mal eine Platte tauschen, und habe mich dagegen entschieden, weil der Preisverfall doch ziemlich bescheiden ist.

Der Weg oder der Weg ein zweites komplettes RAIDZ2 hinzuzufügen ist halt gewaltig teurer als wenn man einfach nur eine weitere Platte hinzufügen kann. Gerade wenn man sich ein System anschafft und dann nach 2 Jahren feststellt, dass der Speicher langsam ausgeht. Da ist weder die Zeit für einen Plattentausch dran, noch sind dir alle Platten schon einmal kaputt gegangen.

Kurzum: Wenn dir bei einem ZFS Heimserver der Festplattenspeicher ausgeht, dann wird's aktuell einfach ekelig. Keine Lösung ist schön. Entweder wird es teuer, weniger platzeffizient (mehr redundante Platten als nötig) und/oder sehr zeitaufwändig, weil man das komplette RAID neu aufbauen und dann alle Daten erst mal irgendwo zwischenlagern muss.

Mal als Beispiel: 20TB per 1GBit/s übertragen dauert über 2 Tage.

 

[marmorkuchen]

Du kannst jederzeit an ein Pool einen z.B. Mirror oder weiteres zraidx-Set ranhängen. Neu aufbauen muss man es auch nicht unbedingt. Wenn Du keine Platten ranhängen willst, kannst Du auch die Platten des bestehenden Pools schrittweise austauschen, und mit zpool autoexpand=on dann die Größe auf die neuen Platten anpassen.
Und da sich der Platzmangel i.d.R. nicht schlagaertig manifestiert, hat man genügend Zeit sich einen Satz größerer Platten zu besorgen. Die alten kann man i.d.R. in der Bucht bedenkenlos verkaufen, wenn der Pool den verschlüsselt war. :-)

 

[-Nuke-]

Du kannst jederzeit an ein Pool einen z.B. Mirror oder weiteres zraidx-Set ranhängen. Neu aufbauen muss man es auch nicht unbedingt. Wenn Du keine Platten ranhängen willst, kannst Du auch die Platten des bestehenden Pools schrittweise austauschen, und mit zpool autoexpand=on dann die Größe auf die neuen Platten anpassen.

Du hast gerade nur wiederholt was schon geschrieben wurde

 

[pit234a]

Mal so gedacht: wenn ich einen neuen Pool mit größeren Platten aufsetze, vielleicht mit fünf oder mehr neuen Platten, dann kaufe ich immer gleich (wenigstens) zwei gleiche Platten zusätzlich und lege sie mir bereit, falls der Schadensfall mal eintritt. Auch neue Platten können sterben.
Mit ein wenig Risiko könnte man dann vielleicht die neuen "Spare-Platten" in den alten PC einbauen und darauf einen "Zwischen-Pool" aufsetzen, Daten drauf kopieren und dann in den neuen PC mit übernehmen. Dann auf den neuen Pool kopiert und die "Spare-Platten" wieder ausgebaut.
Das kann man auch mehrfach wiederholen.
Klingt etwas unelegant, ist aber sehr viel schneller, als über Netzwerk oder externe Medien.

Wenn man Platten und HW so auslegt, dass sie wenigstens fünf Jahre hält, ist das durchaus machbar. Denn wenn man größere Platten will sind die der Preisfaktor überhaupt. Zusätzlich noch ein neues Gehäuse und Motherboard, CPU, RAM, ist nicht so der Kostenfaktor und oft kann man auch etwas Gebrauchtes nehmen (zB den gerade eben erneuerten eigenen Desktop-PC, den man ja auch so alle fünf bis zehn Jahre neu macht).

 

[medV2]

Wie schon gesagt ist es kein Problem einen neuen Mirror/Zraid, .. hinzuzufügen. Auch das tauschen eines bestehenden ZRaids gegen größere Platten ist kein Problem.
Da muss man halt etwas planen, wenn man mit 16 Platten plant, kann man schön 5x 5er RaidZ1 machen mit 1 Spare. Im Fall des Falles tauscht man also nur 5 Platten gegen größere. Und mal ehrlich, wenn einem bei 40+TB der Platz ausgeht ist einem mit einer Platte mehr nicht viel geholfen.

Ansonsten gilt: Nimm das OS das für deinen Anwendungsfall das beste ist, Linux MD-Raid kann wachsen. Hat aber das Writehole (kann auch mitigiert werden, aber das kostet viel Performance oder viel Geld).

Natürlich kann man auch mit Kanonen auf Spatzen schießen und das ganze gleich mit nem verteilten Objectstore angehen mit erasure encoding.

 

[Yamagi]

Mal im Ernst: Zu Hause muss man doch wirklich nicht eine zweistellige Anzahl Platten rotieren lassen. Das macht das System teuer und komplex, selbst wenn es nicht 24/7 läuft, ist der Stromverbrauch nicht zu unterschätzen und von dem Thema Umweltschutz will ich gar nicht erst anfangen. Ich hatte das auch mal, war bequem, aber irgendwann siegte die Vernunft und ich habe die Daten in drei Kategorien verteilt. Einmal in "Muss immer zugreifbar sein". Das sind wirklich nur ein paar Gigabyte, dafür habe ich eine 500 GB SSD in meinen PC Engines APU und gut. Dann "Ist mir wichtig". Die sind einmal auf 4 TB Platten (heute würde ich dafür natürlich größere Platten nehmen) hinter mir im Schrank gespeichert und eine Zweitkopie liegt bei einem Bekannten im Schrank. Und zuletzt "Ist unwichtig", vor allem Filme und Anime-Serie, die ich vor 15 Jahren mal gut fand. Davon gibt es nur eine Kopie, wieder auf 4 TB Platten im Schrank. Brauche ich von den 4 TB Platten Daten, muss ich halt aufstehen und sie in den Wechselrahmen schieben. Aber herje. Und als netten Nebeneffekt halt die Platten buchstäblich ewig, selbst wenn man die billigsten USB-Platten nimmt und sie aus dem Gehäuse bricht...

 

[medV2]

Herade bei alten Filmen und Serien habe ich letztes Jahr über Weihnachten (also 2017, ..) fast 50% an Platz gespart als ich alles nach h265 gecodet habe. Ja beim Reencoden leidet die Qualität aber mal ehrlich in erster Line hab ich das Zeug um es halt zu haben, und zumindest ich merke auch keinen Unterschied. Bei Anime ist der Platzgewinn durch h265 nochmal ne kräftige Ecke besser.

 

[-Nuke-]

Mal im Ernst: Zu Hause muss man doch wirklich nicht eine zweistellige Anzahl Platten rotieren lassen.

Du darfst dich auch gerne an der Anschaffung von >8TB großen Platten für mich finanziell beteiligen, wenn du magst. Dann brauche ich auch keine zweistellige Anzahl an Platten

 

[mr44er]

Kurzer Einwurf: Platten schlafen legen (kompletter spindown) klappt mit reinen Datenpools. (Meine Stromrechnung ist trotzdem Terror)