Neuinstallation FreeBSD 14.2 mit ZFS: Aber ich habe Fragen...

[Neu]

Hallo Leute,
ich starte mal einfach durch. Ich bin Neu und neu hier:
Ich plane FreeBSD 14.2 mit ZFS zu installieren. Ich habe in der Vergangenheit ein ZFS Problem und SSD gehabt. Das alte Problem war, dass ich FreeBSD mit 2 SSD im MIRROR benutzt habe. Eine SSD machte mal Probleme und dann die andere. ZFS und ZPOOL Prüfungen und Status durchlaufen. Alles sah nach den Fehler wieder in Ordnung aus. Im Herbst 2023 habe ich ein FreeBSD-Upgrade gemacht. Die Probleme blieben gleich, jedoch traten diese häufiger auf. Im Frühjahr 2024 bootete, nach einem Stromausfall (Versehentlich den Ein-/Ausschalter der PC-Steckerleiste auf "0" gestellt.), der PC nicht mehr. Kann ZFS nicht laden bzw. nicht finden. Zeter und Mordio war angesagt. ... Nach psychopathischen Kampf mit den Fehlermeldungen... SSD hat Hardwareprobleme. Nach kurzer Zeit wohl ... beide. Natürlich habe ich nur ein Teil-Backup von bestimmten und unwichtigen Daten gehabt. Ich weiß: Kein Backup - kein Mitleid. Hätte ich aber dennoch gut für mein Seelenheil gebrauchen können.
SO. Aber jetzt kommt es:
Ich habe dann die SSD einzeln angeschlossen und wollte von den SSD starten, sind ja "MIRROR", und die erste SSD schrieb wie gehabt: ZFS nicht gefunden. Erste SSD raus und die zweite SSD angeschlossen und gestartet... nach einpaar Fehlermeldungen startete die SSD, ABER die FreeBSD-Version war die alte! Die zweite SSD hat das FreeBSD-Upgrade garnicht erlebt. Ich weiß, dass die erste SSD die neuere Version draufhatte. Auf der zweiten SSD waren alte Daten drauf. Die neueren aber nicht. Zeitpunkt alt/neu war das Upgrade. Die SSDs ausgebaut und zur späteren Verwendung zwecks Datenherstellung zur Seite gelegt. Sehr komisch und zu Lachen hatte ich zwar immer noch nichts, aber eine Windows-SSD für alle Fälle in der Ecke liegen. Ich habe mich dafür geschämt, dass ich wieder zurück zu WINDOWS 10 musste. Es war nicht schön. Gut. Ich war wieder erreichar und kämpfe mich mit Windows 10 herum. Aber es gefällt mir nicht, von Anfang nicht mehr.
Also liegt jetzt für den Rechner eine Neuinstalltion an: Gegebene Dinge: Alter Rechner, 16 GB RAM (drin und max.), 1x SSD 120 GB und 3x SSD mit 128GB
Meine Frage an euch: Wie würdet ihr das ZFS aufbauen? Ich habe daran gedacht, dass die eine SSD 120 GB als Gerät für die Boot/FreeBSD zu nehmen. Die 3 SSD 128 GB in einem RAIDZ1 zu packen und darauf das HOME-Verzeichnis für die Daten laufen zu lassen. Beide ZPOOLS würden durch Sicherungen extern gesichert. Bei einem Ausfall des Boot/FreeBSD-ZPOOLS: -alte SSD raus und neue SSD rein-. So habe ich mir das gedacht, aber ich dachte auch, dass ich mit MIRROR auch auf der sicheren Seite war.
Welche Möglichkeiten seht ihr? Es geht nur um die beschriebene Situation. Backup extern soll hier nicht besprochen werden. Ich bin auf eure Hinweise gespannt, da mich es auch interessiert, ob jemand auch Probleme mit ZFS und SSD erlebt hat.

 

[pit234a]

Uuhps.
Es gibt hier noch keine Beiträge?
Es gibt aber unbedingt Leute, die hierzu sehr viel mehr wissen und sagen können und du wartest besser ab, was dir ansonsten noch so gesagt wird.

Grundsätzliches Missverständnis, das ich glaube zu erkennen:

FreeBSD bootet, wie alle anderen Systeme auch, entweder im (U)EFI oder im BIOS (=LEGACY) -Modus. Ganz Recht -> da steht gar nichts von ZFS!
Erst dann, wenn der entsprechende Bootloader wirkt, kann der auf ZFS liegende Dateisysteme benutzen, sprich, MIRROR oder RAID ansprechen.
In einem gebooteten System (ich nenne mal den FreeBSD-Live Stick oder noch lieber den nomad-bsd oder auch ein Live-Linux, das ZFS kann), könntest du dann den ZPOOL importieren und dir genauer ansehen.

Zum Booten muss der benutzte Bootloader die vorhandene ZFS-Version unterstützen.
Wenn sich die ZFS-Version in Folge eines Updates ändert und nicht mehr abwärts kompatibel ist, kann unter Umständen das System nicht mehr von solch einem POOL booten.
Trotzdem bleibt der POOL verfügbar und kann importiert werden, vorausgesetzt natürlich, das benutzte System kann ihn lesen, ist also abwärts-kompatibel zu der Version des benutzen Pools.
Lässt sich der POOL importieren, können auch alle Daten daraus gelesen und gesichert werden. Das hat nichts damit zu tun, ob davon auch gebootet werden kann.


Deshalb würde ich aus diesem einen Problem wenigstens zwei machen:

• Datensicherung des vorhandenen ZPOOL, der nicht mehr so einfach erreichbar scheint
• Booten mit diesem POOL und dem vorhandenen ROOT-Pool, trotz möglicherweise vorhandener Fehler

 

[Andy_m4]

Es gibt hier noch keine Beiträge?

Bei mir liegts daran, das mir der Text zu anstrengend zu lesen ist.

Ich habe daran gedacht, dass die eine SSD 120 GB als Gerät für die Boot/FreeBSD zu nehmen. Die 3 SSD 128 GB in einem RAIDZ1 zu packen und darauf das HOME-Verzeichnis für die Daten laufen zu lassen.

Klingt nach grundsätzlich nach einem brauchbaren Plan.

ob jemand auch Probleme mit ZFS und SSD erlebt hat.

Nein. Bisher nicht. Wie das so klingt, waren ja Hardwareprobleme (defekte SSD, wackliges Kabel, ...? )ein wesentlicher Faktor. Da kann auch das beste System nix machen.

Wenn sich die ZFS-Version in Folge eines Updates ändert und nicht mehr abwärts kompatibel ist, kann unter Umständen das System nicht mehr von solch einem POOL booten.

Als Ergänzung:
Auf die Problematik geht auch das Handbuch ein:
https://docs.freebsd.org/en/books/handbook/zfs/#zfs-zpool-upgrade

 

[CommanderZed]

Der OP könnte auch mal heraushauen was die smartwerte der ssds so anbieten

Generell würde ich mit 3 SSDs vermutlich Raid-Z fahren

Bei mir liegts daran, das mir der Text zu anstrengend zu lesen ist.

Da kann man kaum wiedersprechen

 

[mr44er]

Ich habe mich dafür geschämt, dass ich wieder zurück zu WINDOWS 10 musste.

Schämenswert ist nur, dass du kein Backup hattest. Hast du denn mittlerweile eins angelegt?

aber ich dachte auch, dass ich mit MIRROR auch auf der sicheren Seite war.

Wenn dir die verbliebene disk genau dann krepiert während du nen resilver/rebuild fährst (oder bereits lange vorher unbemerkt, da nicht regelmäßig scrubs gefahren wurden), hilft alles nichts.

Wie würdet ihr das ZFS aufbauen?

Um auf der sicheren Seiten zu sein, würde ich einen triple-mirror machen. Und zwar mit 1x der 120er und 2x von den 128ern. Das gibt zwar Verschnitt von 8GB, aber das ist egal...wir reden hier ja von insgesamt winzigen disks.
Mit der verbliebenen spielst du dann zunächst mal einen Ausfall durch, damit du sattelfest wirst. (Der Hinweis mit dem Bootloader insbesondere, es reicht nicht einfach nur den part vdev auszutauschen)

Wenn du dann sattelfest bist, kannst du nochmal alles plattmachen und dich entscheiden. Entweder machst du dann einen 4x mirror, oder mit den 4 disks ein raidz1 (oder du kaufst gleich größeren Nachschub dazu, frage mich wie das in der heutigen Zeit überhaupt reichen kann )

Bei ZFS sollte nicht der primäre Gedanke sein, dass es Speicherplatz (durch Redundanz) wegfrisst, sondern dass es mit besserer Ausfallsicherheit sowie mehr IOPS belohnt.

 

[medV2]

Da du von SSDs mit 120 bzw. 128GB sprichst: Die Dinger sind doch schon sicher an die 10 Jahre alt, ich würde da einfach mal 2 neue kaufen, und das System auf denen (im Mirror) einrichten. 500 GB SSDs gibts für ~40-50 Euro, 1TB für 70-80.

Wenn du unbedingt mit den alten Dingern arbeiten willst, wäre ich da auch wie meine Vorredner für einen tripple Mirror. Normal halte ich da nicht viel von, aber da mir hier ein Ausfall eher wahrscheinlich erscheint (nicht nur wegen des Alters, auch weil frühere SSDs noch deutlich weniger Durchhaltevermögen hatten) würd ich diesen Weg gehen.

Ich mache bei FreeBSD mein System immer auf UFS (Raid mit gmirror) und die Daten auf ZFS. Da scheiden sich aber die Geister, ich finde es so angenehmer.

 

[Esjott]

Yolo, vier SSDs als RaidZ und n vernünftiges Backup. Die 8 Gb Differenz machens da auch nicht mehr, sobald die erste SSD aufgibt, diese durch ne große (500/1000) ersetzen. Solange, bis die letzte aufgibt, dann haste irgendwann nen 1,5Tb oder 3Tb Pool. (wenn alles sauber durch-resilvert, aber zur hast du ja ein Backup..)

 

[Rakor]

Es wurde bereits auf smartwerte und das potentielle Alter der SSDs verweisen, dennoch möchte ich nochmals explizit darauf hinweisen.

Wenn deine Probleme auf Hardware-Probleme der Platten zurückzuführen waren, dann würde ich mir sehr gut überlegen ob du diese Platten weiter verwenden willst für den neues System.
Stelle sicher, dass die Platten wirklich fehlerfrei sind. Zur Not könnte man wenigstens eine neue Platte in den Verband stopfen um das schlimmste aufzufangen, aber schön ist das nicht. Und falls das Problem vom Board oder der Kabel kommen sollte hilft dir das natürlich auch nichts.

Wenn eine deiner Platten aus dem Mirror ältere Daten hatte als die andere könnte es z.B. sein, dass er die eine Platte verloren hat (z.B. durch einen Wackler am Kabel, was ja schon gesagt wurde). Da bringen dir dann auch die schönsten Platten nichts.

Also erst Mal sicherstellen, dass dein neues Haus nicht auf Treibsand gebaut wird.

 

[Neu]

Es gibt aber unbedingt Leute, die hierzu sehr viel mehr wissen und sagen können und du wartest besser ab, was dir ansonsten noch so gesagt wird.

Danke. Das habe ich getan und bedanke mich HIER bei allen für Eure Beiträge.

 

[Neu]

Bei mir liegts daran, das mir der Text zu anstrengend zu lesen ist.

Entschuldigung. Ich habe mehrfache Unterbrechungen beim Schreiben des Textes gehabt und dadurch könnte der Sinn etwas verloren gegangen sein. Ich übe daran.

 

[Neu]

FreeBSD bootet, wie alle anderen Systeme auch, entweder im (U)EFI oder im BIOS (=LEGACY) -Modus. Ganz Recht -> da steht gar nichts von ZFS!

Genau so, ist es bei mir.

Erst dann, wenn der entsprechende Bootloader wirkt, kann der auf ZFS liegende Dateisysteme benutzen, sprich, MIRROR oder RAID ansprechen.

Auch das ist so bei mir, jedoch kann der Bootloader nicht mehr auf das ZFS zugreifen. In dem originalen Modus MIRROR.

In einem gebooteten System (ich nenne mal den FreeBSD-Live Stick oder noch lieber den nomad-bsd oder auch ein Live-Linux, das ZFS kann), könntest du dann den ZPOOL importieren und dir genauer ansehen.

Das habe ich ebenfalls getan. Ich konnte mit ZPOOL importieren und auf die SSDs Zugriff erhalten. Beim kopieren mit rsync wie auch mit dd sind an einigen Stellen/Verzeichnissen die Fehler nur so aufgelaufen und der Prozess wurde beendet. Es wurde mir angezeigt, dass Daten auf meiner Ziel-SSD kopiert seien, jedoch waren die Daten nach einem Neustart nicht mehr vorhanden. Somit konnte ich bisher keine der einzelnen SSDs mit den MIRROR-Daten auf eine neue SSD kopieren. Fehlschlag nach vielen Wochen der Versuche.

Lässt sich der POOL importieren, können auch alle Daten daraus gelesen und gesichert werden. Das hat nichts damit zu tun, ob davon auch gebootet werden kann.

Ich hatte es versucht. Wie zuvor beschrieben. Jedoch nicht erfolgreich.

Nein. Bisher nicht. Wie das so klingt, waren ja Hardwareprobleme (defekte SSD, wackliges Kabel, ...? )ein wesentlicher Faktor. Da kann auch das beste System nix machen.

Ich habe sämtliche SATA-Kontakte äußerst vorsichtig "gereinigt". Alle SATA-Kabel wurden aufgrund möglicher Kabelbrüche udn Steckerfehler durch neue Kabel ausgetauscht.

Schämenswert ist nur, dass du kein Backup hattest. Hast du denn mittlerweile eins angelegt?

Backup? Ja. Zwei externe 2 TB USB-Platten 2.5"

Wenn dir die verbliebene disk genau dann krepiert während du nen resilver/rebuild fährst (oder bereits lange vorher unbemerkt, da nicht regelmäßig scrubs gefahren wurden), hilft alles nichts.

So etwas kann ich mir auch gut vorstellen, dass es auch passiert ist. Es bleibt für mich unerklärlich. Nach den scrubs und sonstigem waren keine Fehler mehr im Status zu sehen. Mit der Zeit summierten sich die Fehler immer wieder und ich habe den ZPOOL wieder bereinigt und es waren keine Fehler zu erkennen. Ein Kreislauf. Bis zum Upgrade von FreeBSD und dann muss im Upgradeprozess etwas mit den SSDs, die vorher schon Fehler aufgezeigt hatten, passiert sein. So, denke ich. Vor dem Upgradeprozess, war der Zpool-Status sauber.

Der OP könnte auch mal heraushauen was die smartwerte der ssds so anbieten

Habe ich nicht durchgeführt. Werde es in Zukunft mit in meiner geplanten automatischen "Prüfschleife" einbauen. Gerade wegen einer Historie und rechtzeitiger Überprüfung und schnellerem Austausch der SSDs.

Wenn du dann sattelfest bist, kannst du nochmal alles plattmachen und dich entscheiden. Entweder machst du dann einen 4x mirror, oder mit den 4 disks ein raidz1

Das ist ein interessanter Ansatz. 3-fach und 4-fach MIRROR. Die vorgeschlagende SATTELFESTIGKEIT werde ich wohl üben müssen.

Da du von SSDs mit 120 bzw. 128GB sprichst: Die Dinger sind doch schon sicher an die 10 Jahre alt, ich würde da einfach mal 2 neue kaufen, und das System auf denen (im Mirror) einrichten. 500 GB SSDs gibts für ~40-50 Euro, 1TB für 70-80.

Es sind neue SSDs. Diese könnten auch einige Zeit am Lager gelegen haben. Ich nehme zunächst die kleinen SSDs, da ich ja nicht weiß, warum dieses Problem bei mir entstanden ist und möglicherweise meine andere Hardware Probleme erzeugt und die SSDs zerstört.

Wenn deine Probleme auf Hardware-Probleme der Platten zurückzuführen waren, dann würde ich mir sehr gut überlegen ob du diese Platten weiter verwenden willst für den neues System.

Die beiden betroffenen SSDs sind nicht im Betrieb und werden nur noch verwahrt, bis die Daten von den SSDs auf andere SSDs kopiert werden können. Danach heisst es, ab in den Elektroschrott.

Also erst Mal sicherstellen, dass dein neues Haus nicht auf Treibsand gebaut wird.

Dein Link "Meine Installationsmitschrift" zu deiner BSD-Wiki finde ich gut. Danke.

 

[medV2]

Das habe ich ebenfalls getan. Ich konnte mit ZPOOL importieren und auf die SSDs Zugriff erhalten. Beim kopieren mit rsync wie auch mit dd sind an einigen Stellen/Verzeichnissen die Fehler nur so aufgelaufen und der Prozess wurde beendet. Es wurde mir angezeigt, dass Daten auf meiner Ziel-SSD kopiert seien, jedoch waren die Daten nach einem Neustart nicht mehr vorhanden. Somit konnte ich bisher keine der einzelnen SSDs mit den MIRROR-Daten auf eine neue SSD kopieren. Fehlschlag nach vielen Wochen der Versuche.

1*

So etwas kann ich mir auch gut vorstellen, dass es auch passiert ist. Es bleibt für mich unerklärlich. Nach den scrubs und sonstigem waren keine Fehler mehr im Status zu sehen. Mit der Zeit summierten sich die Fehler immer wieder und ich habe den ZPOOL wieder bereinigt und es waren keine Fehler zu erkennen.

2*

Ein Kreislauf. Bis zum Upgrade von FreeBSD und dann muss im Upgradeprozess etwas mit den SSDs, die vorher schon Fehler aufgezeigt hatten, passiert sein. So, denke ich. Vor dem Upgradeprozess, war der Zpool-Status sauber.

3*


*1,2,3: Wenn dir dein ZFS Fehler anzeigt, spricht das immer für Probleme. Auch wenn du sie wieder bereinigen kannst (dafür ist der Mirror ja da). Wenn du nicht 100% ig weißt, woher die kommen, und dass die harmlos sind, ist das immer ein Warnzeichen. Für mich sieht es weiterhin nach defekter HW aus, sei es Mainboard, Kabel oder SSDs. Ev. könnte es auch der RAM sein . Bei den neuen SSDs auf jedenfalls auf sowas achten und sofort handeln wenn da Fehler auftauchen.

Habe ich nicht durchgeführt. Werde es in Zukunft mit in meiner geplanten automatischen "Prüfschleife" einbauen. Gerade wegen einer Historie und rechtzeitiger Überprüfung und schnellerem Austausch der SSDs.

Du kannst auch sowas wie smartd verwenden, der meldet dir dann, wenn sich bei den Smartwerten etwas ins problematische verschiebt.

Das ist ein interessanter Ansatz. 3-fach und 4-fach MIRROR. Die vorgeschlagende SATTELFESTIGKEIT werde ich wohl üben müssen.

Ganz ehrlich: Raid ist immer für Verfügbarkeit, es ist nie gut Angst vor Datenverlust mit Raids zu erschlagen, dafür gibts Backup. Es gibt Datenverlustgründe die du mit nem Raid NIE erwischst. ZB Userfehler. Softwarefehler, Netzteil was mit Überspannung aggro läuft. Und das sind neben Datenträgerfehlern sicherlich die häufigsten Gründe für Datenverlust.
Was das "Platte stirbt bei Resilver" - Ding betrifft: Das war vielleicht relevant als man mechanische Platten hatte, die dann an nem Raidcontroller 6-8h resilvert wurden und dabei permanent mechanisch belastet waren. Auf SSDs trifft das nicht zu, A) keine mech. Belastung und B) geht das heute deutlich schneller. Ich wills niemanden ausreden, es schadet sicher nicht, aber für einen Privatrechner/Server halte ich das für extremen Overkill, lieber gucken, dass man ein gutes Backup an einem räumlich getrennten Standort hat.

Es sind neue SSDs. Diese könnten auch einige Zeit am Lager gelegen haben. Ich nehme zunächst die kleinen SSDs, da ich ja nicht weiß, warum dieses Problem bei mir entstanden ist und möglicherweise meine andere Hardware Probleme erzeugt und die SSDs zerstört.

Wenn es nicht grad das Netzteil ist, ist es unwahrscheinlich, dass die SSDs zerstört werden, sondern nur die Daten...

Die beiden betroffenen SSDs sind nicht im Betrieb und werden nur noch verwahrt, bis die Daten von den SSDs auf andere SSDs kopiert werden können. Danach heisst es, ab in den Elektroschrott.

..daher die SSDs vielleicht noch ein halbes Jahr aufheben und beobachten, was mit den neuen passiert