ZFS Mirror vergroessern

[Yamagi]

Ja, du hast recht. Ich hatte es durch den "BSDLabel auf 4k-Partitionen"-Thread letztens noch falsch im Kopf. Mea culpa :/

[namor]

Natürlich hast du trotzdem recht damit, dass ZFS in einem 4k-Geli-Container automatisch einen ashift Wert von 12 annimmt. Das habe ich erst kürzlich bei einer Neuinstallation auf einem Laptop gemerkt.

Also zusammenfassend:
- (nur wenn als partition: gpart -a4k add ...)
- geli init mit -s4k aufrufen.
- zpool create "as usual"

[lockdoc]

@namor:
Aber das alignment auf 4k fuer die HDD mit gpart braucht man trotzdem noch auch fuer geli, oder

[namor]

Ja, ich habe das besser mal ergänzt... In 3 Jahren wird das sonst irgendwer gegoogled haben und bam.

[lockdoc]

Zitat von namor

- (nur wenn als partition: gpart -a4k add ...)

Da ich mir hier immer noch nich 100% sicher bin, frag ich lieber nochmal nach.
Also wenn ich die komplette Platte nehme und dort geli raufmache, muss ich diese trotzdem vorher mit gpart alignen oder braucht man das nur, wenn man auf einer partition geli macht?

[namor]

Also wenn du geli direkt auf die HDD schreibst (ada0 z.B.) brauchst du mit gpart gar nichts machen. Legst du partitionen an solltest du diese alignen (gpart -a). Siehe auch für allgemeines Verständnis http://en.wikipedia.org/wiki/Disk_sector .

Ohne partitionen hat gpart meine ich auch gar keine option zum alignen, "-a" gibt's nur bei "gpart add".

[Yamagi]

Die drei Antworten auf die Frage "soll ich die leere Platte nutzen oder Partitionieren?":
1. Du sollst Partitionieren!
2. Du sollst Partitionieren!
3. Du sollst Partitionieren!
Die paar Kilobyte, die eine Partition kostet, tun nun wirklich niemanden weh. Sie bringen aber einige Vorteile. Man sieht, was auf der Platte drauf ist. Das verhindert z.B. sich später einmal mit einem falschen Kommando im Partitionierungstool den Arsch wegzuschießen. Man kann Partitionslabel vergeben, was gerade in größeren Installationen sehr hilft die richtige Platte zu finden.

[Crest]

Zitat von namor

Also wenn du geli direkt auf die HDD schreibst (ada0 z.B.) brauchst du mit gpart gar nichts machen. Legst du partitionen an solltest du diese alignen (gpart -a). Siehe auch für allgemeines Verständnis http://en.wikipedia.org/wiki/Disk_sector .

Ohne partitionen hat gpart meine ich auch gar keine option zum alignen, "-a" gibt's nur bei "gpart add".

Jonglierst du gerne mit laufenden Kettensägen?

[namor]

Zitat von Crest

Jonglierst du gerne mit laufenden Kettensägen?

Schon, gelegentlich, aber davon mal abgesehen..

war bei ZFS z.B. nicht sogar die Empfehlung, keine Partitionen zu erstellen, sondern direkt das Device zu nehmen? Ist das mittlerweile überholt oder erinnere ich mich falsch?

Bei einem dedizierten GELI Container sehe ich da auch kein großes Problempotential, außer dass man auf die Device Bezeichner (adX,daX) zurückgreifen muss und keine /dev/gpt/* Bezeichner hat (aber da gibt's sicher auch nen workaround wie unter Linux mit den uuids, man könnte z.B. schauen wie sich glabel mit geli verträgt).

Hingegen spricht bei geli+ffs etwas dagegen 'unter' dem geli-layer noch eine Partitionstabelle (mit einer partition) anzulegen: gpt kann nicht geschachtelt werden.
Heißt: ada0p1.eli kann z.B. keine gpt mehr enthalten. (und bsdlabel/mbr haben Größenbeschränkungen)

PS.: Korrigiert/belehrt mich bitte wenn ich da auf dem Holzweg bin. Würde mich freuen was dazuzulernen!

[Yamagi]

Die Aussage "ZFS nur auf dem Raw-Device" stammt von Solaris und war niemals auf FreeBSD anwendbar. Unter Solaris kam die dortige, eher matschige UFS-Implementierung vorn und hinten nicht mit dem zugegeben grützigen Write-Cache von Festplatten klar, während ZFS natürlich keine Probleme damit hat. Unter Solaris ist der Write-Cache daher global abgeschaltet. Wenn ZFS auf einem Raw-Device lief wurde er für diese eine Festplatte eingeschaltet. Nur und ausschließlich dann. Sobald eine Partition ins Spiel kam, ging das System wieder davon aus, dass dort doch irgendwo ein UFS sein könnte und drehte den Write-Cache ab. Das killte die Performance... Lange Rede, kurzer Sinn: Unter FreeBSD ist der Write-Cache immer eingeschaltet, außer der Nutzer schaltet ihn explizit ab. Daher spricht nichts gegen Partitionen und man sollte sie tunlichst nutzen.

Was GPT betrifft, hast du natürlich recht. GPT kann man nicht schachteln, daher kann man innerhalb von GELI kein weiteres GPT anlegen. Allerdings ist das ein Sonderfall, den kaum ein Anwender jemals nutzen wird. Man muss in dem Fall halt auf ein anderes Partitionsschema zurückgreifen, FreeBSD unterstützt ja genug davon. Man könnte nun natürlich versuchen einen standardinkonformen Hack in den GPT-Parser einzubauen, allerdings wird das nicht passieren. Denn die Entwickler möchten die Sache mit GPT nun richtig machen, was nach Jahren der Partitionshacks und Ärger damit sehr verständlich ist. Aus gleichem Grund wurde schon ein Work-Around zu dem "GPT vs. gmirror"-Problem abgelehnt.

[lockdoc]

Nochmal wegen dem Mirror, diesmal eine andere Situation, da ich die 2x 2TB Platten jetzt doch zusaetzlich einbauen kann anstatt sie auszutauschen:

Mein jetziger Pool ist ja leider fast voll und wenn ich jetzt einen weiteren Mirror hinzufuege, dann werden ja die neuen Daten fast nur noch auf dem neuen Mirror gepackt, anstatt gerecht und performant auf dem ganzen Pool verteilt.

Nun dachte ich mir

* ich bau die neuen Platten ein.
* Eine der 2 TB Platten haenge ich in den Pool mit ein (Platte-A).
* Die andere kommt einfach so als UFS ins System (Platte-B)
* Ich schiebe jetzt ca 2TB Daten vom Pool auf Platte-B
* Jetzt waere der Pool wieder fast leer.
* Danach schiebe ich die Daten von Platte-B wieder in den Pool
* Jetzt sind die Daten im Pool wieder gut verteilt.
* Platte-B ist jetzt wieder leer und kann genutzt werden

Ich wuerde jetzt gerne Platte-B, an die vorhandene einzelne Platte-A (im Pool) als Mirror Device ranhaengen.
Geht das? Und habt ihr ueberhaupt verstanden wie ich das meine?

LG
lockdoc

[namor]

@Yamagi, cool, danke für die gute Erklärung! Ich gelobe auch Besserung und werde ab jetzt immer partitionieren. ;-)

@lockdoc, ich habe denke ich verstanden was du vor hast. Einfach gesagt:
- Daten zwischenspeichern
- zpool add <pool> <neue hdd 1>
- Daten zurückkopieren, um zu verteilen zwischen <alter mirror> und <neue hdd 1>
- zpool attach <pool> <neue hdd 1> <neue hdd 2> ,um aus <neue hdd 1> einen mirror zu machen

Ich denke das sollte klappen, weiß aber nicht ob es so dringend nötig ist. Das dauert auch alles ordentlich bei 2tb schätze ich.

[lockdoc]

Ja notwendig ist es schon zwingend, da der jetzige Pool ja sogut wie voll ist und demnach alle weiteren Daten, dann nur auf den neuen Mirror kommen wuerden und nicht verteilt ueber alle Mirror. So geht ja die ganze Performance floeten.

Echt zu schade, dass ZFS nicht so ein Tool hat, dass die Daten im Nachhinein perfekt ueber die ganzen Mirror verteilt.

@namor: Danke fuer die Hilfe.
Mir ist aber vorm Lesen noch eine weitere Moeglichkeit eingefallen, die ich nun schon angeworfen habe.

- Neuen Mirror aus 2 HDD's hinzufuegen
- eine Platte aus dem Mirror entfernen (degraded)
- entfernte HDD mit UFS bespielen
- Daten vom Pool auf die UFS HDD verschieben.
- Daten zurueck in den Pool verschieben
- UFS destroyen
- resilvern

[ath0]

Ich habe die Diskussion bis jetzt verfolgt, da ich selber vor Kurzem eine neue 3TB Platte mit ZFS und ohne Partitionen Prepariert habe. Ich hatte es bisher so verstanden, dass ZFS das Partitionieren übernimmt. Auch habe ich eine Platte (meine Systemplatte mit ca 250 GB) mit einer ZFS Partition und einer BSD-Swap Partition die aber sagt

GEOM: ada0s1: geometry does not match label (255h,63s != 16h,63s).

Bisher hatte ich mir darüber wenig bis keine sorgen gemacht, da meine Recherchen zu dieser Meldug wenig schlimm geklungen haben.

Was kann nun also passieren, wenn ich platten mit falschem Align bzw. ohne Partitionen verwende?

[Yamagi]

Das sind 3 Fragen auf einmal

Also:
- Zur Frage "Keine Partition" siehe oben. Es ist nicht schlimm und hat keine negativen Auswirkungen, aber aus Gründen der Konvention sind Partitionen halt sinnvoll. Und wenn es nur ist, damit die Platte für Partitionseditoren nicht leer erscheint.
- Die Fehlermeldung mit der Geometrie kommt durch den Wechsel der kernelinternen Partitionsparser zwischen 7.x und 8.x zustande. Es gibt leichte, aber leider unvermeidbare Unterschiede darin, wie die Partitionen gelesen werden. Wahrscheinlich hast du die Partitionen mit den alten Tools fdisk(8) und bsdlabel(8) angelegt, statt das empfohlene und korrekter arbeitende gpart(8) zu nutzen. Wenn er die Partitionen trotzdem korrekt liest, musst du dir keine Sorgen machen. Es gab noch Änderungen am Parser, der die Kompatiblität mit alten Partitionen erhöht, ich weiß aber nicht, ob die im 9.1 sein werden. Damit verschwindet die Meldung.
- Ein falsches Alignement bedeutet, dass Schreibaktionen des Betriebssystem nicht mit den Blöcken der Festplatte übereinstimmen. Die Festplattenfirmware muss eingreifen und dies korrigieren. Dazu muss sie erst die zu ändernden Daten lesen, sie dann abändern und anschließend schreiben. Wie viel langsamer es dadurch wird, hängt sehr von der Festplatte ab. Wenn du keine konkreten Probleme hast, kannst du es ignorieren. Es gibt aber Platten, die bis hinab in den einstelligen Megabytebereich in Sachen Durchsatz einbrechen.