Filesystem mit eingebauten Checksums

[FreeBSDuser]

Kennt jemand ein Filesystem welches selbst Checksums/Hashes für Cluster/Dateien erstellt?

Ja, ZFS, aber das halte ich für einen Overkill, und experimentell ist es ja auch noch.

Es gibt ja auch Softwarelösungen mit denen man die Integrität von Dateien überprüfen kann aber das ist letztendlich frickelei und nicht portabel.

Danke für eure Antworten

 

[AndreasMeyer]

Siehe http://en.wikipedia.org/wiki/Comparison_of_file_systems Spalte "Checksum/ECC".

 

[Endorphine]

Ich war auch mal begeistert von der Prüfsummenfunktion von ZFS und wollte das dann unbedingt haben. Im Chaosradio-Vortrag zu ZFS hat dann derjenige aber sinngemäß gemeint, dass dies ein Hype-Feature ist und es im Dateisystem eigentlich viel zu spät ist, die Blockintegrität zu prüfen, da das schon auf den Ebenen darunter mehrfach und ausgeklügelt geschieht. Das hat mich dann dazu gebracht, nochmal genauer drüber nachzudenken, welchen Weg die Daten nehmen, und wo die wie gesichert werden.

Schaden kann's sicher nicht, aber viel Sinn hat es wohl auch nicht, solange man keine Massenspeicher hat, die nicht auch selbst ausgeklügelte Fehlererkennung und Fehlerkorrektur haben. Imho wohl eher ein experimentelles Feature mit Nutzen in Nischenanwendungen...

Solange man es der Hardware überlässt hat man zudem auch noch den Vorteil, dass es Null Performance/Overhead/Speicherkapazität kostet.

 

[rMarkus]

Ich stimme zu, dass ein Filesystem-Level-ECC eigentlich Unsinn sein sollte.

Mir ist es jedoch schon ein paar mal vorgekommen, dass Daten falsch von SD-Card oder USB-Stick gelesen wurden. Die unteren Ebenen haben keinen Fehler gemeldet und die Datei wurde vom Betriebssystem mit falschem Inhalt wiedergegeben.

Unter kontrollierten Bedinungen konnte ich diesen sogar mehfach auf einem Sandisk-USB-Stick reproduzieren.

Da die Datei bei den nächsten Leseversuchen wieder in Ordnung war, gehe ich davon aus, dass der Fehler irgendwie bei Datentransport via USB passiert sein muss.

Eigentlich darf sowas nicht vorkommen.

 

[MuffiXXL]

Ich war auch mal begeistert von der Prüfsummenfunktion von ZFS und wollte das dann unbedingt haben. Im Chaosradio-Vortrag zu ZFS hat dann derjenige aber sinngemäß gemeint, dass dies ein Hype-Feature ist und es im Dateisystem eigentlich viel zu spät ist, die Blockintegrität zu prüfen, da das schon auf den Ebenen darunter mehrfach und ausgeklügelt geschieht. Das hat mich dann dazu gebracht, nochmal genauer drüber nachzudenken, welchen Weg die Daten nehmen, und wo die wie gesichert werden.

Schaden kann's sicher nicht, aber viel Sinn hat es wohl auch nicht, solange man keine Massenspeicher hat, die nicht auch selbst ausgeklügelte Fehlererkennung und Fehlerkorrektur haben. Imho wohl eher ein experimentelles Feature mit Nutzen in Nischenanwendungen...

Solange man es der Hardware überlässt hat man zudem auch noch den Vorteil, dass es Null Performance/Overhead/Speicherkapazität kostet.

Afaik bringt dir das ja nur was wenn deine Platten im Raid hängen.. nehmen wir jetzt einfach mal an es ist ein RaidZ.. also Software-Raid mit ZFS und dein Rechner/Server wird Opfer eines Stromausfalls. Dann sagt dir das FS beim nächsten Booten bescheid wo die Fehler sind.

 

[Endorphine]

Wenn die Platten und/oder Blöcke kaputt sind meldet die Festplatte das ja schon von sich aus. Bzw. bei nem Soft-RAID bleibt man dann beim booten hängen.

Und wenn durch nen Stromausfall das Filesystem inkonsistent ist, haben ja die meisten FS Reparaturmechanismen.

Ich sehe nur Anwendungsfelder, wenn du über nen unsicheren Weg Massenspeicher anbindest (z. B. einige billige USB-Komponenten und dann als Host-Adapter nen VIA-Controller) oder einen eigenen Massenspeicher baust, der selsbt keine Fehlererkennung/-Korrektur leistet.

 

[FreeBSDuser]

Danke für die bisherigen Antworten !

Wenn die Festplatte (und ihr Controller) einen Sektordefekt erkennen, was bekommt das OS bzw. Ich davon mit? - gibt es da eine art Warnung/Kernel Message?

Ich kenne es von ZFS her, dass manchmal checksum errors vorkommen, heisst das nicht, diese wären auch mit UFS o.ä. auch passiert aber nicht bemerkt worden ?

Hauptsächlich wäre ein simples Filesystem mit Checksums ja genial für USB-Platten/Sticks, wenn eine gewisse Verbreitung des FS gegeben ist.

Die Tabelle von Wikipeda enthält ja keine wirklich general-purpose Dateisysteme die auch Checksums haben.

"ZFS light" wäre mal cool, ohne das Volume-Management und der Raid funktionalität.

 

[MuffiXXL]

Wieso willst du ZFS ohne Volume Management und die Raid-Funktionalität.. Das ist für mich eigentlich gerade der Teil der ZFS wirklich zu ZFS macht. ohne diese Teile ist es ein FS das (fast) wie jedes andere auch ist. Also ich finde das Volume Management und den eingebauten Raid toll.. wird wohl nicht jedem so gehen aber für mich macht das den Unterschied.

 

[FreeBSDuser]

ButterFS () BRTFS scheit eine Antwort auf ZFS zu sein, aber etwas leichtfüßiger, aber mit Checksums und anderen fancy-features.