ZFSv28 für FreeBSD - Erster Patch verfügbar - Tester gesucht

Yamagi

Possessed With Psi Powers
Teammitglied
Hallo,
Pawel Jakub Dawidek hat gestern Abend einen ersten Patch online gestellt, der FreeBSDs ZFS auf Version 28 hebt. Dieser Patch integriert allen bisher von Sun / Oracle veröffentlichten Code, es ist als das modernste ZFS, was es gibt. Es entspricht OpenSolaris Head. Vorweg sollte noch gesagt sein, dass dieser Patch sehr experimentell ist. So experimentell, dass er auf gar keinen Fall für irgendwas außer Testen und da auch nur mit Backups genutzt werden sollte! Es gibt derzeit auch keinen Zeitplan, wann diese Arbeit in -CURRENT integriert werden kann. Wie Pawel schreibt, es handelt sich dabei in erster Linie um ein Zeichen mit dem man zeigen möchte "ZFS ist trotz des Oracle-Chaos nicht tot!".

Neuerungen:
- Data deduplication aka "Dedup".
- RAIDZ3
- zfs diff
- zpool split
- Pools können "read only" importiert werden
- Rückrollen auf ältere Transaktionen ist ohne den Debugger möglich.
- Vieles, vieles mehr.

Für alles andere, inklusive Links zum Download und Installationsanleitungen verweise ich auf die E-Mail. Bitte lest diese vollständig, wenn ihr testen möchtet!

Code:
  Date: Tue, 31 Aug 2010 23:59:15                                               
  From: Pawel Jakub Dawidek <pjd@FreeBSD.org>                                   
  To: freebsd-fs@FreeBSD.org                                                    
  Cc: freebsd-current@FreeBSD.org                                               
  Subject: ZFS v28 is ready for wider testing.                                  
  Parts/Attachments:                                                            
     1 Shown   ~119 lines  Text                                                 
     2          203 bytes  Application                                          
  ----------------------------------------                                      
                                                                                
  Hello.                                                                        
                                                                                
  I'd like to give you ZFS v28 for testing. If you are neither brave nor        
  mad, you can stop here.                                                       
                                                                                
  The patchset is very experimental. It can eat your cookie and hurt your       
  teddy bear, so be warned. Don't try it for anything except testing.           
                                                                                
  This patchset is also a message we, as the FreeBSD project, would like        
  to send to our users: Eventhough OpenSolaris is dead, the ZFS file            
  system is going to stay in FreeBSD. At this point we have quite a few         
  developers involved in ZFS on FreeBSD as well as serveral companies.          
  We are also looking forward to work with IllumOS.                             
                                                                                
  So, what this new ZFS brings?                                                 
                                                                                
  - Data deduplication. Read more here:                                         
                                                                                
        http://blogs.sun.com/bonwick/entry/zfs_dedup                            
                                                                                
  - Triple parity RAIDZ (RAIDZ3). Read more here:                               
                                                                                
        http://dtrace.org/blogs/ahl/2009/07/21/triple-parity-raid-z/            
                                                                                
  - zfs diff. Read more here:                                                   
                                                                                
        http://arc.opensolaris.org/caselog/PSARC/2010/105/20100328_tim.haley    
                                                                                
  - zpool split. Read more here:                                                
                                                                                
        http://arc.opensolaris.org/caselog/PSARC/2009/511/20090924_mark.musante                                                                             
                                                                               
  - Snapshot holds. Read more here:                                             
                                                                                
        http://arc.opensolaris.org/caselog/PSARC/2009/297/20090511_chris.kirby  
                                                                                
  - zpool import -F. Allows to rewind corrupted pool to earlier                 
    transaction group.                                                          
                                                                                
  - Possibility to import pool in read-only mode.                               
                                                                                
  And much, much more, including plenty of preformance improvements and bug     
  fixes.                                                                        
                                                                                
  So test whatever you can and report back. Look for regressions, strange       
  behaviour, missing features, deadlocks, livelocks, preformance                
  degradation, etc.                                                             
                                                                                
  The boot code is not updated at all, so booting off of ZFS doesn't            
  currently work.                                                               
                                                                                
  The patch is against today's FreeBSD HEAD.                                    
                                                                                
  The patch enables (in sys/modules/zfs/Makefile) ZFS internal debugging,       
  please don't turn it off. Also, compile your kernel with the following        
  options:                                                                      
                                                                                
        options         KDB                                                     
        options         DDB                                                     
        options         INVARIANTS                                              
        options         INVARIANT_SUPPORT                                       
        options         WITNESS                                                 
        options         WITNESS_SKIPSPIN                                        
        options         DEBUG_LOCKS                                             
        options         DEBUG_VFS_LOCKS                                         
                                                                                
  Ignore all the LOR (Lock Order Reversal) reports from WITNESS. There will     
  be plenty of those, and you'll desperately want to report them, but please    
  don't.                                                                        
                                                                                
  The best way to report a problem is to answer to this e-mail with as short    
  as possible procedure of how to reproduce it and debugging info. I'd          
  prefer textdump if possible. Below you can find quick procedure how to        
  setup textdumps:                                                              
                                                                                
        Choose spare/swap disk/partition in your system, let's say it is        
        /dev/ad0s1b.                                                            
                                                                                
        Add the following line to /etc/fstab:                                   
                                                                                
                /dev/ad0s1b     none    swap    sw      0       0               
                                                                                
        Add the following line to /etc/rc.conf:                                 
                                                                                
                ddb_enable="YES"                                                
                                                                                
        Run the following commands:                                             
                                                                                
                # /etc/rc.d/swap1 start                                         
                # /etc/rc.d/dumpon start                                        
                # /etc/rc.d/ddb start                                           
                                                                                
        This will setup swap, mark it as dump device and setup some DDB         
        scripts. Or you can just reboot.                                        
                                                                                
        Now when your system panic or deadlock, enter DDB and call the          
        following command:                                                      
                                                                                
                ddb> run kdb.enter.panic                                        
                                                                                
        It will execute all the commands I need, dump them in text format to    
        your swap device and reboot machine.                                    
                                                                                
        After the reboot, you should find textdump.tar.0 file in /var/crash/    
        directory. This is the debug info I need.                               
                                                                                
  End of textdumps procedure.                                                   
                                                                                
  Ok, now that I know you read everything carefully, here is the patch:         
                                                                                
        http://people.freebsd.org/~pjd/patches/zfs_20100831.patch.bz2           
                                                                                
  Good luck! >:>
 
Das sind ja super News. Mein ok v28 ist zwar noch experimentell, aber das Zeichen was es setzt ist mehr als deutlich! Freue mich schon, wenn ich v28 auf meinem Server begrüßen darf. ^^
Mangels einem Testsystem und Zeit (BA machts möglich) kann ich leider nicht zum Testen antreten. Aber wenn sich kurzfristig was ergibt werde ich mir v28 mal anschauen. :)
 
hi
bin mal gespannt in wie weit acls implementiert werden , wenn die auf dem level
sind von opensolaris build 134 so das man das komplette windows acl geaffel abbilden
kann ist es perfekt , an der stelle.

holger
 
Du kannst doch einfach geli unter den pool schieben?

Klar, aber das nicht das gleiche und nicht so sinnvoll wie eine Verschlüsselung für ausgewählte ZFSse, zB nur das Homedir bzw die Homedirs mit verschiedenen Phrasen.Das ganze bootet von einem zpool auf den selben physikalischen Geräten. Kein hick-hack mehr das man vorher richtig partitionieren muss.
Ich beobachte das Projekt schon seit ich das erste mal von ZFS gehört habe und sehe seit dem ersten Tag als eins der "killerfeatures". Dynamisch große, redundante und verschlüsselte Dateisysteme sind schon nützlich. Wenns denn irgendwann mal so kommt...


Grüße!
 
Ist ZFS-Crypto überhaupt Final? Und wenn ja, seit welcher ZFS-Version? Habe nix finden können ...

so weit ich die Schritte der letzten Jahre verfolgt habe war es schon mal RC aber dann wurde wieder auf eine neuere Version vom ZFS gewartet und dann doch noch mal auf ein anderes Patchset gewartet und dann dies noch und das noch. Eigentlich sollte es schon in einem 2009er Release in OpenSolaris einfließen, letzter Stand vor Suns Übernahme war wohl ein Migration in ZFS-head im Mai diesen Jahres. So weit ich das aber sehe ist das auch nie passiert und seit es Oracle heißt ist da auch nichts mehr gekommen.
Also nicht das das falsch verstanden wird, hier ist nicht bei dem großartigen Pavel zu suchen, sondern bei den OpenSolaris Leuten.

Wäre echt schön wenn da mal was passiert! :D

edit: noch mal nachgeguckt, da heißt es nur:
"Oracle does not allow individual employees from answering
release date type details externally, but I can say
that once we make an OS feature like this a part of
an official release, then it is safe for production use."
(von hier: http://opensolaris.org/jive/thread.jspa?threadID=132878&tstart=0 )

Grüße!
 
Zuletzt bearbeitet:
Meine Frage klingt komisch, aber ist durchaus von Interesse:

Ist ZFSv28 selbst experimentell oder nur auf FreeBSD? ;)
 
Es ist selbst auch experimentell. Es gab meines Wissens auch nie ein Opensolaris-Release damit.
 
Klar, aber das nicht das gleiche und nicht so sinnvoll wie eine Verschlüsselung für ausgewählte ZFSse, zB nur das Homedir bzw die Homedirs mit verschiedenen Phrasen.Das ganze bootet von einem zpool auf den selben physikalischen Geräten. Kein hick-hack mehr das man vorher richtig partitionieren muss.
Ich beobachte das Projekt schon seit ich das erste mal von ZFS gehört habe und sehe seit dem ersten Tag als eins der "killerfeatures". Dynamisch große, redundante und verschlüsselte Dateisysteme sind schon nützlich. Wenns denn irgendwann mal so kommt...

ZFS hat aber den Focus klar auf dem Server und da sind Verschlüsselungen eher selten...
 
Pawel hat eine virtuelle Maschine zum einfacheren Testen gebaut:

Code:
 Date: Thu, 2 Sep 2010 23:48:23                                                
  From: Pawel Jakub Dawidek <pjd@FreeBSD.org>                                   
  To: freebsd-fs@FreeBSD.org                                                    
  Cc: freebsd-current@FreeBSD.org                                               
  Subject: Re: ZFS v28 is ready for wider testing.                              
  Parts/Attachments:                                                            
     1 Shown    ~55 lines  Text                                                 
     2          203 bytes  Application                                          
  ----------------------------------------                                      
                                                                                
  On Tue, Aug 31, 2010 at 11:59:15PM +0200, Pawel Jakub Dawidek wrote:          
  [...]                                                                         
  > Ok, now that I know you read everything carefully, here is the patch:       
  >                                                                             
  >     http://people.freebsd.org/~pjd/patches/zfs_20100831.patch.bz2           
                                                                                
  Now it is even easier to test new ZFS! :)                                     
                                                                                
  Here you can find VirtualBox Appliance (113MB) with                           
  FreeBSD 9-CURRENT and ZFSv28:                                                 
                                                                                
        http://people.freebsd.org/~pjd/misc/FreeBSD9_ZFSv28_0.1.tgz             
                                                                                
  Untar it, import it (zfsv28.ovf) to VirtualBox and have fun.                  
                                                                                
  You can log in as root with no password (via virtual console or via SSH).     
  The system IP address is IP 192.168.56.66/24.                                 
  There are 16 ada(4) disks to play with. For example:                          
                                                                                
        zfsv28:root:~# zpool create tank raidz3 ada{0,1,2,3,4,5,6,7} raidz3     
  ada{8,9,10,11,12,13,14,15}                                                    
        zfsv28:root:~# zpool status                                             
          pool: tank                                                            
         state: ONLINE                                                          
         scan: none requested                                                   
        config:                                                                 
                                                                                
                NAME        STATE     READ WRITE CKSUM                          
                tank        ONLINE       0     0     0                          
                  raidz3-0  ONLINE       0     0     0                          
                    ada0    ONLINE       0     0     0                          
                    ada1    ONLINE       0     0     0                          
                    ada2    ONLINE       0     0     0                                                           
                    ada3    ONLINE       0     0     0                          
                    ada4    ONLINE       0     0     0                          
                    ada5    ONLINE       0     0     0                          
                    ada6    ONLINE       0     0     0                          
                    ada7    ONLINE       0     0     0                          
                  raidz3-1  ONLINE       0     0     0                          
                    ada8    ONLINE       0     0     0                          
                    ada9    ONLINE       0     0     0                          
                    ada10   ONLINE       0     0     0                          
                    ada11   ONLINE       0     0     0                          
                    ada12   ONLINE       0     0     0                          
                    ada13   ONLINE       0     0     0                          
                    ada14   ONLINE       0     0     0                          
                    ada15   ONLINE       0     0     0                          
                                                                                
        errors: No known data errors                                            
                                                                                
  --                                                                            
  Pawel Jakub Dawidek                       http://www.wheelsystems.com         
  pjd@FreeBSD.org                           http://www.FreeBSD.org              
  FreeBSD committer                         Am I Evil? Yes, I Am!
 
naja ....... meines wissen war der letzte build irgendwas mit 14x war ...... aber nur
fuer die entwickler verfuegbar.

holger
 
Das kommt höchstwahrscheinlich kaum vor 9.0. Ich wäre mir noch nicht einmal zu 100% sicher, dass ZFSv28 überhaupt mit 9.0 kommt... Ich weiß, das Neuste und Tollste ist auch immer am begehrtesten. Aber Es hat so viele Jahre und soviel Zeit gebraucht, dass ZFSv15 nun stabil läuft. Das wird man sich mit einem vorschnellen Import nicht wieder kaputt machen wollen. Dazu kommt, dass auch Solaris (das Richtige, nicht das tote OpenSolaris) sicher aus guten Grund nur ZFSv15 hat.

EDIT: Das hat sich irgendwie überschnitten :)
 
ZFS hat aber den Focus klar auf dem Server und da sind Verschlüsselungen eher selten...

Das erzähl mal den Firmen die viel die großen Solariskisten einsetzten, Banken, Versicherungen usw. Die alle müssen nach ihren jeweiligen Zertifizierungen und Standards Verschlüsselung machen. Auch wenn Oracle das direkt in ihrer Datenbank kann, das auf Dateisystemebene wird bestimmt auch gefordert.
Auch wenn das ein bisschen Off the topic ist.

Wird der 32bit Systeme Support denn jetzt deutlich besser, oder wieso eine solche Testmaschine?

Grüße!
 
Zurück
Oben