gadean
Depp vom Dienst!
Hi,
schon wieder ich mit einem Thema rund um zfs, dieses mal geht es um die Schreibgeschwindigkeit über NFS, ein ESXi Server nutz den Pool als Speicher und ist mittels NFS angebunden, ESXi nutzt eine "sync connection" (mir fällt gerade die deutsche Übersetzung nicht ein). Also ein ZIL hinzugefügt um die Schreibperformance zu verbessern, was auch geringfügig bei kleineren Dateien funktioniert. Bei größeren jedoch bricht die Verbindung ein und schreibt nur noch "burst"-artig.
Nun, nach mehreren Tagen der Recherchen, habe ich immer noch keine Lösung für eine produktive Umgebung gefunden, nur etwas mit "nfs_nfsdport.c" editieren (den nfs-server modifizieren: Link), jedoch finde ich dass das absolut nicht für ein Prod. System geeignet ist, weswegen ich mich Hilfe suchend an euch wende.
Den Pool konnte ich bisher noch nicht überarbeiten (Zeit ist Geld und andere Projekte haben atm. vor rang), die Platten hängen (abgesehen vom ZIL & L2ARC) "roh" im Pool.
OS: FreeBSD 9.1-RELEASE
Anbei mal die zfs-stats Ausgabe:
schon wieder ich mit einem Thema rund um zfs, dieses mal geht es um die Schreibgeschwindigkeit über NFS, ein ESXi Server nutz den Pool als Speicher und ist mittels NFS angebunden, ESXi nutzt eine "sync connection" (mir fällt gerade die deutsche Übersetzung nicht ein). Also ein ZIL hinzugefügt um die Schreibperformance zu verbessern, was auch geringfügig bei kleineren Dateien funktioniert. Bei größeren jedoch bricht die Verbindung ein und schreibt nur noch "burst"-artig.
Nun, nach mehreren Tagen der Recherchen, habe ich immer noch keine Lösung für eine produktive Umgebung gefunden, nur etwas mit "nfs_nfsdport.c" editieren (den nfs-server modifizieren: Link), jedoch finde ich dass das absolut nicht für ein Prod. System geeignet ist, weswegen ich mich Hilfe suchend an euch wende.
Den Pool konnte ich bisher noch nicht überarbeiten (Zeit ist Geld und andere Projekte haben atm. vor rang), die Platten hängen (abgesehen vom ZIL & L2ARC) "roh" im Pool.
OS: FreeBSD 9.1-RELEASE
Anbei mal die zfs-stats Ausgabe:
Code:
------------------------------------------------------------------------
ZFS Subsystem Report Wed Apr 9 23:24:22 2014
------------------------------------------------------------------------
System Information:
Kernel Version: 901000 (osreldate)
Hardware Platform: amd64
Processor Architecture: amd64
ZFS Storage pool Version: 28
ZFS Filesystem Version: 5
FreeBSD 9.1-RELEASE #0 r243825: Tue Dec 4 09:23:10 UTC 2012 root
11:24PM up 6:59, 1 user, load averages: 0.05, 0.12, 0.09
------------------------------------------------------------------------
System Memory:
0.20% 12.11 MiB Active, 0.39% 23.14 MiB Inact
37.54% 2.17 GiB Wired, 0.15% 8.74 MiB Cache
61.71% 3.56 GiB Free, 0.01% 568.00 KiB Gap
Real Installed: 6.00 GiB
Real Available: 99.52% 5.97 GiB
Real Managed: 96.68% 5.77 GiB
Logical Total: 6.00 GiB
Logical Used: 40.11% 2.41 GiB
Logical Free: 59.89% 3.59 GiB
Kernel Memory: 1.98 GiB
Data: 98.99% 1.96 GiB
Text: 1.01% 20.50 MiB
Kernel Memory Map: 3.31 GiB
Size: 57.09% 1.89 GiB
Free: 42.91% 1.42 GiB
------------------------------------------------------------------------
ARC Summary: (HEALTHY)
Memory Throttle Count: 0
ARC Misc:
Deleted: 505.81k
Recycle Misses: 3.78k
Mutex Misses: 248
Evict Skips: 12.86k
ARC Size: 39.11% 1.87 GiB
Target Size: (Adaptive) 88.13% 4.21 GiB
Min Size (Hard Limit): 12.50% 610.93 MiB
Max Size (High Water): 8:1 4.77 GiB
ARC Size Breakdown:
Recently Used Cache Size: 91.30% 3.84 GiB
Frequently Used Cache Size: 8.70% 374.94 MiB
ARC Hash Breakdown:
Elements Max: 257.50k
Elements Current: 36.21% 93.25k
Collisions: 1.19m
Chain Max: 11
Chains: 21.16k
------------------------------------------------------------------------
ARC Efficiency: 4.38m
Cache Hit Ratio: 89.95% 3.94m
Cache Miss Ratio: 10.05% 440.62k
Actual Hit Ratio: 71.62% 3.14m
Data Demand Efficiency: 93.39% 3.08m
Data Prefetch Efficiency: 43.15% 384.61k
CACHE HITS BY CACHE LIST:
Anonymously Used: 19.12% 754.03k
Most Recently Used: 23.84% 940.25k
Most Frequently Used: 55.79% 2.20m
Most Recently Used Ghost: 0.49% 19.22k
Most Frequently Used Ghost: 0.77% 30.40k
CACHE HITS BY DATA TYPE:
Demand Data: 72.84% 2.87m
Prefetch Data: 4.21% 165.98k
Demand Metadata: 6.45% 254.43k
Prefetch Metadata: 16.50% 650.85k
CACHE MISSES BY DATA TYPE:
Demand Data: 46.14% 203.29k
Prefetch Data: 49.62% 218.63k
Demand Metadata: 3.87% 17.04k
Prefetch Metadata: 0.38% 1.66k
------------------------------------------------------------------------
L2 ARC Summary: (HEALTHY)
Passed Headroom: 849.23k
Tried Lock Failures: 10.13k
IO In Progress: 74
Low Memory Aborts: 2
Free on Write: 651
Writes While Full: 2.85k
R/W Clashes: 1
Bad Checksums: 0
IO Errors: 0
SPA Mismatch: 0
L2 ARC Size: (Adaptive) 3.66 GiB
Header Size: 0.13% 5.03 MiB
L2 ARC Evicts:
Lock Retries: 0
Upon Reading: 1
L2 ARC Breakdown: 440.49k
Hit Ratio: 13.99% 61.63k
Miss Ratio: 86.01% 378.86k
Feeds: 28.02k
L2 ARC Buffer:
Bytes Scanned: 14.97 TiB
Buffer Iterations: 28.02k
List Iterations: 1.77m
NULL List Iterations: 20.04k
L2 ARC Writes:
Writes Sent: 100.00% 12.13k
------------------------------------------------------------------------
File-Level Prefetch: (HEALTHY)
DMU Efficiency: 9.41m
Hit Ratio: 42.33% 3.98m
Miss Ratio: 57.67% 5.43m
Colinear: 5.43m
Hit Ratio: 0.07% 3.87k
Miss Ratio: 99.93% 5.42m
Stride: 3.85m
Hit Ratio: 100.00% 3.85m
Miss Ratio: 0.00% 102
DMU Misc:
Reclaim: 5.42m
Successes: 1.48% 80.05k
Failures: 98.52% 5.34m
Streams: 136.72k
+Resets: 0.46% 624
-Resets: 99.54% 136.09k
Bogus: 0
------------------------------------------------------------------------
VDEV cache is disabled
------------------------------------------------------------------------
ZFS Tunables (sysctl):
kern.maxusers 384
vm.kmem_size 6198607872
vm.kmem_size_scale 1
vm.kmem_size_min 0
vm.kmem_size_max 329853485875
vfs.zfs.l2c_only_size 2977833472
vfs.zfs.mfu_ghost_data_lsize 1582170624
vfs.zfs.mfu_ghost_metadata_lsize 54956544
vfs.zfs.mfu_ghost_size 1637127168
vfs.zfs.mfu_data_lsize 291110912
vfs.zfs.mfu_metadata_lsize 9934848
vfs.zfs.mfu_size 304603136
vfs.zfs.mru_ghost_data_lsize 2745696256
vfs.zfs.mru_ghost_metadata_lsize 96553472
vfs.zfs.mru_ghost_size 2842249728
vfs.zfs.mru_data_lsize 1556236800
vfs.zfs.mru_metadata_lsize 98225152
vfs.zfs.mru_size 1670819328
vfs.zfs.anon_data_lsize 0
vfs.zfs.anon_metadata_lsize 0
vfs.zfs.anon_size 2281472
vfs.zfs.l2arc_norw 1
vfs.zfs.l2arc_feed_again 1
vfs.zfs.l2arc_noprefetch 1
vfs.zfs.l2arc_feed_min_ms 200
vfs.zfs.l2arc_feed_secs 1
vfs.zfs.l2arc_headroom 2
vfs.zfs.l2arc_write_boost 8388608
vfs.zfs.l2arc_write_max 8388608
vfs.zfs.arc_meta_limit 1281216512
vfs.zfs.arc_meta_used 154853312
vfs.zfs.arc_min 640608256
vfs.zfs.arc_max 5124866048
vfs.zfs.dedup.prefetch 1
vfs.zfs.mdcomp_disable 0
vfs.zfs.write_limit_override 0
vfs.zfs.write_limit_inflated 19235143680
vfs.zfs.write_limit_max 801464320
vfs.zfs.write_limit_min 33554432
vfs.zfs.write_limit_shift 3
vfs.zfs.no_write_throttle 0
vfs.zfs.zfetch.array_rd_sz 1048576
vfs.zfs.zfetch.block_cap 256
vfs.zfs.zfetch.min_sec_reap 2
vfs.zfs.zfetch.max_streams 8
vfs.zfs.prefetch_disable 0
vfs.zfs.mg_alloc_failures 8
vfs.zfs.check_hostid 1
vfs.zfs.recover 0
vfs.zfs.txg.synctime_ms 1000
vfs.zfs.txg.timeout 5
vfs.zfs.vdev.cache.bshift 16
vfs.zfs.vdev.cache.size 0
vfs.zfs.vdev.cache.max 16384
vfs.zfs.vdev.write_gap_limit 4096
vfs.zfs.vdev.read_gap_limit 32768
vfs.zfs.vdev.aggregation_limit 131072
vfs.zfs.vdev.ramp_rate 2
vfs.zfs.vdev.time_shift 6
vfs.zfs.vdev.min_pending 4
vfs.zfs.vdev.max_pending 10
vfs.zfs.vdev.bio_flush_disable 0
vfs.zfs.cache_flush_disable 0
vfs.zfs.zil_replay_disable 0
vfs.zfs.zio.use_uma 0
vfs.zfs.snapshot_list_prefetch 0
vfs.zfs.version.zpl 5
vfs.zfs.version.spa 28
vfs.zfs.version.acl 1
vfs.zfs.debug 0
vfs.zfs.super_owner 0
------------------------------------------------------------------------