Welches FS für einen NAS

tcberner

Well-Known Member
Hallo zusammen.

Ich baue mir demnächst einen NAS zusammen, bestehend aus 6*2TB Platten. Anfänglich wollte ich ein Raidz2 verwenden. Das Board hat allerdings nur Platz für 4GB Ram, was ja etwas knapp wäre für ZFS.

Wäre UFS hier eine bessere Wahl, oder könnte ZFS noch gut genug laufen? Es wird NFS und Samba laufen. Sonst eigentlich nix.


mfg Tobias
 
Hallo,

also bei 12TB kommt meiner Ansicht nach nur ZFS in Frage, gerade bei Verwendung als Filer ist das definitiv nicht zu toppen...

Anstelle der Überlegung welches Dateisystem passt würde ich mir lieber (wenn noch nicht gekauft) Gedanken zu einem anderen Board machen dass optimaler geeignet wäre. In einem andeneren Forum hat jemand ASUS E350 Boards mit Openindiana und EON-ZFS Storage mit Napp-It laufen, da kannst Du auch 8GB RAM verbauen, leider scheinbar nicht ECC.

Die Asus Boards gibt es in unterschiedlichen Ausführungen, eines hat nur 5 SATA Anschlüsse, dafür aber USB3 an Board (Im Terabyte Bereich sicher sinnvoll für Backups auf externe Platten), die andere Ausführung hat 6 SATA Anschlüsse, die Dritte hat WLAN onboard.

Gruß
Shakky
 
Zuletzt bearbeitet:
hi

habe selber das asus e35m1-i mit 8 gb ram unfer freebsd9 als zfs nas laufen,
6x volle sata 3 anschuesse.
bis auf graka wird alles sauber erkannt.

perfekt fuer ein nas ... man brauch da nur noch das richtige gehaeuse.

holger
 
Wieviele User greifen auf das NAS zu?

Für 4 Benutzer reichen bei mir 4GB für ZFS aus. Als Dienste laufen Samba, squeezeboxserver und transmission (je in einem Jail). Teilweise baue ich zusätzlich auch Packete auf dem Gerät ohne das sich andere User beschweren.

Mit Samba komme ich auf ca. 35MBytes/s Durchsatz, die CPU Last liegt dabei bei rund 20% und die der Platten bei rund 40%. Damit ist mein Netzwerk-Durchsatz der Flaschenhals bzw. Samba der Flaschenhals und ZFS kommt vermutlich gar nie in den roten Bereich.

Fazit: Ich würde ZFS auch mit nur 4GB auf jeden Fall testen falls die Nutzeranzahl ähnlich ist.

mousaka
 
Zuletzt bearbeitet:
hi

also ich wuerde mir ueberlegenob ich alles in jail packen muss ,
da hoehere wartungs aufwand
ram verbrauch ( ergo reduziert sich der arc speicher fuer zfs )

man kann auch noch etwas performance kitzeln mit
eine cache drive ( ssd ) ins zfs einbinden und ggf zil auslagern auf eine ssd .

bei dem board wuerde ich auch tippen das 3x 2platten (mirror) im tank besser performt
als 6 platten im raidz) hat natuerlich den nachteil das kapazitaet verloren geht.

bedenke an derm 4x sata ( schwarz ) anschluss teilen sich die 2 anschluessse
die bandbreite mit den anderen beiden.
 
mousaka: Ja, probieren werde ich es wohl. Mehr als Benutzer 3 dürften es nicht werden.

Merci.


mfg Tobias
 
Den Speicher verbrauch von Jails kann man echt vernachlässigen. Deswegen würde ich nicht abraten auf die Jails zu verzichten, den pro Jail gehen nur ein paar kb drauf. Ob man die Jails wirklich braucht ist eine andere frage.

hier gibt es ein paar Tips zum tunen von Samba und ZFS. Ob das alles noch so aktuell ist weiß ich nicht. Jeden falls kommt da einer auf 75/MBs

http://freebsd.1045724.n5.nabble.co...FS-Samba-running-out-of-memory-td3956046.html
 
Wieviele User greifen auf das NAS zu?

Für 4 Benutzer reichen bei mir 4GB für ZFS aus. Als Dienste laufen Samba, squeezeboxserver und transmission (je in einem Jail). Teilweise baue ich zusätzlich auch Packete auf dem Gerät ohne das sich andere User beschweren.

Mit Samba komme ich auf ca. 35MBytes/s Durchsatz, die CPU Last liegt dabei bei rund 20% und die der Platten bei rund 40%. Damit ist mein Netzwerk-Durchsatz der Flaschenhals bzw. Samba der Flaschenhals und ZFS kommt vermutlich gar nie in den roten Bereich.

Fazit: Ich würde ZFS auch mit nur 4GB auf jeden Fall testen falls die Nutzeranzahl ähnlich ist.

mousaka

Code:
Mem: 136M Active, 2758M Inact, 828M Wired, 1168K Cache, 418M Buf, 223M Free
OHNE SWAP
Die Uptimes des Rechners würden wenig sagen, weil ich in den letzten Wochen einige Dinge am umbauen, probieren und aktualisieren war (Mac-OS-X LION wollte nicht mehr so hübsch mit AFPD). Das System läuft von einem USB-Stick, der im Server verbaut ist. Weil ich dem nicht traue, fertige ich dann immer eine Kopie davon an und lege den zweiten Stick ins Gehäuse dazu. Dann muss ich halt öfter neu starten, um beide Sticks auch zu testen und deshalb kann ich für diese Kombination nicht mit großen Zeiten hausieren gehen.
Ansonsten legen nur Strom- und Hardware-Ausfälle oder Wartungsarbeiten das Gerät mal lahm.
Er funktioniert also grundsätzlich.

Es ist ein amd64 verbaut (cpuid sagt: "Intel(R) Core(TM)2 Duo CPU E8400 @ 3.00GHz") und der benutzt eben die 4GB RAM.
Es nutzen vier bis fünf PCs über NFS und maximal fünf gleichzeitig über AFP oder SMB den Server.
Die greifen nicht immer gleichzeitig zu und oft spielen sie nur Musik oder schauen einen Film, was insbesondere für drei SAT-Receiver gilt, deren Aufnahmen über NFS auf dem Server landen.
Die Daten sind auf einem ZFS-Raid mit fünf 1GB-Platten.

Auch bei mir ist das Netzwerk der Flaschenhals und zwar wahrhaftig.
Durch die bauliche Situation und persönliche Präferenzen einiger Mitbewohner weiblichen Geschlechtes bedingt, gibt es drei Netz-Stränge die untereinander über ein einziges 100MB Kabel verbunden sind. So kann ich von meinem PC aus zwar mit 1GB zugreifen, was gut ist, wenn ich Filme wandele oder Daten "rsynce". Alle anderen haben aber zusammen nur eine 100MB Leitung und das kann dann selbst bei Filmen schon eng werden.
Deshalb kann ich keinen guten Performance-Vergleich anstellen. NFS (ich nutze noch V3, bzw, habe nie die Exports umgestellt) scheint zwar etwas zu enttäuschen und hinter meinen Erwartungen zu liegen, aber meist sind die Übertragungen der Dateien bis 1GB schneller passiert, als ich auf die Anzeige (iftop) sehen kann und es interessiert mich auch nicht wirklich sehr, denn es ist mir schnell genug.
SMB und AFP scheinen etwa gleich gut zu laufen. Nun hinkt wieder der Vergleich meiner Erfahrungen, denn ich habe nur einen PC mit einem Windows XP und der ist nur sehr selten im Netz (er gehört mir auch gar nicht). Aber es sieht so aus, als wären Mac, FreeBSD und GNU/Linux Clients flotter und problemloser mit smb, als der MS-PC.
ftp geht bei allen etwa gleich und scheint bei der reinen Datenübertragung die Nase einen Tick vorne zu haben.

Die Übertragunsraten hängen auch stark vom jeweiligen Clienten ab, also der Leistung dieses PCs.

Von Seiten des Servers aus betrachtet kommt der aber mit den 4GB zurecht und hat neben den erwähnten noch ein paar weitere Kleinigkeiten an Diensten realisiert, ntpd und cupsd zum Beispiel.
 
Habe aus gegebenem Anlass gerade nochmals ein paar Messungen gemacht. Ausserdem habe ich die Verbesserung von Samba 3.6 (SMB2 für Win Vista/7) nie gemessen (mit max protocol = smb2 in smb.conf).

Mit erfreulicher Ergebnissen :)
Windows 7 zeigt jetzt ca. 95MBytes/s Durchsatz beim Kopieren von einigen GBs auf ein lokales Laufwerk. Die Auslastung der der CPU liegt bei rund 70%, die der Festplatten bei rund 80% (mirror mit 2 Platten). Der freie Speicher geht runter auf ca. 20MBytes.

Somit ist das System jetzt wohl einigermassen an seinen Hardware-Grenzen angelangt und mehr Arbeitsspeicher wohl wie erwartet der sinnvollste Ausbau.
 
Habe aus gegebenem Anlass gerade nochmals ein paar Messungen gemacht. Ausserdem habe ich die Verbesserung von Samba 3.6 (SMB2 für Win Vista/7) nie gemessen (mit max protocol = smb2 in smb.conf).

Mit erfreulicher Ergebnissen :)
Windows 7 zeigt jetzt ca. 95MBytes/s Durchsatz beim Kopieren von einigen GBs auf ein lokales Laufwerk. Die Auslastung der der CPU liegt bei rund 70%, die der Festplatten bei rund 80% (mirror mit 2 Platten). Der freie Speicher geht runter auf ca. 20MBytes.

Somit ist das System jetzt wohl einigermassen an seinen Hardware-Grenzen angelangt und mehr Arbeitsspeicher wohl wie erwartet der sinnvollste Ausbau.

H
Ich koennte mir vorstellen das eine kleine ssd ,eingebunden als cache lw, der cpu noch etwas entlastung
Bringt

Holger

Holger
 
aehm ich nochmal ......

ich habe gerade mal die Freebsd 9.0rc3 aufgespielt boar das besagte zotac nm10-dtx wifi
mit 4GB ram.

1x 80 GB platte zum booten 4x St31000340NS fuer raidz an den besagten schwarzen anschluessen.

ich habe den eindruck das das board besser reagiert wenn man das hyperthreading abschaltet.

kann das mal jemand verifizieren auf einem atom board?

holger

ps. via nfs , ohne irgendwelche tweaks , 65 - 70 MB/s uebertagunsrate bei einer
700GB datei.

holger
 
So, habe mir die Sache mal zusammen gebaut. Das Board ist ein Super Micro X7SPE-H-D525 und die HDs sind Western Digital RE4-GP, 64MB, 2TB. Zum testen habe ich mal FreeNAS 8.0.3 genommen, um nicht lange mit Installationszeit zu vergeuden.

Ich komme jedoch nur auf knappe 20-30MB/s Lese- und Schreibgeschwindgikeit via NFS. Ueberwältigend ist es nicht.

Die Disks sind 512Sektoren, also an dem 4k-Problem sollte es nicht liegen.


Bin irgendwie etwas entäuscht :P
 
hi

wie sind sie platten zusammen gefast ?
mit nfs und atom komme ich mit freebsd9 auf rund 65-70 MB/s
und mit freebsd8 sollte das nicht wesentlich anders sein.

wobei ich nur ein raidz verwendet habe ....

holger
 
hi

fuer nfs nein .

hm eigentlich nicht aber du kannst bei 4 GB das prefetching ruhig aktivieren ,
ich denke zz sagt er das es abgeschaltet wurde.

das meiste kannst du hier entnehmen
http://wiki.freebsd.org/ZFSTuningGuide

und nochwas meine werte sind die die der mc rauswirft wenn du z.b. eine datei kopierst .
mc = midnight Commander

als ggf pkg_add -r mc machen ;)

holger
 
Zuletzt bearbeitet:
Hi.

Ok. Ich werde mal Current installieren. Dauert halt eine Weile. Werde dann mit den Tuning Optionen spielen, und kucken ob ich es auf was anständiges hochkriege.

Ich werde mich wieder melden, sobald es so weit ist.

Danke schonmal.

mfg Tobias
 
Diese Tuning Parameter beziehen sich eigentlich auf FreeBSD 7 und sollten weitgehend seit 8 nichtmehr notwendig sein.
 
hi

jein , es gibt schon 1 -2 hinweise die auch auf fbsd 9 andwendbar sind.

gerade die unglueckliche abschaltung des prefetching bei einer maschine die 4GB -
ram fuer onboard graka dort zu finden.

holger
 
Hi.

So, installiert wäre es.

Wenn ich Dateien auf den NAS kopiere (rsync) habe ich diesen output
Code:
 zpool iostat 1
               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
zroot        775G  10.1T      5    162  7.83K  17.2M
zroot        775G  10.1T     20    837  28.8K  73.0M
zroot        775G  10.1T      0      0      0      0
zroot        775G  10.1T      0      0      0      0
zroot        775G  10.1T      0      0      0      0
zroot        775G  10.1T      0    185      0  19.7M
zroot        775G  10.1T     10    744  14.4K  66.3M
zroot        775G  10.1T      0      0      0      0
zroot        775G  10.1T      2      0  7.98K      0
zroot        775G  10.1T      0      0      0      0
zroot        775G  10.1T      0    148      0  18.3M
zroot        775G  10.1T      3    655  8.97K  67.8M
[etc]


Vergleichsweise (~150MB/s):
Code:
data /home/Tobias % dd if=/dev/zero of=./ddfile bs=64k count=20000
20000+0 records in
20000+0 records out
1310720000 bytes transferred in 8.741467 secs (149942796 bytes/sec)

data /home/Tobias % dd if=/dev/zero of=./ddfile bs=128k count=20000
20000+0 records in
20000+0 records out
2621440000 bytes transferred in 16.716265 secs (156819721 bytes/sec)

data /home/Tobias % dd if=/dev/zero of=./ddfile bs=1024k count=2000
2000+0 records in
2000+0 records out
2097152000 bytes transferred in 13.557294 secs (154688098 bytes/sec)

data /home/Tobias % dd if=/dev/zero of=./ddfile bs=2048k count=2000
2000+0 records in
2000+0 records out
4194304000 bytes transferred in 28.374916 secs (147817318 bytes/sec)
Scheint ja eingermassen ok, aber mit kleinen bröcklein brichts ein (~20MB/s):
Code:
dd if=/dev/zero of=./ddfile bs=1000 count=200000
200000+0 records in
200000+0 records out
200000000 bytes transferred in 8.671140 secs (23065018 bytes/sec)

Kopiere ich eine Datei in mc, komme ich auf ~37MB/s.


mfg Tobias
 
hi

also das mit den kleinen dateien ist aber normal , selbst auf einer
lokalen platte wird dann nicht die volle speed erreicht .

wenn man mit vielen kleinen dateien haeuft arbeitet sollte man ueberlegen
ob man nicht mit einem raid1 bzw raid10 besser faehrt .
gerade mit zfs kann man schoene kombis machen z.b. 3x mirror in einem tank
wo dann zfs wunderbar alles ios striped .

wobel ich , wenn nfs , 37mb etwawenig empfinde ich habe so um die 65 MB/s
mit mc gemessen bei dateigroessen von 2-4 GB pro file.

im mix kam ich auf 25MB/s sprich viele ,kleine , mittlere und einige grosse files.

auch mit mc ( durchschittswert )

holger

holger
 
Hi

Das dd war lokal.

Von meinen jetztigen Systemen kam ich via NFS auch nie über 40MB/s. Vondaher wäre ich mit ~40MB/s eigentlich schon recht zufrieden, da es dann kein Rückschritt wäre.

Mal etwas mit den Optionen spielen, und kucken, ob noch etwas mehr rauskommt.

Nachtrag: Die 37MB/s scheinen ein Fluke gewesen zu sein. Er pendelt sich auch bei grösseren Dateien (>2GB) bei ca 25 ein.

mfg Tobias
 
Zuletzt bearbeitet:
hi

bedenke bei nfs spielt auch eine rolle wie schnell di localer rechner schreiben bzw lesen
kann.

holger
 
Grade mal kurz getestet, was die read-geschwindigkeit lokal auf dem PC und als NFS-gemounted am NAS ist. Also PC->NAS.
Lokal hatte ich eine lese Geschwindigkeit von ca 100MB/s, von der NFS-Share ca 49MB/s.

Sollte ich also erstmal versuchen NFS zu optimieren?


mfg Tobias
 
Zurück
Oben