große Geschwindigkeitsunterschiede zwischen ZFS und gstripe

dark_angel

Well-Known Member
Hi all,

ich habe ein größeres Problem mit ZFS auf einer VM unter ESXi5.1. Durch die Limitierung der Festplattengröße von 2TB habe ich mich für einen zpool aus mehreren Platten entschieden. Jedoch komme ich schreibend nicht auf mehr als 5MB/s. Ein gstripe kommt auf ca 12MB/s, eine einzelne Platte auf ca 16MB/s.
Lesend habe ich gute Geschwindigkeiten.

Der ESX Storage ist ein RAID5 mit einem PERC 5/i Controller. Platten sind WD Green und WD Reds. Getestet habe ich mittels dd. Auch wenn dd kein benchmarking Tool ist sollte es doch keine so große Unterschiede zwischen ZFS und gstripe geben. Ist ZFS grundsätzlich nicht in einer VM Umgebung zu nutzen oder habe ich hier ein anderes Problem?
Ich will keine 100MB oder mehr schreibend haben, aber zumindest sollte ZFS nicht soo langsam sein.

Hier sind die einzelnen Befehle, die ich genutzt habe:
Benchmark: dd if=/dev/zero of=/zfs|ufs|gstripe/test bs=1k count=1000000
Zpool: zpool create zfs gpt/zhdd0 gpt/zhdd1
Gstripe: gstripe label -v st0 /dev/da4 /dev/da6

Die VM hat folgende HW Eigenschaften:
2vCPUs
4GB RAM

Ich hoffe jemand kann mich erleuchten.

LG
Chris
 
Nullen zu schreiben ist glaube ich nicht so representativ, schreib lieber vorher eine 1GB-datei aus /dev/random, leg die in einem tmpfs ab (also im RAM) und mach dann ein
Code:
time cp /tmp/foo /zfs/
 
Naja solange du nicht dedup oder compression aktivierst ist Nullen schreiben auf Platten schon in Ordnung.
 
Ne dedup und compression habe ich aus. Wenn die an sind, dann habe ich n deutlichen Anstieg der Schreibrate.

Ich hab mich mal mit nem Freund unterhalten und der meinte, dass ich da höchstwahrscheinlich auf ein alignment-Problem der HDDs im RAID5 stoße und UFS durch geringere IO-Last da noch i.O. ist, aber ZFS mit ner höheren IO-Last das ganze nach unten reißt.
Ich muss mal schauen, ob der PERC 5 da überhaupt ne Möglichkeit bietet das alignment zu beeinflussen. So wie ichs im Kopf habe kann man nur die stripe-size ändern.
 
Hi,
die ganze Konstruktion hört sich sehr abenteuerlich an. Vielleicht solltest Du mal entsthaft im Vorfeld über die Anforderung und den Hauptverwendungszweck Deines Systems nochmals nachdenken. Folgende Punkte sehe ich hier besonders fragwürdig:
- Raid Level 5 - warum nicht 50 oder 60 oder so ? - oder hd direct pass through und zfs raid
- Raid durchreichen an VM und ZFS drauf - wofür wtf ?
- 2 TB pro virtual HD - warum diese Größe - das hört sich nicht sonderlich übärlegt an
- warum nur 4 GB RAM in der VM - erscheint mir bärig extrem wenig

Vorschlag I des Bären:
- Raid 60 unten drunter
- VM mit UFS2
- 8 GB RAM in der VM

Vorschlag II des Bären:
- HD direct pass through in die VM schleifen (z.B. 6 Stück à 1 TB)
- ZFS raidz in der VM
- 16 GB RAM in der VM

Vorschlag III des Bären:
- Anwendungszwecks / Hauptververndungszweck darlegen
- Systemresourcen darlegen
-> wir hirnen mit und schlagen eine bessere Lösung gemeinsam dann ggf. vor

Gruß Bummibär
 
Hi Brummibaer,

zuerst sry, wegen der späten Antwort, aber hatte mit Jobsuche viel um die Ohren.

Der Verwendungszweck des Servers ist n Homeserver, dieser macht bei mir Mail, Web, Datenbank, VPN etc. Mitunter auch samba shares und DLNA.
Passthrough geht leider wegen dem PERC5/i nicht, da ich VT-d ausschalten muss, um diesen zu betreiben.
RAID6 kann dieser nicht, sondern nur 0,1,5,10,50. Habe RAID5 wegen des hohen netto-Speicherplatzes gewählt. Es sind 6 2TB Platten (WD Red) angeschlossen. 5 Platten im RAID5 und eine als Hotspare.
Habe ZFS gewählt, da ich dort den Pool schnell mit ner weiteren vHD erweitern kann, wenn ich im samba share mehr Platz benötige.
Die 2TB vHD Größe ist die maximale vHD Größe, deswegen habe ich diese gewählt.
Nur 4GB RAM habe ich gewählt, da das Hostsystem nur 16GB RAM hat.

Die Samba VM soll nun zuerst 4TB an Speicherplatz in 6 shares bereitstellen und je nach Datenaufkommen auf bis zu 8TB erweiterbar sein. Dabei wäre mir lieb, wenn ich mit mind. 15MB schreiben und 100MB lesen kann.


LG
Chris
 
Hoi,
schau Dir mal an ob die HDDs mit 512 Bytes oder mit 4K sans. Evtl. hast Du da noch ein Problem.
Die WD RED machen mir in dem Konzept etwas Bauchschmerzen. Hast Du von denen schon mal ein Performance Benchmark gemacht wenn sie im RAID Level 5 rennen ?
Gruß Bummibär
 
Hatte die vorher in nem raidz1 in nem anderen server (atomplattform) am laufen. Dort haben die 10MB/s gemacht. Es sind Platten, die intern mit 4k arbeiten und sich mit 512 am System melden. Das RAID hat ne stripesize von 128k.
Ich finds halt komisch, dass UFS akzeptable Geschwindigkeiten liefert und ZFS so einbricht.
 
Zurück
Oben