ZFS Nas für Heimgebrauch

Dieses Thema im Forum "FreeBSD - Allgemein" wurde erstellt von unull, 28 April 2012.

  1. unull

    unull Nervensäge

    Registriert seit:
    28 Februar 2005
    Beiträge:
    147
    Ort:
    ::1
    Hallo zusammen,

    ich würde gerne mein Qnap-Nas durch einen Eigenbau ersetzen. Zum Einsatz soll entweder FreeNAS oder FreeBSD kommen und ich würde gerne ein paar Meinungen zur Hardware hören ;)

    Ich denke da momentan an folgendes:


    Nachdem ich ein wenig im ZFS Best Practices Guide herumgelesen habe, würde ich bei ZFS zu zwei Mirrors tendieren und Raid-Z wohl eher nicht wollen. Oder täusche ich mich da?

    Das Gerät sollte im wesentlichen drei Clients bedienen, meinen PC, den Laptop meiner Freundin und unseren HTPC (Filme via NFS). Ich hätte schon gerne, dass man die Gigabit-Leitung möglichst gut ausnutzt, damit das Kopieren (Backups etc.) nicht so ewig dauert. Daher auch mein Griff zu einem i3.

    Wäre es evtl. sinnvoller, das Betriebssystem seperate, also auf einer SD-Karte oder sowas, zu installieren, oder soll ich das mit auf den ZFS-Pool packen?
  2. solarix

    solarix Konsolenpenner

    Registriert seit:
    17 Juni 2004
    Beiträge:
    348
    Ort:
    Kuchen (Fils)
    Also grundsätzlich würd ich auch zu Spiegeln respektive Mirrors raten. Man hat da zwar den größten Verschnitt, aber im Zweifelsfall auch die allerwenigsten Schmerzen.

    Das Betriebsystem lass ich auf den Platten, sollte es mal Probleme geben hab ich noch einen Bootstick für Notfälle rum liegen. Mein Konstrukt ist ja jetzt etwas älter, aber ich hab es seinerzeit mit einem popligen ATOM aufgesetzt und für meine Bedürfnisse zuhause reicht das bisher immer noch. Vier Clients werden damit ganz gut bedient. Aber es funktioniert bei mir eben als reines Datengrab, bzw. Bacula als Backupsystem in einer Zone.

    Ich denk da hast Du was Hardware angeht kein Bottleneck.
  3. Crest

    Crest rm -rf /*

    Registriert seit:
    25 Juni 2008
    Beiträge:
    1.307
    Ort:
    /dev/random
    Privat würde ich solange kein GELI gewünscht ist kleineres nehmen. Ich bin mit meinem HP N36L sehr zufrieden. Allerdings macht die CPU bei 45MiB/s mit GELI und RAID-Z1 dicht. Ohne GELI unterhalb des ZFS macht er als FTP/HTTP/NFSv3 Server das Gigabit Ethernet dicht. Ein privates NAS mit 3 bis 5 Platten ist mit einem Pool aus einem RAID-Z1 gut ausgestattet. Dort braucht man keine >200 IOPS random read/write. Das schöne an den HP N36L und N40L ist das sie nicht nur günstig sind sondern auch ECC RAM und IPMI unterstützen. Das möchte man nicht missen, wenn man es mal hatte. Der N40L ist bei reichelt.de derzeit billiger als nen Atom basiertes System selbst zu bauen sofern man kein Schrottgehäuse und Netzteil verbauen will.

    Intel Core i3/i5 sind natürlich deutlich schneller als nen 1.5 GHz dual-core AMD K10. AES-NI ist insb. für GELI nützlich. Beim memcpy() und fletcher4() ist der N40L allerdings auch schnell genug.
  4. unull

    unull Nervensäge

    Registriert seit:
    28 Februar 2005
    Beiträge:
    147
    Ort:
    ::1
    Danke für den Input, Crest. Die HP-Teile sehen durchaus interessant aus, aber preislich kommt das ohne Platten ca. aufs gleiche Raus wie mit dem i3 (Gehäuse ~150, i3 + Mainboard ca. 200). Dann würde ich wohl doch zum i3 tendieren, mehr Boom for the bang sozusagen.

    Ich habe auch ein Mini-ITX Board von Intel mit ECC gefunden, dass durchaus erschwinglich ist.
  5. Columbo0815

    Columbo0815 Kaffeemann

    Registriert seit:
    27 April 2007
    Beiträge:
    1.268
    Darf man fragen welches?
  6. unull

    unull Nervensäge

    Registriert seit:
    28 Februar 2005
    Beiträge:
    147
    Ort:
    ::1
    Klar, dieses hier
  7. pit234a

    pit234a Active Member

    Registriert seit:
    8 Juli 2006
    Beiträge:
    1.703
    meist traue ich mich gar nicht, solche Anfragen zu beantworten, weil ich mit meinem Basis-Wissen doch oft den Ansprüchen gar nicht genügen kann. Einen NAS selbst bauen?
    Nun, aus solchen Gründen hatte ich mir einen Thecus gekauft und der war teuer. Er hatte vier oder fünf Platten drin und startete ein embedded Linux (busybox/Linux, what else?) und brachte damit die Platten zu einem SW Raid5, bei dem nicht viel einstellbar war. Eigentlich aus Anwendersicht gar nichts und ich konnte die von mir gewünschte Filestruktur zum Export auch nur herstellen, weil ich da ein par zusätzliche Werkzeuge installierte, die mir dann Zugriff über ssh erlaubten. Trotzdem blieb es immer Flickwerk und es geriet zu dem Punkt, dass mir bewusst wurde, was ich will, kostet mehr Änderungszeit an diesem festen und verbackenen System, als wenn ich einen NAS mit FreeBSD selbst baue und gleich das einrichte, was mir sinnvoll erschien.
    Das ist ein wichtiger Punkt!
    Die Macher des Thecus hatten einige Punkte bedacht, auf die ich keinen Wert legte. Zum Teil verstand ich die aber auch gar nicht und war nicht sensibilisiert für die Problemstellung.
    Die Macher von FreeNAS halten auch einige Punkte für wichtiger, als ich das tue und finden Lösungen für Probleme, die ich nicht habe, oder besser gesagt, nicht kenne, weil ich einfach nicht die gleiche Kompetenz habe.
    Das schicke ich nun deshalb vorweg, um eine Grenze zwischen meinen Basteleien und den bereits vorhanden Lösungen zu zeigen. Niemals würde ich auf den Gedanken kommen, mein Server sei irgendwie besser.

    Trotzdem kann er das, was ich wollte und das kann er auch ganz gut und er läuft unglaublich stabil. Es gab bisher nur zwei "Aussetzer", die ich nicht auf HW-Fehler zurückführen konnte und beide traten nach Gewittern mit Stromausfall auf. Der Server hängt an einer USV und ist aber nicht intelligent an diese angeschlossen. Wir haben häufig Stromausfall und in der Regel übersteht das der Server vollkommen problemlos. Bei den beiden erfahrenen Problemen hatte er auch funktioniert, aber irgendwie unzuverlässig reagiert und wurde auch immer langsamer. Ich konnte ihn nicht mehr per ssh erreichen und sah mich daher gezwungen, einen Powerdown per Einschalter zu aktivieren. Nach Neustart funktionierte die Kiste dann wieder. Es fehlt mir auch die Kompetenz, entsprechende Logs auswerten zu können und deshalb habe ich die auch ganz ausgeschaltet. Ich weiß nicht, was da passiert war und kann es mir auch nicht erklären. Diese Art Ausfälle ist weniger als einmal pro Jahr, ich suche nach möglichen Ursachen auch gar nicht erst.
    Der Server ist ein:
    Extended brand string: "Intel(R) Core(TM)2 Duo CPU E8400 @ 3.00GHz"
    mit
    mem_all: = 4138110976 ( 3946MB) [100%] Total real memory managed
    und es laufen fünf SATA-Platten in einem raidZ mit ZFS und die laufen auch dauernd.
    Angeschlossen sind mehrere Sat-receiver über NFS und eine Reihe PCs, meist Macs über AFP, aber es gibt auch SAMBA-Shares und ftp. Insgesamt etwa 30 clients auf fünf User verteilt. Die User hören Musik, shen Filme und speichern ihre Daten.
    Viel mehr macht dieser NAS nicht. Er liefert noch einen ntp-server, alles andere, was ich mal vor hatte, war mir schließlich zu viel geworden.
    Der Server läuft auf FreeBSD7.4 und das startet von einem USB-Stick und alle Verzeichnisse, in die geschrieben wird (etwa der spool des Printservers) liegen auf dem raid und nicht auf dem Stick. Der Stick ist nach dem Booten quasi in Ruhe. Ein Ersatz stick liegt bereit und damit kann das gleiche System im Bedarf gebootet werden. Der raid und alle EInstellungen sind darauf vorhanden.

    Das ist nun wieder zu lang geworden.
    Zusammenfassend:
    für mich war es eine deutliche Verbesserung gegenüber einem kommerziellen Produkt, selbst einen NAS zu bauen, der das macht, was ich will und über ssh zu erreichen ist. Dabei hatte ich nicht den Anspruch, ein absolut sicheres Produkt für die Vermarktung anzubieten.
    Manche Dinge habe ich nie versucht und manchmal scheiterte ich. Mein Ehrgeiz dabei hielt sich in Grenzen. So schaffte ich es nie, die Festplatten auch schlafen zu schicken um so Strom zu sparen. Mein Server ist allzeit bereit und leistet mehr, als der Thecus, aber er verbraucht auch deutlich mehr Strom. Allerdings ist er leiser!

    Was das Ansehen von Filmen anbelangt, hängt das natürlich von der Datenrate und der Netzwerkqualität ab. Meine SAT-receiver haben nur eine 100MB Nic und einer hat sogar nur eine 10MB Nic und das langt, um digitales SAT-TV zu sehen und aufzunehmen. HD-TV ist gleich eine ganz andere Liga! Während es bei "standard" Qualität problemlos gelingt, drei bis vier Filme aufzunehmen und gleichzeitig einen anderen zu sehen, kann ein einziger HD-TV Film schon die Bandbreite komplett belegen und andere Clients zum Ruckeln bringen. Der Engpass ist das Netz, nicht der Server und 1000MB Netz bringt gegenüber 100MB nicht gleich zehnfache Bandbreite, entschärft aber die Situation doch deutlich. Der Server sollte also GB-LAN haben (ist aber wohl heute eh Standard).
  8. unull

    unull Nervensäge

    Registriert seit:
    28 Februar 2005
    Beiträge:
    147
    Ort:
    ::1
    Ich hätte auch noch ne alte 40GB SSD rumliegen (Intel 320). Ob man beide ZFS Caches dort gewinnbringend unterbringen könnte?
  9. Yamagi

    Yamagi Possessed With Psi Powers Mitarbeiter

    Registriert seit:
    14 April 2004
    Beiträge:
    7.371
    Ort:
    Schleswig-Holstein
  10. unull

    unull Nervensäge

    Registriert seit:
    28 Februar 2005
    Beiträge:
    147
    Ort:
    ::1
    Ok, wie wuerde ich den Platz zwischen ZIL und L2ARC am besten aufteilen? Ich wuerde auch noch Swap auf die SSD packen, ich denke da sollten 8GB genügen.

    Gerade http://www.bsdforen.de/showpost.php?p=239160&postcount=10 gesehen, also in deinem Fall 4 GB ZIL und 16GB L2ARC. Mit 16GB Swap ist die Frage dann somit beantwortet ;)
  11. Yamagi

    Yamagi Possessed With Psi Powers Mitarbeiter

    Registriert seit:
    14 April 2004
    Beiträge:
    7.371
    Ort:
    Schleswig-Holstein
    Wie groß die ZIL sein muss, hängt einzig und allein von den Mengen der Metadatenoperationen ab. Laut Sun sollen bereits 1GB in fast allen Fällen völlig ausreichend sein, was ich so auch bestätigen kann. Aber viel hilft halt viel und lieber ein paar Gigabyte vergeudet, als Probleme. Gerade, da sich solche Probleme ja grundsätzlich Nachts äußern... :)

    Beim ARC gilt ebenfalls, dass mehr besser ist und die benötigte Menge hauptsächlich vom Datendurchsatz abhängt. Aber 8GB sollten eigentlich in jedem Fall ausreichend, wenn man knapp an Platz ist tun es auch 4 oder noch weniger.
  12. mark05

    mark05 Member

    Registriert seit:
    19 November 2003
    Beiträge:
    666
    Ort:
    Bergisch Gladbach
    hi

    ein kleiner tip am rande , es mach sinn ca 10% der ssd nicht zu verwenden wenn kein trim
    vorhanden ist ( was bei zfs ja leider der fall ist ).

    somit kann die ssd dann selber drum kuemmern.

    holger