FreeNAS - Kennt ihr große Installationen?

bananenBrot

Well-Known Member
Hi!
Ich soll aktuell prüfen, ob sich FreeNAS für etwas größere Installationen eignen würde.
Derzeit verwenden wir mehrere NetApp Storage Systeme mit insgesamt knapp 600 TB. Grundlegend wird hier nur NFS und iSCSI benötigt, im Prinzip dienen diese Datenspeicher hauptsächlich als Datastore für vSphere Server.
Jetzt die Frage: Wisst ihr von größeren Installationen bei denen FreeNAS im Einsatz ist?

Danke!
 

foxit

Well-Known Member
Auf der Homepage von FreeNAS [1] gibt es Hardware für über 4PB an Daten. Daher sollte das klar machbar sein. Die Frage ist doch eher wie mache ich das Ausfallsicher im Sinne von HA? Sprich Dual Controller/Mainboard. Da sind SAN oder auch NetApp Systeme einfach besser aufgestellt, meiner Meinung.

[1] http://www.freenas.org/freenas-certified-servers/
 

mr44er

moderater Moderator
Teammitglied
Ich war mir jetzt fast sicher, dass backblaze BSD auf ihren Pods einsetzt...aber ich konnte auf die Schnelle nur rausfinden, dass sie Linux nutzen.

Ich kenne FreeNAS nicht, habe immer nas4free bevorzugt. ZFS geht auf weit mehr als 600TB, von daher meine ich, dass es keine Probleme geben sollte. Falls euch der gekaufte Support wichtig ist, dann besser mal im FreeNAS-Forum fragen.

Bauchgefühlig wäre mir persönlich da aber ein 'nicht-mod-BSD' lieber, ohne Support.
 

derOliver

Systemheld
Allein schon was den Support angeht würde ich bei NetApp bleiben. Da tut sich der VMware Support auch schwerer es auf die andere Seite zu schieben („der Fehler liegt an ihrem Storage, fragen Sie beim Hersteller nach“).
Und ein HA Paar mit ZFS in der Größenordnung zu bauen und verlässlich zu betreiben ist auch nicht ohne.
 

Illuminatus

in geheimer Mission
Wenn es wirklich groß und unternehmenskritisch ist, muss Hochverfügbarkeit und Support greifbar sein. Es sei denn du und deine Urlaubsvertretungen machen selbst den 24/7 mit 1h Reaktionszeit. Daher würde ich auch zu TrueNAS anstelle von FreeNAS raten. Soll das Storage jedoch bewusst auf x86 Hardware von der Stange laufen, kann man sich Gedanken über GlusterFS von RedHat machen https://www.redhat.com/de/technologies/storage/gluster
 

turrican

Well-Known Member
mal anders rum gefragt: Was versprecht ihr euch vom Austausch "NetApp" mit "FreeNAS auf Commodity Hardware"?
Für iscsi/NFS-Ersatz kannst die billigste Dell PE mit CentOS drauf nehmen, läuft;
 

turrican

Well-Known Member
Nicht dass ich wüsste (ausser halt die Bastelei mit Linux-Fuse-Mod) - beim OP hiess es aber auch nur iscsi/NFS.

ZFS kann ne NetApp aber auch ned :)
 

thorwin

Well-Known Member
Da ging es jetzt aber um die interne Anbindung des Storage, oder? Das hat ja erst mal nix damit zu tun, was man "nach vorne raus" liefert. Oder hab ich das jetzt total falsch verstanden?

Aber ZFS mit Linux taugt wirklich nur zum ausprobieren...
 

turrican

Well-Known Member
du kannst ja z.B ne DELL PE mit >20 Platten ausstatten, quasi Server und Disk-Shelf in einem; dann Linux (oder BSD) drauf - und Plattenplatz per ISCSI/NFS rausgeben

BSD wäre halt wg ZFS eleganter als Linux, deswegen meinte der OP vermutlich auch FreeNAS...

Die Frage wäre, warum er NetApp durch FreeNAS ersetzen wollte
 

foxit

Well-Known Member
CentOS bietet aber kein (performantes) ZFS, oder?
Doch mit ZFS on Linux [1] gibt es keine Performance-Unterschiede zu FreeBSD oder SmartOS.
Nicht dass ich wüsste (ausser halt die Bastelei mit Linux-Fuse-Mod)
Aber ZFS mit Linux taugt wirklich nur zum ausprobieren...
Ich kann das so nicht stehen lassen, weil diese Aussagen einfach falsch sind. Sorry. Mit dem ZoL Projekt, welches ja Teil von OpenZFS [2] ist, gibt es auch unter Linux eine brauchbare ZFS Integration. Diese ist z.B. bei Ubuntu 16.04 in der Default Installation vorhanden. Pakete um ZFS zu nutzen, gibt es fast für jede Linux Dist.

[1] http://zfsonlinux.org/
[2] https://en.wikipedia.org/wiki/OpenZFS
 

Yamagi

Possessed With Psi Powers
Teammitglied
Also, FreeBSD bildet nun ja schon lange - sicher an die 20 Jahre - die Grundlage für mehrere weit verbreitete, kommerzielle Storage-Produkte. Unter anderem NetApp und EMC Isilon basieren auf FreeBSD Nach FreeBSD 8.0 begann man mit Hilfe einiger dieser kommerziellen Anbieter FreeBSDs eigenen Storage-Stack deutlich zu verbessern und seit etwa FreeBSD 10.0 muss man sich auch nicht mehr hinter Linux verstecken. Mit GEOM gibt es ein entsprechend performantes Framework, mit CAM einen sehr reifen Stack für S-ATA, SAS und NVME. Der ganze Middleware-Kram wie iSCSI, OFED und co. wird unterstützt. Und oben drauf ZFS. Und ja, man kann darauf mit ein wenig Hirnschmalz sehr große, (hoch)verfügbare Storage-Systeme bauen. Die Frage ist eher, ob man das will, denn das ist ein komplexes Thema mit vielen Fallstricken und bei Problemen hängt der eigene Hintern im Kugelhagel.

Und dann sind wir bei den beiden Schwestern FreeNAS und TrueNAS. FreeNAS ist eine reine Softwarelösung, für die Hardware sorgt man selbst. Allerdings gibt es inzwischen Angebote aus fertig konfigurierter Hardware, die direkt mit FreeNAS vorinstalliert kommt. TrueNAS sind fertige Storage Appliances von iX Systems, auf denen eine (leicht) angepasste Version von FreeNAS läuft. In ihren Möglichkeiten sind beide Lösungen in etwa gleich, FreeNAS bietet anders als TrueNAS allerdings kein Clustering und damit auch kein High Availability. Außerdem gibt es für TrueNAS Enterprise Support und das Ding ist für diverse Einsatzzwecke (u.a. VMWare) zertifiziert.

Letztendlich kommt es halt drauf an, welche Ziele man erreichen will und wie viel Budget zur Verfügung steht. Mit allen 3 Lösungen - FreeBSD selbst, FreeNAS und TrueNAS - kann man sehr große Storage Arrays bauen. TrueNAS skaliert im Moment bis zu etwa 5 Petabyte.
 

turrican

Well-Known Member
@foxit - interessant, so hab ich das noch gar nicht gesehen. War/ist das produktiv stabil im Einsatz? Mir flogen mal ein paar Installationen von ZoL (gut, war immer das gleiche Produkt) um die Ohren, deswegen hatt ich das nie mehr verwendet (seit 2017), geschweige denn im Unternehmensumfeld. Als stabil "empfand" ich ZFS nur unter Solaris (klar) und FreeBSD (FreeNAS).

@Yamagi - full ack

@bananenBrot - ne NetApp kann man eigentlich nur durch eins ersetzen - ne neue NetApp :)
 

bananenBrot

Well-Known Member
Letztendlich geht es um die Kosten.
Wer NetApp kennt weiß, wie unglaublich viel Geld das Zeug kostet, wenn man Support will. Bis auf einen einzigen Festplattenausfall hatten wir den Support nie in Anspruch genommen.
 

Yamagi

Possessed With Psi Powers
Teammitglied
In dem Fall frag doch mal bei iX System ein Pi mal Daumen Angebot für TrueNAS an: https://www.ixsystems.com/truenas/ Sie sind (deutlich) günstiger als NetApp, was zugegeben auch nicht schwer ist und bieten kommerziellen Support. Und fragen kostet nichts.
 
Man sollte eventuell betrachten ob man in Zukunft weiter rein Blockstorage machen will oder nicht und eventuell über Object Storage nachdenken sollte.

Stickwort: CEPH.
Ceph kann auch Blockstorage und kann mittels ISCSI.

Ceph unter FreeBSD ist aber noch sehr Akademisch.
 

fpbenke

New Member
Hallo zusammen,

dann melde ich mich mal als der Autor des Artikels zwei Postings zuvor einmal zurück und ergänze mal um zwei bis drei Erfahrungen seither.
Wir haben:

1.) die oben vorgestellte Installation mittlerweile 6 mal gemacht und bewegen uns in der Größenordnung 1.5 Petabyte. Das läuft ziemlich lange ziemlich gut - man muss irgendwann mal auf die CPU Last in Abhängigkeit von IOs achten, sonst fliegt's einem um die Ohren - und die ist im Gegensatz zu den anderen eher leicht zu managenden Ressourcen nicht ganz so offensichtlich wie das auf den ersten Blick scheint. Die größten HA Cluster Hyperconverged stellen gerade 400TB am Stück zur Verfügung.
2.) Die Lösung skaliert und alle Aspekte die wir uns in Hinblick auf individuell zu erweiternden Kapazitäten / Ressourcen überlegt haben funktioniert gut. Auch das Szenario Pools zu exportieren, woanders zu importieren, einzelne Systeme dann wieder auf zu splitten auf mehrere Instanzen und das im laufenden Betrieb mit dem Hersteller um zu lizensieren funktioniert ebenfalls gut. Migrationslizenzen gab's per tTcket.
3.) Die Akquise von Nexenta durch DDN und die Verschmelzung mit Tintri macht hier Sorgen - Nexenta ist mit Version 5.3. am Ende und das ist nicht wirklich gut.
4.) Wir haben auf Grund dieser Erfahrungen mit einem AllFlash Storage auf Basis von PCI 4.0 geliebäugelt und landeten damit dann zwangsläufig auf einer AMD EPYC CPU. Darauf haben wir so ziemlich jede Variante von Software Defined Storage / Linux / BSD / VMWare mit SD Storage in VM installiert derer wir habhaft werden konnten und tatsächlich hat die Kombination AMD/NVMe (auch auf zwei verschiedenen namhaften Server Herstellern) in sehr vielen Varianten Schmerzen bereitet und war im Zweifel gar nicht erst zu installieren - mit Nexenta leider überhaupt nicht.
5.) Mit FreeNAS wurden wir da fündig - und zwar sowohl baremetal als auch hyperconverged auf einer Installation in VMWare. Mittlerweile ist dort ja die Community Variante bei "TrueNAS Core 12.0" die wir abschliessend für gut befunden haben und in FIO
6.) Beide Konstellationen sind jetzt Produktiv allerdings in AllFlash mit nicht ganz die Speichermengen, welche in den anderen Clustern unterwegs sind.

7.) Das Thema in der Aktuellen Situation ist, dass wir aus den AMD/NVMe Systemen keine HA Cluster konfigurationen hin kriegen - deswegen bin ich hier unterwegs.

Gruß F.
 

bsd4me

Well-Known Member
Danke für die Antwort - ich selber nutze auch FreeBSD (privat ganz und viel auf der Arbeit). An diese Datenmengen komme ich noch nicht, aber etwas mehr als 100TB haben wir schon. Mich persönlich würde MooseFS (oder etwa LizardFS) besonders interessieren. Vor Jahren hatte ich mit MooseFS Tests gemacht und fand es sehr brauchbar :) Viel einfacher zu konfigurieren als GlusterFS. Leider haben wir keine Mittel genügend Storage Rechner zu kaufen... Sonst würde ich das MooseFS gerne nutzen :) VG Norbert
 

Azazyel

Well-Known Member
Man sollte eventuell betrachten ob man in Zukunft weiter rein Blockstorage machen will oder nicht und eventuell über Object Storage nachdenken sollte.

Sofern der jeweilige Anwendungsfall damit umgehen kann, ist es definitiv anzuraten. Man vermeidet (nicht nur) bei der Skalierung viele Schmerzen.

Wir haben auf Grund dieser Erfahrungen mit einem AllFlash Storage auf Basis von PCI 4.0 geliebäugelt und landeten damit dann zwangsläufig auf einer AMD EPYC CPU. Darauf haben wir so ziemlich jede Variante von Software Defined Storage / Linux / BSD / VMWare mit SD Storage in VM installiert derer wir habhaft werden konnten und tatsächlich hat die Kombination AMD/NVMe (auch auf zwei verschiedenen namhaften Server Herstellern) in sehr vielen Varianten Schmerzen bereitet und war im Zweifel gar nicht erst zu installieren - mit Nexenta leider überhaupt nicht.

Währst du so frei und könntest das Fehlerbild etwas ausführen? Ich habe noch einen Altkunden mit - in seinem Fall unangebrachter - Vorliebe für eigenes Blech, bei dem ein größeres Upgrade ansteht.
 
Oben