File Server für Filmschnitte

lockdoc

lockdoc

Well-Known Member
Hallo,

ich wurde gebeten eine Recherche bezgl. eines File-Servers inkl. Netzwerk für eine TV-Firma zu machen. 4 MA sollen von ihren Client Computern Filme direkt über Samba auf dem File-Server schneiden können. Dass heisst, dieser sollte dementsprechend schnell die Daten übers Netzwerk bereitstellen können.
Da die Filme recht groß sind stellt sich natürlich die Frage, ob ein Gigabit-Netzwerk ausreichend ist, oder ob man gleich was mit Glasfaser machen sollte.

Hat Jemand nützliche Informationen über File-Server oder ähnliches schon gemacht.
Wäre LWL oder Ethernet empfehlenswert, so dass man ohne Verzögerung übers Netzwerk schneiden kann. Welche Hardware würdet ihr für den Fileserver empfehlen?
 
Um was für ein Filmmaterial handelt es sich denn? Auflösung, Datenrate? Wie groß sind denn "typische" Filmstücke, die so bearbeitet werden? Entsprechend lässt sich dann erst sagen, welcher Durchsatz nötig ist.
Ich vermute aber das Gigabit Kupferethernet noch ausreichend sein sollte für deinen Zweck. Evtl. vom Server zum Switch Port-Trunking (Was natürlich der Switch unterstützen muss) um allen Nutzern gleichzeitig eine höhere Bandbreite zur Verfügung stellen zu können.

Entsprechend des Datenvolumens wirds dann nämlich auch interessant wie viel Platz der Server benötigen wird, welches Raid dann zu empfehlen wäre und an wievielen Daten überhaupt auch real gearbeitet wird und für wieviele Daten man letztlich nur "Archivspeicher" benötigt.

Dein Problem wird eher sein, gewisse Komponenten so abzugleichen und zu konfigurieren, das du letztlich auch die volle Datenrate erreichst. Beim zusammenkaufen entsprechender Hardware welche es auf dem "Papier" kann, sehe ich weniger Probleme.

Wie wird das ganze im Moment gehandhabt? Müssen überhaupt 4 Leute gleichzeitig auf das selbe Material zugreifen? Was ja auch die Schnittsoftware können und verwalten muss...
 
Was ich in diesem Fall machen wuerde ist sicher soviel Geld wie moeglich fuer RAM auszugeben. Das Ganze in der Hoffnung, dass ein momentan bearbeitetes Filmstueck in den Hauptspeicher passt. Somit haette man den Festplattenflaschenhals eliminiert. Ich meine 24GB sind soo teuer nun auch nicht mehr. Nur mal so als Bsp.
Was man da fuer ein Netzwerk baut weis ich nicht. Aber ich meine mal gelesen zu haben dass viele Switche als auch Mainboard / Netzwerkkarten das Zusammenschalten von 2x 1Gbit/s unterstuetzen. Das sind dann > 200GB/s Durchsatz. Aber ich kann mich irren...
 
Du kannst mehrere Karten mit ifconfig zu nem lagg-Interface bündeln. Das schimpft sich bonding. Dazu brauchst du nen Switch, der das ganze dann auch verwursten kann.

Meine Meinung - tus nicht. Du wirst es mit BSDs und Samba nicht wirklich zufriedenstellend hinbekommen. Da muss wirklich heftige storage her, zudem solltest du min mit doppelter Kapazität für Erweiterungen kalkulieren. Sun, IBM, etc.
Das Zeug ist nicht ganz billig.
 
Danke soweit für die Antworten. Nach den genauen Sachen erkundige ich mich.

troll schrieb:
[...]
Meine Meinung - tus nicht. Du wirst es mit BSDs und Samba nicht wirklich zufriedenstellend hinbekommen.
Zum Vergrößern anklicken....

Warum!? Ich dachte FreeBSD wäre ein top-server-system. yahoo und andere nutzen es doch auch. Was spricht denn dagegen? FreeBSD wirbt doch mit der Performance...
 
Naja, es geht mit FreeBSD schon Seitens der Software. Zumindest mit Nummer 8. Bei dem zugegeben doch recht grottigem IO der Version 7 wäre ich mir nicht so sicher, ob du wirklich glücklich werden würdest. Samba bekommt man mit Fingerspitzengefühl auch noch in die richtige Richtung getreten, obwohl es nicht so prall ist. Aber die Hardware... Du brauchst entsprechende Netzwerkkarten. Ein Board, welches diesen genügend IO-Leistung zur Verfügung stellen kann. Ein großes Storage-Array. Eine wirklich diche CPU und vor allem RAM, RAM und noch einmal RAM. Das wird ein Monster. Mit Komponenten, die gut aufeinander abgestimmt sein müssen.
Mit einer fertigen Lösung bist du da einfach besser bedient. Einstecken, funktioniert. Spezifikationen stehen drauf, keinen Ärgern die irgendwie zu erreichen. Bessere Ausbaumöglichkeiten. Und am Ende kaum teurer. Das wichtigste Argument ist aber, wenn es nicht funktionieren sollte, hast du eine Telefonnummer. Ja, ich habe wirklich große Storage-Arrays auf FreeBSD gebaut. Aber die mussten nicht ~256Mbit/s garantieren, es interessierte keinen, wenn es mal ein paar Sekunden langsamer wird.
 
Jo, Yamagi, meine Zustimmung. Egal welches Glied in der Kette bremst - an der Stelle hat man nicht mehr die Leistung. Zudem ist die HW, die dafür in Frage kommt sehr begrenzt und da für alle Stellen was passendes zu finden, was auch wirklich unter BSD das macht, was es kann, wirklich schwer. Das Risiko die HW zu bestellen ist also sehr hoch...
 
Sone Box wollte ich gerade vorschlagen. Die bieten dir auch die Möglichkeit SSDs vor die Platten zu hängen als Cache. Das sollte bei dem geplanten Einsatzgebiet beim Durchsatz auf jeden Fall helfen.
 
Also,

ich bin mir nicht sicher, dass man sooooo genau auf jedes MB/s Durchsatz schauen muss. Eine Blu-Ray Disc verwendet zB maximal ca. 54 Mbit, was nicht ganz 7 MB/s sind (HDTV sogar "nur" 27 Mbit). Möglicherweise gibts noch Formate mit höheren Datenraten, aber ich glaube nicht, dass man da so schnell an die 200 MB/s kommt... Natürlich hängt einiges davon ab, wieviele Leute gleichzeitig da rumfuhrwerken wollen/sollen/müssen.

Ciao.
Markus
;-)
 
Na, die werden aber nicht mit den komprimierten Daten direkt arbeiten. Alleine 1080/24p entsprechen 258.64Mbit/s. Naja, und das sind 24 Hz, wenn es normale 50 Hz sind, dann halt das doppelte ;)
 
Also zum Filme schneiden brauchst du mächtig viel Durchsatz. Das ganze passiert ja im professionellen Bereich Pre-Kompression, da kannst du für ein paar Sekunden Film schon ein GB rechnen. Um Filme auf Netzlaufwerken zu schneiden würde ich vielleicht sogar auf eine 10GBit Glasfaser-Lösung setzen.
 
Vielleicht macht's auch mehr Sinn den Clients performante RAID-Systeme einzubauen. Und dazu ein "normaler" File-Server, der des Nachtens alle Daten synchronisiert. Denn die normalen GBit-Netzwerkkarten (wenn denn überhaupt schon vorhanden) müssten dann auch auf einen besseren Stand gebracht werden. Davon mal abgesehen, muss bei jeder dieser Lösungen bisher auch Glasfaser bis zum Arbeitsplatz liegen.

Ich denke nicht, dass mehrere Leute gleichzeitig an einem Film rumschnippeln. Aber sowas kann nur der Kunde sagen...
 
Ich meine eher sowas wie ein RAID10 mit ner Hardware-Lösung. Das ist noch relativ günstig zu realisieren, wenn man sich die Alternativen anguckt ;)
 
OK es sieht so aus:

Filme sind immer so in einer größe von ab ca. 20-30GB. Der Zugriff auf eine einzelne Filmdatei erfolgt nur von einem Client. Samba wäre eine wünschenswerte Lösung.
Zur Zeit läuft hier so ein Systemchen: Server IBM XSeries 335 8676
Da das Netzwerk gegenwärtig noch auf 100Mbit läuft, wäre eine Umstellung auf 1GBit schon eine Verbesserung.

Da es insgesamt auch nicht zu teuer sein soll liebäugele ich mit folgender Lösung:

GBit Lan Umstellung und durchsatzfähigem Switch (Jumbo Frames, etc)
Intel GBit Lan Karten für den Server und Clients.
FreeBSD 64bit auf einem Core2Duo oder QuadCore mit 4-6 TB SATA2 HDDs auf ZFS, 6-8GB DDR2 CL5 Speicher. Und als Service werde ich Samba einrichten.
 
Was sind da denn für Clients vorhanden? Wenn die nicht auch flott genug sind, bringt die Umstellung nicht immens viel, denke ich.

Aber scheinbar sind die Ansprüche ja noch recht gering :)
 
Naja auf jeden Fall ist die jetzige Situation nicht mehr tragbar, da kein effizientes Arbeiten ´möglich ist.
Die Clients müssen auch ggf. nachgerüstet werden, aber das ist dann eine andere Sache.

@zuglufttier:
Wieso findest du die Ansprüche als recht gering? Meinst du die Kiste wird Lahmen?
 
Naja, es soll ja "nur" schneller werden und es muss auch nur einer gleichzeitig auf einen Film zugreifen. Das sind halt keine Spezialanforderungen und die Daten sind auch deutlich kleiner als erwartet wurde.

Ob und wieviel schneller der Server sein wird: Keine Ahnung. Glaube aber nicht, dass der Prozessor da viel ausrichtet. Sehr viel RAM und performante Festplatten sind in diesem Fall sicherlich wichtiger.
 
Ja. Und im Idealfall pro Mitarbeiter eine Platte/Array. Wenn mehrere Leute auf verschiedenen Dateien gleichzeitig rumnuckeln, dann bekommen die Köpfe der Platten ordendlich in Hektik.
 
Dem Zugriffsproblem kann man eben mit noch mehr RAM entgegensteuern. Wenn man für jeden Mitarbeiter eine Extra-Platte in den Server hängt, kann man die ja gleich direkt in die Rechner einbauen.

SSDs wären natürlich noch eine Lösung aber das wäre natürlich verdammt teuer. Also würde ich sagen ordinäre Festplatten mit NCQ. Wird NCQ mit dem FreeBSD SATA-Treiber unterstützt oder nur mit SAS?
 
NCQ? Jein. Das klassische ATA-Framework kann kein NCQ und wird es auch nie können. NCQ ist derzeit nur mit dem experimentellen, auf CAM basierenden AHCI-Treiber in 8.0 möglich. Aber ich würde den noch nicht einsetzen... Oder sollte der in der aktuellen Beta etwa sogar schon Standard sein?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben