HPC und FreeBSD

[Eisenfaust]

Hallo.
Gibt es Leute in diesem Sektor, die FreeBSD als HPC Plattform einsetzen wollen? CUDA, OpenCL und diverse andere essentielle Voraussetzungen sind ja ein Tabu unter FreeBSD und im Zuge der GPGPU-Entwicklungen fällt Dank mieser Treiberunterstützung bezgl. Graphikkarten FreeBSD zunehmend weiter ab.

Wir/ich haben mitlerweile einiges an Erfahrungen während der FreeBSD-HPC-Odyssee sammeln können - durchweg negativ. Eventuell wäre es einmal an der Zeit, darüber ein wenig zu diskutieren.

Für FreeBSD gibt es ja mitlerweile (oder Gott sei Dank) funktionierende 64bit nVidia Treiber, so daß man nicht mehr auf den unsäglichen AMD-Müll angewiesen ist, was Graphikkarten und die leidige Treiberunterstützung betrifft. Leider vermissen wir eine CUDA Unterstützung seitens nVidia - im Moment die einizge wirklich brauchbare HPC/GPU Entwicklungsumgebung, die man naturwissenaschaftlich nutzen kann, auch wenn man die Bereitschaft zur Experimentierfreude zeigt.Wir setzen zur Zeit Bildbearbeitungs- und Vielkörperalgorithmen in OpenCL um und lassen sie dann in einer CUDA Umgebung compilieren. Dabei erweist sich OpenCL leider als eine Schwäche, im Vergelich zu CUDA und es erhebt sich die Frage, ob man nicht doch besser im abgegrenzten CUDA Umfeld bleibt oder doch auf Offenheit ala OpenCL setzt. Wenn abseits der Linux-Linien etwas geschieht, dann wird das eher unter OpenCL geschehen - so unsere Logik.

 

[nakal]

Für AMD-Karten gibt es ja auch Algorithmen, die um vielfaches schneller laufen als bei nVidia. Sieh Dir mal zum Beispiel den ganzen Bitcoin-Kram. Da findest Du nicht eine nVidia-Karte, die mithalten kann bei den Berechnungen (typisch: 3x langsamer).

Ich halte AMD-Karten auch für viel besser. Alleine das normale Bild ist schon für klarer und sauberer auf Röhren (alle nVidia-Karten haben irgendwelche Signalstörungen bei mir, schon fast so über wie die durchgeschleiften Voodoo2-Karten damals).

Ich habe zwar jetzt auch eine nVidia-Karte, aber nur deswegen, weil sie billiger war als die billigste AMD-Karte. Ich kaufe immer die billigsten Sachen, die auf FreeBSD laufen. Meine gute AMD-Karte ist mir vor einer Weile kaputt gegangen. Vor einem Monat habe ich auch meinen ersten Flatscreen (LCD) geholt, deswegen merke ich außer, dass die nVidia langsamer ist, nichts von Qualität.

FreeBSD ist überhaupt nicht auf HPC ausgelegt. Das wäre überhaupt nicht meine Wahl.

 

[Eisenfaust]

Hallo nakal.

Du wirst im wiss. Umfeld kaum eine AMD Karte vorfinden, sofern auf dieser gerechnet werden soll. BitCoin ist ein wirklich passendes Beispiel.

Es geht nicht um die Signal- und Bildqualität. Es geht um die Verwertbarkeit im HPC Umfeld. Viele GPU-gestützte Anwendungen, die sich mit Bildfilter etc. beschäftigen, nutzen 32Bit Gazzahlwerte oder 32Bit einfachgenaue Fließkommawerte. AMD hat Dank einer größen Anzahl Rechenwerke einen Vorteil. Sobald man allerdings doppeltgenaue Fließkommazahlen benötigt - und das ist in 99% aller Fälle im wissenscftlichen Bereich so - sind AMD Karten im Vergleich zu nVidia sogar im Nachteil. nVidias neue Architektur ist deutlich besser für die Rechenanwendung geeignet als die AMDs. Nicht umsonst wird AMD mit "Southern Island", wie jüngst vorgestellt, in eine ähnliche Richtung stoßen.

Mit Blick auf Linux sieht man, daß nVidia wesentlich mehr Arbeit in die Gemeinde der Opensourcesysteme investiert als AMD. Mit CUDA ist zwar ein schreckliches, sehr kompliziertes Werkzeug zur GPU Programmierung gegeben, die Unterstützung, die Dokumentation sowie die 64bit fähigen Linuxtreiber machen diese Plattform aber HPC tauglich! PathScale will mit ENZO ein HMPP-fähigen Compiler auch für FreeBSD liefern, der allerdings nur nVidia GPUs unterstützt. C. Bergström, PathScale Entwickler, hat sich bezgl. AMDs GPUs nicht gerade positiv geäußert.

In Sachen FreeBSD und AMD Graphikkarten kann ich nur negatives berichten. Auf all unseren Systemen mit AMD Graphikkarten kann man nicht mehr gefahrlos die X-Sitzung beenden, sobald man eine Sitzung beendet und ein Reset an den xdm oder Xserver gesendet wird, friert FreeBSD ein. Dieses Problem ist nun seit mehr al 1 1/2 Jahren bekannt und tritt bei nahezu allen HD4000 und HD5000 Graphikkarten auf.
Wie haben bereits einen Teil der Hardware auf nVidia umgestellt, da FreeBSD durch Linux ersetzt werden soll. Im Moment arbeiten einige Maschinen sehr gut mit modernen nVidia Graphikkarten (64Bit nVidia BLOB). Was jetzt fehlt, wäre eine Möglichkeit mit OpenCL und/oder CUDA oder HMPP die GPU programmieren zu können. Leider konnte PathScale uns noch keinen FreeBSD Compiler zum Test zur Verfügung stellen.

 

[nakal]

Ich habe ja nur Argumente gegeben, weil ich nicht verstanden habe warum Du über AMD-Karten so herziehst, wenn es beim Punkt HPC bei beiden Lagern nichts gibt.

Weiter im OT:

Bei nVidia gibt es bei 2 von 3 Karten die ich hier habe ebenfalls das Problem, dass man nicht auf die Konsole wechseln kann (Bild geht komplett aus). Ja und? Jeder hat so seine Problemchen.

Ich habe zum Beispiel das Problem mit dem Einfrieren nicht (mein Desktop-Rechner mit der Radeon HD läuft 24/7) und da kann ich mich ein- und ausloggen wie ich will.

Solche Diskussion kenne ich auch von Festplatten "ich werde nie wieder Samsung kaufen, weil mir 2 gerade kaputt gegangen sind". Die sind aber dann bei einem kaputt gegangen, heißt aber noch lange nicht, dass sie Kacke sind.

Und wenn ein Entwickler AMD GPUs nicht mag, geht mir das auch am Popo vorbei. GPU heißt nicht "generic processing unit" oder sowas. Für FreeBSD wird AMD sogar noch viel besser, weil solche Rechenszenarien wie beim Bitcoinmining hat man zu Hauf im Kernel, wo Beschleunigung erreicht werden kann auf Systemebene. Ich bin schon gespannt wie AMD-A-CPUs in FreeBSD berücksichtigt werden und ob sie als /dev/crypto auftauchen.