Benchmark: FreeBSD vs Linux vs OpenBSD vs NetBSD

asg

asg

push it, don´t hype
Unter http://bulk.fefe.de/scalability/ gibt es einen Benchmark der folgende Systeme miteinander vergleicht:

FreeBSD 5.1-Current
OpneBSD 3.4
NetBSD 1.6.1
Linux 2.4
Linux 2.6

Folgendes gibt es aber zum Thema benchmark anzumerken: "Es gibt drei Lügen in der IT: Lügen, verdammt grosse Lügen und benchmarks.

Fefe machte als "Gewinner" Linux 2.6 aus, auf dem zweiten Platz landete FreeBSD 5.1-CURRENT wobei er von der Performance und der Skalierung sehr überrascht war wie gut diese ist.

FreeBSD hat von allen drei BSDs die beste Performance.

OpenBSD war seiner Meinung nach der totale Loser auf allen Ebenen. Der Kernel wat instabil, die Skalierbarkeit der Netzwerkes war einfach nur mies.

NetBSD wurde nur die STABLE nicht die CURRENT Version getestet war aber das einzige BSD was keine crash hatte oder einen panic.

Ich frage mich allerdings warum hier nicht auch FreeBSD 4.8/4.9 getestet wurde, Fefe meint in dem Test dazu, dass er gelese habe, das unter CURRENT einiges neu und besser sei (gerade was load und Skalierbarkeit angeht).

Ganz vorne ist FreeBSD beim Socket benchmark und beim benchmark über
HTTP request latency und lässt die anderen weit hinter sich. Insbesondere bei erstgenantem. Bei zweiteren ist es so, das FreeBSD bei den ersten 4000 Connections etwas langsamer ist als Linux, dann aberm wie durch Zauberhand, die anderen weit hinter sich lässt. Surprise, surprise.

Diesen test sollte man wiederholen wenn FreeBSD 5 STABLE ist und alle verlangsamenden debug feature entfernt wurden.
Von NetBSD und insbesondere von OpenBSD bin ich in diesem Test doch sehr enttäuscht.
Aber was sagen benchmark Tests schon aus, inwiefern waren die Systeme wirklich Optimal eingestellt (so wusste Fefe nicht wie man kern.maxproc hochsetzt, er bekam bei der sysctl Angabe immer die Ausgabe das dies "read only sei, er wurde aber darauf hingewiesen das er unter /boot/loader.conf die Werte setzen kann) ist, was insbesondere bei Servern die eine gewissen Leitung bringen sollen, unabdingbar ist.

Trotzdem, interessant ist dieser Test dennoch...
 
Das ist jetzt der X+erste Performance-Test den ich lese. Und jedes mal (danke für die Links asg & kith) gibt es folgende reflexartige (Hr Pawlow lässt grüssen) Reaktionen:

- aber mit Version x.y und Feature a und Compile-Option bla sähe das Ergebnis ganz anders aus
- der Autor hat 'X' falsch konfiguriert
- der Autor hat Vorurteile gegen 'X'
- usw.

Es gibt nur wenige (siehe den reply hier ) die einen Benchmark für das nehmen, was er ist: nämlich ein Test unter wohldefinierten (hoffentlich?!) Randbedingungen um eine begrenzte Zahl von Fragen zu beantworten.

Das Ergebnis dieses Benchmarks ist: Unter den gegebenen Randbedingungen ist Linux in der Disziplin ... schneller als FreeBSD und das schneller als OpenBSD usw.

Das Ergebnis ist NICHT: Linux ist BESSER als FreeBSD ist BESSER als NetBSD ist BESSER als OpenBSD...

Na ja, der Autor diskreditiert sich zugegebenermassen zumindest teilweise durch seine Aussagen über OpenBSD. Er kann ja sagen, dass ihm der Installer nicht gefällt, aber nicht "der Installer ist Mist", den dafür gibt es ja wohl keine objektiven Kriterien.

Ok, jetzt bitte wieder Flames posten...
 
Original geschrieben von current


Es gibt nur wenige (siehe den reply hier ) die einen Benchmark für das nehmen, was er ist: nämlich ein Test unter wohldefinierten (hoffentlich?!) Randbedingungen um eine begrenzte Zahl von Fragen zu beantworten.
Zum Vergrößern anklicken....

Stimmt!

Ein Benchmark ist ja nichts anderes als ein Test innerhalb einer bestimmten (vorgegebenen) Umgebung innerhalb einer bestimmten Zeit.

Man soll nicht mehr aus einem Benchmark machen, als er es ist.

Das Ergebnis dieses Benchmarks ist: Unter den gegebenen Randbedingungen ist Linux in der Disziplin ... schneller als FreeBSD und das schneller als OpenBSD usw.
Zum Vergrößern anklicken....

Genau ... obwohl ich DIESEN benchmark für sehr subjektiv halte.

Das Ergebnis ist NICHT: Linux ist BESSER als FreeBSD ist BESSER als NetBSD ist BESSER als OpenBSD...
Zum Vergrößern anklicken....

Das Ergebnis ist für mich folgendes: Der Autor sollten seine Emotionen gegenüber bestimmten Systemen etwas zügeln und objektiver sein.

Na ja, der Autor diskreditiert sich zugegebenermassen zumindest teilweise durch seine Aussagen über OpenBSD. Er kann ja sagen, dass ihm der Installer nicht gefällt, aber nicht "der Installer ist Mist", den dafür gibt es ja wohl keine objektiven Kriterien.

Ok, jetzt bitte wieder Flames posten...
Zum Vergrößern anklicken....

Full ACK!

The Author stinks!

Gruß

CW
 
Der Autor ist für seine Liebe zu Linux doch bekannt, und seine "Zuneigung" zu *BSD ist eher zwiegespalten (böse Zungen behaupten er mag *BSD keineswegs).

Ein Benchmark sollte aber objektiv bleiben, und nicht reißerisch werden, Kommentare wie:

"Even Windows would probably outperform OpenBSD."
"OpenBSD 3.4 was a real stinker in these tests."
" If you are using OpenBSD, you should move away now."
[...]

zeugen nicht von objektivität, sondern eher von einer ehabenene Position die sich der Autor selbst zu eigen macht.

Ansonsten ist der Benchmark ganz interessant, zum einen da ich lange keinen mehr gesehen habe (BSD vs. Linux) zum anderen zeigt es doch, das FreeBSD auf dem richtigen Weg ist, denn bis STABLE soll die Sache ja noch schneller werden (bleibt zu hoffen das die Stabilität darunter nicht leidet).

Und, ich würde dennoch eher OpenBSD nehmen als Linux, aber auch das ist wieder subjektiv (wobei mir dies hier nun auch zusteht).
 
Original geschrieben von asg

Und, ich würde dennoch eher OpenBSD nehmen als Linux, aber auch das ist wieder subjektiv (wobei mir dies hier nun auch zusteht).
Zum Vergrößern anklicken....

Dazu kann ich nur den Churchill zitieren:

Ich vertraue nur der Statistik, die ich selber gefälscht habe.


Gruß und viel Fun mit Benchmarking

CW
 
Original geschrieben von current

Es gibt nur wenige (siehe den reply hier ) die einen Benchmark für das nehmen, was er ist: nämlich ein Test unter wohldefinierten (hoffentlich?!) Randbedingungen um eine begrenzte Zahl von Fragen zu beantworten.

Das Ergebnis dieses Benchmarks ist: Unter den gegebenen Randbedingungen ist Linux in der Disziplin ... schneller als FreeBSD und das schneller als OpenBSD usw.

Das Ergebnis ist NICHT: Linux ist BESSER als FreeBSD ist BESSER als NetBSD ist BESSER als OpenBSD...
Zum Vergrößern anklicken....

Richtig! Das Problem ist nur, dass von den meisten Leuten, die von solchen Benchmarks hoeren oder lesen genau solche weitreichende Schlussfolgerungen gezogen werden, unter anderem von Autor dieses Benchmarks selbst, der aufgrund seiner Untersuchung Empfehlungen abgibt, welches Betriebssytem zu verwenden und welches zu meiden sei.

Unverschaemtheiten wie seine Ausserungen ueber OpenBSD haben in einer serioesen Untersuchung nichts zu suchen. Sachfremde Urteile (der Installer von OpenBSD passt ihm nicht, an IPv6 hat er zu meckern) ebensowenig.

Dass der Autor ein bekannter Linuxfanatiker ist, dass die Auswahl der zum Vergleich herangezogenen Betriebssytemversionen und der Zeitpunkt der Untersuchung nicht gerade guenstig fuer BSD ausgefallen ist usw., wirft leider ein schlechtes Licht auf den Autor, selbst wenn seine Untersuchung (wie ich glaube) ein einigermassen korrektes Bild abgibt.
 
OpenBSD 3.4 was a real stinker in these tests. The installation routine sucks, the disk performance sucks, the kernel was unstable, and in the network scalability department it was even outperformed by it's father, NetBSD. OpenBSD also gets points deducted for the sabotage they did to their IPv6 stack. If you are using OpenBSD, you should move away now.
Zum Vergrößern anklicken....

*rotfl*

IMO kann man, das dummfe geflame nicht ernst nehmen und ehrlich gesagt ist mir auch meine zeit für so ein troll zu verschwenden einfach zu schade.

@current

FULL ACK
 
FeFe war noch nie fuer staubtrockene Berichterstattung bekannt. Meine Guete, er behauptet doch nichtmal der Weisheit letzter Schluss zu sein, er sagt nur "das ist mein Ergebnis".

Ihr regt euch gerade auf weil ein Bericht der "BILD!" ueber pgSQL kein i'X Niveau erreichte. Wobei das nicht heissen soll das FeFe Bildniveau hat, keineswegs, sondern nur das er eigentlich nie versucht uebermaessig objektiv und unvoreingenommen zu berichten. Er hat sich eines Benchmark ausgedacht, hat diesen implementiert, ging initial imho ueberraschen neutral an die OS'se heran und gibt dann von sich (a) was seine Ergebnisse waren (b) was ihm aufgefallen ist (c) was ihn gestoert hat.

Das gelesene zu bewerten und nicht unreflektiert hinzunehmen/zu akzeptieren/abzulehnen ist jetzt jedes einzelnen Aufgabe.
$0,02

Zum Thema openBSD sei noch angemerkt (das scheint ja die meisten zu stoeren), ich hab in ettlichen Replies gelesen "dafuer haben wir security by design". Fein. Hat er doch gar nie bestritten. Da steht mehrfach "wer nen gut skalierenden Server will sollte die Finger davon lassen". Er liefert nur das "wie", das "warum" und "inwieweit betrifft mich das" ist unser Job, nicht seiner.
 
Zuletzt bearbeitet:
Wie ich schon schrieb, interessant fand ich den Benchmark auf jeden Fall. Mich stört es auch nicht das wer weiter vorne liegt, und welches OS nicht sonderlich gut abschneidet. Einzig und allein die Wortwahl finde ich an manchen Stellen falsch gewählt, so dass der Eindruck erweckt werden muss, der Autor hat etwas gegen OpenBSD.

Wie dem auch sei, er hat ja nicht vor ein Gutmensch zu sein, und das ist auch gut so, nur ein Test der in diversen Newsdiensten auftaucht sollte dann doch etwas objektiver berichten, bzw. die Wortwahl sollte etwas anders gewählt sein.

Ansonsten gebe ich Elessar recht, es sei nur angemerkt, das eben dieser Schreibstil des Autors zu den Reaktionen führt, und diese Reaktionen dann auch einfach hinzunehmen/zu akzeptieren sind.

Jeder wie es ihm gefällt.
 
Hallo,

gibt es denn gute, seriöse Tests in denen Open-, Net- , FreeBSD und Linux gegenübergestellt werden?

Ich vertraue dem Test nicht und ich bin auch am Zweifeln ob OpenBSD in seiner Speicherorganisation Probleme hat.

Gruß
Thomas
 
Serioes und Vergleichstest in einem Satz?


Zu der Speicherorganisation gabs auf der openBSD Mailingliste die witer oben verlinkt war ganz interessantes. Aus Sicherheitsgruenden vergibt oBSD einige .. nachdenk, war schon spaet ... ich glaub Socketnummern nicht sequentiell sondern zufaellig. Das ganze skaliert dann eben ned wirklich gut, weil mit steigender Anzahl benutzter Sockets die Wahrscheinlichkeit steigt, das der Socket schon belegt ist.
Ausserdem verwendet es an zwei drei Stellen keine Hashlisten sondern Arrays etc.
Die Speicherorganisation skaliert also wirklich so mies, is aber so gewollt wie ich das verstehe.
 
Original geschrieben von asg
Wie ich schon schrieb, interessant fand ich den Benchmark auf jeden Fall. Mich stört es auch nicht das wer weiter vorne liegt, und welches OS nicht sonderlich gut abschneidet. Einzig und allein die Wortwahl finde ich an manchen Stellen falsch gewählt, so dass der Eindruck erweckt werden muss, der Autor hat etwas gegen OpenBSD.
Zum Vergrößern anklicken....

Jepp, genauso sehe ich das auch. :)
 
Nachtrag:
Seit ein paar Tagen ist von Fefe auch die (FreeBSD) 4.x-Schiene getestet worden, schlägt sich IMHO recht wacker ;)

-Gregor.
 
Hmm, aber nicht unter der oben angegebenen URL? Oder muss ich den Augenarzt konsultieren?
 
Paule heisst er ist Bademeister vom Schwimmbad um die Ecke...
(so oder so ähnlich...)
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben