FreeBSD - ftp Downloadquellen quälend langsam

H

holgerw

Guest
Hallo,

- bitte auch Nachtrag unten lesen -

ich poste es nochmal hier im Bereich Netzwerk, und beziehe mich auf diesem Thread:
https://www.bsdforen.de/threads/zwei-freebsd-server-sind-grottenlahm.32664/

Dort schrieb ich, dass der Download sowohl unter MX-Linux als auch FreeBSD lahm wären. Mein Test heute Morgen fällt allerding anders aus.

Es liegt wohl nicht an Peering-Problemen der Telekom. Ich habe gerade folgendes auf dem gleichen Rechner probiert, beim Firefox werden jeweils keine proxies genutzt:

Downloadquelle Debian-iso http
- unter FreeBSD schnell
- unter GNU/Linux schnell
Downloadquelle Debian-iso ftp
- unter FreeBSD langsam, stockend, ruckelnd
- unter GNU/Linux schnell
Downloadquelle FreeBSD-image ftp
- unter FreeBSD langsam, stockend, ruckelnd
- unter GNU/Linux schnell

Was kann ich da machen? Ich nutze für unser ganzes Netzwerk eine Fritzbox 7490, unter allen Systemen nutze ich DHCP (mit MAC gebundener IP-Zuweisung).

Hier mal meine /etc/rc.conf:
Code: 
hostname="biber.unix.pc"
ifconfig_em0="DHCP"
sshd_enable="YES"
powerdxx_enable="YES"
# Set dumpdev to "AUTO" to enable crash dumps, "NO" to disable
dumpdev="AUTO"
keymap="german.iso.acc"
# Regelsatz /etc/devfs.rules aktivieren
devfs_system_ruleset="devfsrules_common"
# nfs Zugriff aktivieren
nfs_client_enable="YES"
rpc_statd_enable="YES"
rpc_lockd_enable="YES"
# kde4 relevante Aktivierungen
dbus_enable="YES"
hald_enable="YES"
kdm4_enable="YES"
# Remote Drucken
cupsd_enable="YES"
cups_browsed_enable="YES"
# Leeren des Verzeichnisses tmp
clear_tmp_enable="YES"
# Mounten von fusefs
fusefs_enable="YES"

Mein System:
Code: 
[root@biber /usr/home/holger]# uname -a
FreeBSD biber.unix.pc 10.3-STABLE FreeBSD 10.3-STABLE #0 r300092: Wed May 18 01:03:38 UTC 2016     root@releng1.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  amd64
[root@biber /usr/home/holger]#

Was kann da schief laufen?

Viele Grüße,
Holger

Nachtrag: Nun wird es doch kurios: Eine andere ftp-Quelle für ein Debian-Image ist nun unter FreeBSD sauschnell.

Es kann doch nivht sein, dass FreeBSD ogffenbar seine eigenen Downloadserver nicht "mag".
 
OffTopic: Eine große Bitte an die Admins hier:

Könnt Ihr die Bearbeitungszeit nach Threaderstellung wenigstens auf 30 Minuten herauf setzen? Ich veröffentliche gerne fehlerfreie Texte, manchmal fällt mir im Nachhinein ein Schnitzer auf, und da sind mir 15 Minuten einfach zu knapp (dazu möchte ich sagen, dass ich da wohl aufgrund meiner Seheinschränkung für Korrekturen ein wenig länger brauche).

Vielleicht kann das ja ein wenig herauf gesetzt werden.

Viele Grüße,
Holger
 
Versuche es mal mit passive FTP z.B. mit fetch -p. Prinzipiell sollte man http gegenüber ftp immer vorziehen. Das Protokoll ist im Grunde ziemlich schlecht.
 
Ich schließe mich Holgers Ausführung an, die Bearbeitungszeit ist wirklich zu knapp bemessen. Ich schreibe oft und manchmal auch lange Threads und wenn es auch noch schnell gehen muß, schleicht sich natürlich auch mal der eine oder andere Fehler ein. Online einen längeren Beitrag zu schreiben ist daher kaum möglich. Bisher habe ich mir geholfen, längere Beiträge offline zu schreiben. Und natürlich hinterläßt ein fehlerfreier Beitrag auch einen besseren Eindruck.:D
 
Ich habe ja zwischendurch auch das aktuelle PC-BSD ausprobiert, wo die Basis ja ebenfalls FreeBSD 10.3 ist. Dort gab es diese Performanceprobleme auch nicht. Das merke ich insbesondere, wenn ich texlive-full von der Konsole mit PKG installiere. Unter PC-BSD ca 30 Minuten, mit FreeBSD 4 Stunden. Das ist ja ein gravierender Unterschied.
 
Das kann durchaus ein peering Problem sein. Gerade bei einem CDN wie es für die FreeBSD Pakete verwendet wird kannst du bei jedem request wo anders landen.
Warum die Images stocken ist aber wirklich seltsam.
 
derOliver schrieb:
Das kann durchaus ein peering Problem sein. Gerade bei einem CDN wie es für die FreeBSD Pakete verwendet wird kannst du bei jedem request wo anders landen.
Warum die Images stocken ist aber wirklich seltsam.
Zum Vergrößern anklicken....
Das mag wohl so sein und ich will das gerne glauben. Muß ich wohl auch, weil ich technisch nicht so versiert bin. Als ich noch im Berufsleben stand, war ich jahrzehntelang als Informatiker in der Qualitätsplanung beschäftigt. In unserem Büro stand in großen Lettern unser Leitspruch:

Wir brauchen keine Beschreibung des Problems, sondern die Lösung.
Zum Vergrößern anklicken....

Sollte das Problem bekannt sein, wird daran gearbeitet? Fast jeder hat heutzutage einen Rechner mit mehreren Kernen und viel RAM. Was alles nutzt das, wenn es an grundlegenden Dingen mangelt? Das finde ich anachronistisch.
 
Habe es jetzt noch mal gemessen:

Netinstall CD PC-BSD : 450 kb/s

Debian CD Netinstall : 1900 kb/s

Auch PC-BSD dümpelt vor sich hin. Mit 25% der möglichen Performance. Debian liefert die volle Geschwindigkeit zu 100%. Ich habe eine Bandbreite von 16 Mbit/s bei 1und1. Was nützt mir eine Aufstockung auf 50 MBit, die ich schon mal in Erwägung gezogen habe? Richtig, NICHTS! Dies ist keine Kritik, aber ärgerlich ist das schon, wenn die technischen Möglichkeiten nicht genutzt werden können.
 
Erneuter Versuch für FreeBSD von hier: ftp://ftp.freebsd.org/pub/FreeBSD/releases/ISO-IMAGES/10.3/

Geschwindigkeit 182 kb/s, also ca. 10% der möglichen Bandbreite.
 
"Früher"... war ja bekanntlich alles besser, allerdings waren alle Verbindungen auch deutlich langsamer.
Jedenfalls gab es also "früher" schon immer bestimmte Server, die besonders schnell im Vergleich mit anderen zu sein schienen. Für FreeBSD war der Schweiz-2-Spiegel immer ein guter Tip, aber das sollte sich inzwischen vielleicht angenähert haben.
Ansonsten war der Server Uni-Kaiserslautern immer recht performant.
Für mich, in Frankreich an der saarländischen Grenze, gibt es maximal 4MB Netz und trotzdem sind die Server im Land oft schlechter, als jene in Deutschland. Eine Regel erkenne ich dahinter nicht und es kann durchaus am nächsten Tag auch wieder anders sein.

Man muss vielleicht bedenken, dass gerade FreeBSD aber auch viele andere OpenSource-Projekte tatsächlich nicht die hochperformante HW zur Verfügung haben. Da ist oft deutlich schwächere HW im Einsatz, als in einem durchschnittlichen Haushalt der Filius zum Spielen benutzt. Das Sponsoring hilft zwar und gerade FreeBSD hatte ja vor einiger Zeit endlich neue Rechner bekommen und erst in diesem Zusammenhang werden ja nun auch regelmäßig Pakete für (zB) LibreOffice gebaut.
Ich kann mir vorstellen, dass zu Stoßzeiten einfach keine Reserve mehr vorhanden ist und auch, dass Stoßzeiten immer häufiger werden.
Um solche Effekte bei der Problembestimmung sinnvoll ausschließen zu können, müssen die Parameter wohl sehr eng gewählt werden. Es dürften dann nur die gleichen Server zu gleichen Zeiten und dann gleichzeitig aus unterschiedlichen Systemen und von unterschiedlichen Orten mit möglichst gleichen Programmen zur Ermittlung der Benchmarks vergleichen werden.
Jedenfalls kann ich mir nicht vorstellen, dass irgendjemand daran geht ein Problem zu suchen, weil manchmal der ein oder andere Server lahm erscheint.

Was ftp angeht, finde ich FreeBSD gerade nicht schlecht (jedenfalls in meinen älteren Versionen).
Mir fällt aber auch auf, dass die Performance je nach verwendeter Client-SW stark unterschiedlich sein kann. Opera hatte deutlich bessere Werte bei mir erzielt, als alle anderen Browser und Filezilla ist nochmal bequemer und auch schnell. Die besten Ergebnisse hatte ich allerdings meist direkt von der Konsole, mit dem eingebauten Clienten.
 
ralli schrieb:
Erneuter Versuch für FreeBSD von hier: ftp://ftp.freebsd.org/pub/FreeBSD/releases/ISO-IMAGES/10.3/

Geschwindigkeit 182 kb/s, also ca. 10% der möglichen Bandbreite.
Zum Vergrößern anklicken....

habe eben mal einen schnellen Test eingeworfen und dann abgebrochen.
Einmal wie bei dir: gibt mir
16647852 bytes received in 05:22 (50.44 KiB/s)
Zum Vergrößern anklicken....
und dann mal kurz auf ftp://ftp3.fr.FreeBSD.org einen ähnlichen Versuch (irgendein iso) bringt gleichzeitig zum anderen download:
7192800 bytes received in 00:33 (206.94 KiB/s)
Zum Vergrößern anklicken....

Das ist nur ein ganz kurzer Test von der Konsole gewesen und ich will nun nicht sagen, dass ein Schnitt von 206.94 KiB/s ein echter Top-Speed-Wert ist, aber ich will zeigen, wie unterschiedlich das sein kann. Hier liegt im direkten Vergleich bereits ein Faktor 4 bei einem einzigen und willkürlichen Test zweier unterschiedlicher Server vor.
 
konnte nicht an mir halten und habe noch zwei drei weitere Spiegel angetestet und wieder war der Schweizer mit ca 318.86 KiB/s mein Favorit. Er hat allerdings eine andere Verzeichnisstruktur. Trotzdem: Faktor 6 gegenüber der Hauptseite.

Man kann solche Tests einfach durchführen oder vielleicht in einem Script automatisiert. Ich weiß nicht, wie viel Aufwand das wert ist und wie stabil sich derartige Ergebnisse auf Dauer zeigen. Außerdem sagt ein Test auf meiner lahmen Leitung aus der "französischen Provinz" nicht viel, schon gar nicht hinsichtlich maximal möglicher Geschwindigkeiten.
ich wollte nur die deutlichen Unterschiede zwischen verschiedenen Servern zu einem Zeitpunkt (grob angenommen) zeigen.
 
Für isos kannst du ja mal den ftp5.de.freebsd.org (aka ftp.fau.de) verwenden. Der steht an einem Kernnetzknoten des DFN und hat darüber einen ordentlichen Link zur Telekom. Pakete gibt's darüber natürlich nicht, wobei ich wenn ich wüsste wo man da beim FreeBSD Projekt Anfragen muss evtl. was drehen könnte. Die Frage ist natürlich ob die das überhaupt wollen oder nur eigene Infrastruktur für das CDN nutzen wollen.
Für Debian kann ich übrigens cdimage.debian.net empfehlen, da steckt Mirrorbrain dahinter, das sollte um Welten intelligenter den passenden Mirror aussuchen.
 
Nun, ich habe mir bereits denken können das das auch eine Frage des Geldes und der Kosten für die eingesetzte Hardware ist. Im übrigen bringen Vergleiche eh nichts. Ich wollte es nur verstehen können, nicht mehr und nicht weniger. Wenn das so ist, dann ist es eben so und nicht zu ändern. Die Problematik haben gewiß andere Betreiber auch. Es ist halt sehr widersprüchlich, das viele nach mehr Bandbreite rufen, diese aber nicht wirklich genutzt werden kann. Offensichtlich läßt sich dieser Widerspruch nicht auflösen. Ich lerne daraus, das es sich für mich nicht lohnt, einen Tarifwechsel vorzunehmen.
 
"TrueOS-Desktop-11.0-CURRENTJULY2016-07-08-2016-x64-USB.img --- 383 KB/s - 5.8 MB of 1.5 GB, 1 hour left"

Da fehlt mir der kotzende Smiley.
 
ralli schrieb:
Na bei FreeBSD von dem voreingestellten FreeBSD.conf und bei PC-BSD von der Homepage sowie Debian auch von der Homepage.

Debian hier: http://cdimage.debian.org/debian-cd/8.5.0/amd64/iso-cd/

PC-BSD hier: http://www.pcbsd.org/download/?lang=de
Zum Vergrößern anklicken....
ralli schrieb:
Na bei FreeBSD von dem voreingestellten FreeBSD.conf und bei PC-BSD von der Homepage sowie Debian auch von der Homepage.

Debian hier: http://cdimage.debian.org/debian-cd/8.5.0/amd64/iso-cd/

PC-BSD hier: http://www.pcbsd.org/download/?lang=de
Zum Vergrößern anklicken....
Habe mal auch alle drei probiert: Nur der von PC-BSD ist wirklich lahm mit ca. 500 KB/s, die beiden anderen geben mir die volle Bandbreite meines 100MBit Anschlusses, also ca. 12MB/s.

Ich würde sagen, es liegt einfach an den einzelnen Servern.
 
Ich denke @zuglufttier ist schon auf der richtigen Fährte. Natürlich liegt es an den Servern. Wenn die Kapazität nicht ausreicht und die Last zu gewissen Zeiten zu hoch wird, dann ist eben die Verteilungsmöglichkeit eine andere. Bei mir war PC-BSD gestern überhaupt nicht lahm und lieferte quicklebendige 1900 kb-s. Also kann mitnichten eine allgemein gültige Aussage getroffen werden.Das Beispiel mit PC-BSD war lediglich ein Zufallsbeispiel, wie eben Debian auch. Die Stichprobengröße ist natürlich für eine repräsentative Aussage viel zu klein.
 
Hallo,

danke für Euer großes Interesse. Ich melde mich erst heute, weil bei mir arbeitsmäßig einiges angefallen ist.

Gerade habe ich drei Tests unter FreeBSD gemacht mit interessanten Unterschieden:
Test 1
Code: 
ftp://ftp.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/11.0/FreeBSD-11.0-BETA1-amd64-mini-memstick.img
Gemessen mit wget: Schwankungen zwischen 90 und 300 kB/s; meistens bei ca. 250 kB/s (grottenlahm)

Test 2
Code: 
http://ftp10.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/11.0/FreeBSD-11.0-BETA1-amd64-mini-memstick.img
Gemessen mit wget: Schwankungen zwischen 3 und 4 MB/s (gut)

Test 3
Code: 
http://www1.de.freebsd.org/freebsd/releases/ISO-IMAGES/11.0/FreeBSD-11.0-BETA1-amd64-mini-memstick.img
Gemessen mit wget: bei 5,65 MB/s (ausgezeichnet)

Das schwankt ja sehr. Der letzte Server ist richtig gut, ich werde ihn zu unterschiedlichen Tageszeiten noch einige Male testen.

Wenn der Server zu verschiedenen Zeiten ähnlich performant reagiert: Wie trage ich zum Beispiel diesen flotten Server als Downloadquelle für pkg in die /usr/local/etc/pkg/repo/FreeBSD.conf ein? Mir geht es um die exakte Syntax. Oder besser gleich: Wo finde ich dokumentiert, wie Repos (ob externe oder lokale) korrekt in diese FreeBSD.conf eingetragen werden?

Viele Grüße,
Holger
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben