PKG mirror - das leidige Thema

h^2

hat ne Keule +1
Das Problem habe ich eigentlich seit der Umstellung auf "pkgng": die mirror sind einfach arschlangsam. Sowohl die automatisch ausgewählten als auch manuell ausgewählte. Es ist echt frustrierend und ich kenne das von keinem anderen freien Betriebsystem.

Dass es meine Gigabit-Leitung auslastet erwarte ich ja gar nicht, aber ich komme noch nicht mal auf 1MB/s das ist also weniger als 1% des theoretisch möglichen :grumble:

Wisst ihr was da los ist? Oder kennt ihr inoffizielle Mirror, die vernünftig laufen?
 
Als es vor 1-2 Jahren alles so furchbar langsam war, vor allem der Server bei HEANET, lag es nicht an der Netzanbindung der Server, sondern daran, dass der disk I/O am Anschlag war. Seitdem läuft es ja schon besser, aber mehr als 2-3 MB/s habe ich auch noch nicht gehabt. Da gebe ich dir Recht, dass es wirklich nicht gut läuft.
 
Ich hab es gerade bei mir mal getestet, ich kann meine 100MBit Leitung voll auslasten.
url: "pkg+http://pkg.FreeBSD.org/${ABI}/latest" (12.2-RELEASE)
 
  • Wow
Reaktionen: h^2
Die Isländische Domainverwaltung verwendet FreeBSD und wäre vielleicht bereit einen PKG Mirror zu betreiben; ich kenne jemand der da arbeitet. Was ist das Prozedere dafür? Die haben mir gesagt, dass ihnen in der Vergangenheit gesagt wurde, dass niemand die Pakete mirrorn soll :confused:
 
Was ist das Prozedere dafür?
Wir hatten vor einigen Jahren über einen BSDForen-Mirror nachgedacht, sind aber schnell davon abgekommen, denn die Anforderungen sind gigantisch. pkg.freebsd.org und download.freebsd.org sind Teil eines CDN und es reicht leider nicht, einfach die Daten per HTTPS bereitzustellen. Es braucht neben einer ausreichend potenten Maschine mit entsprechend Speicherplatz mindestens ein ein eigenes Subnetz mit einem VLAN-fähigen Switch und rendudante Firewalls. Alles durch das FreeBSD-Projekt verwaltet. Ansprechpartner ist clusteradm@freebsd.org: https://wiki.freebsd.org/clusteradm
 
Wir hatten vor einigen Jahren über einen BSDForen-Mirror nachgedacht, sind aber schnell davon abgekommen, denn die Anforderungen sind gigantisch. pkg.freebsd.org und download.freebsd.org sind Teil eines CDN und es reicht leider nicht, einfach die Daten per HTTPS bereitzustellen. Es braucht neben einer ausreichend potenten Maschine mit entsprechend Speicherplatz mindestens ein ein eigenes Subnetz mit einem VLAN-fähigen Switch und rendudante Firewalls. Alles durch das FreeBSD-Projekt verwaltet. Ansprechpartner ist clusteradm@freebsd.org: https://wiki.freebsd.org/clusteradm
Danke für die Erklärung.

Ich verstehe das trotzdem nichts so ganz. Ein CDN soll doch die Qualität des Dienstes verbessern. Früher™, als es einfache ftp/https-Mirror gab, war vielleicht die Erreichbarkeit nur 95% statt 99% aber dafür konnte ich entspannt einen schnellen Mirror in meiner Nähe auswählen, der meine Internetverbindung komplett auslasten konnte.
Nun hat man anscheinend irgendwas kompliziertes gefrickelt, mit dem man selber nicht in der Lage ist, die (ansonsten übliche) Leistung zu bringen, und zusätzlich noch die Anforderungen so hochgeschraubt, dass niemand anderes mehr Bandbreite spenden will oder kann. Dass es in der IT heute oft so läuft überrascht mich nicht, aber von FreeBSD hätte ich da schon etwas anderes erwartet.
 
Früher™, als es einfache ftp/https-Mirror gab, war vielleicht die Erreichbarkeit nur 95% statt 99% aber dafür konnte ich entspannt einen schnellen Mirror in meiner Nähe auswählen, der meine Internetverbindung komplett auslasten konnte
Tja. Wenn das alle brav machen würden, gäbs auch kein Problem. Wenn "alle" das aber auf default lassen, wird immer nur genau ein Server belastet. Dann ist ein dynamischer pkg.freebsd.org der automatisch auf den jeweilig passenden Server verweist offenbar doch noch die bessere Lösung.
Falls Du doch einen Mirror per Hand aussuchen möchtest, bleibt Dir das ja ungenommen.

Nun hat man anscheinend irgendwas kompliziertes gefrickelt, mit dem man selber nicht in der Lage ist, die (ansonsten übliche) Leistung zu bringen, und zusätzlich noch die Anforderungen so hochgeschraubt, dass niemand anderes mehr Bandbreite spenden will oder kann.
Einfach einen Mirror bereitzustellen ist gar nicht das Problem. Die Anforderungen sind "nur" dann zu erfüllen, wenn man ein quasi offizieller Mirror sein möchte.

Dass es in der IT heute oft so läuft überrascht mich nicht, aber von FreeBSD hätte ich da schon etwas anderes erwartet.
Vielleicht sollte man zunächst die Hintergründe kennen, bevor man Dinge verurteilt.
 
Tja. Wenn das alle brav machen würden, gäbs auch kein Problem. Wenn "alle" das aber auf default lassen, wird immer nur genau ein Server belastet. Dann ist ein dynamischer pkg.freebsd.org der automatisch auf den jeweilig passenden Server verweist offenbar doch noch die bessere Lösung.
Falls Du doch einen Mirror per Hand aussuchen möchtest, bleibt Dir das ja ungenommen.
Leider gibt es ja nur noch sehr wenige, die ich manuell auswählen kann, und das führt nicht zu einem besseren Ergebnis.

Einfach einen Mirror bereitzustellen ist gar nicht das Problem. Die Anforderungen sind "nur" dann zu erfüllen, wenn man ein quasi offizieller Mirror sein möchte.
Leider auch nicht. Denn wenn ein Mirror vertrauenswürdig seien soll, muss er ja die offiziellen Pakete anbieten. FreeBSD erlaubt aber gar nicht mehr, dass man die unabhängig anbietet:
https://docs.freebsd.org/en/articles/hubs/ schrieb:
Due to very high requirements of bandwidth, storage and adminstration the FreeBSD Project has decided not to allow public mirrors of packages.

Vielleicht sollte man zunächst die Hintergründe kennen, bevor man Dinge verurteilt.
Hintergründe hin oder her, es funktioniert halt halt schlechter als früher, und schlechter als bei der Konkurrenz. Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen. Das heißt ja nicht, dass FreeBSD schlecht ist oder ich nicht dankbar bin für viel andere gute Arbeit die getan wird.
 
Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen.
Ja.
Das heißt ja nicht, dass FreeBSD schlecht ist oder ich nicht dankbar bin für viel andere gute Arbeit die getan wird.
Es klang danach. +Gemecker Richtung Inkompetenz ;)


Code:
pkg0.bbt.freebsd.org
pkg0.bme.freebsd.org
pkg0.bra.freebsd.org
pkg0.isc.freebsd.org
pkg0.jinx.freebsd.org
pkg0.kul.freebsd.org
pkg0.kwc.freebsd.org
pkg0.nyi.freebsd.org
pkg0.pkt.FreeBSD.org
pkg0.tuk.freebsd.org
pkg0.twn.freebsd.org

Einfach mal durchprobieren.
 
Leider gibt es ja nur noch sehr wenige, die ich manuell auswählen kann, und das führt nicht zu einem besseren Ergebnis.
Möglicherweise liegt der Fehler ja doch nicht auf der Serverseite. Also ich kann mich über die Geschwindigkeit nicht beklagen. Ich komme auf deutlich mehr als die von Dir angegebenen 1MB/s und ich hab bei weitem kein GBit-Anschluss.

Leider auch nicht. Denn wenn ein Mirror vertrauenswürdig seien soll, muss er ja die offiziellen Pakete anbieten
Richtig. Das Problem hast Du aber immer. Das löst man (auch bei der von Dir angedeuteten Konkurrenz) mit Signaturen, womit man sicherstellt das die Pakete die man vom Mirror zieht den Offiziellen ansprechen.

FreeBSD erlaubt aber gar nicht mehr, dass man die unabhängig anbietet:
Lustig. Erst sagst Du, Du kennst das Prozedere für einen Mirror nicht und dann verlinkst Du drauf. :-)

Hintergründe hin oder her, es funktioniert halt halt schlechter als früher, und schlechter als bei der Konkurrenz. Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen.
Klar darf man das anmerken. Aber eine Anmerkung ist immer noch etwas anderes als eine Erwartung.
 
Vielleicht liegts auch an deinem DNS? Verwendest du einen speziellen DNS Server? Bei CDNs wird gerne anhand der IP des fragenden DNS die beste Adresse rausgegeben. Wenn du mit Sitz in D aber z.b. einen Server in der Schweiz als DNS Server verwendest (z.b. Quad9) führt das zu nem schlechten Response. EDNS Client Subnet ist hierfür die Lösung.
 
Hintergründe hin oder her, es funktioniert halt halt schlechter als früher, und schlechter als bei der Konkurrenz. Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen. Das heißt ja nicht, dass FreeBSD schlecht ist oder ich nicht dankbar bin für viel andere gute Arbeit die getan wird.

Naja, es geht halt darum, dass man Anbieter und Konsumenten voneinander trennen muss. Das ist ja in der Fliegerei auch so, da ist das Cockpit auch für die Passagiere zugesperrt.

Aber im Internet war es ja ursprünglich so, dass alle gleichberechtigt sind: jeder der eine IP-Adresse hat, kann auch alle Dienste realisieren (im Gegensatz zu Zeitung oder Radio, wo man eine Druckerei oder einen Sendemast braucht).
Und wenn man da jetzt Zäune einziehen muss, um eine Trennung zu bewerkstelligen, dann geht das natürlich auf Kosten der Qualität und Performance.
 
Code:
[1/28] Fetching xorg-server-1.20.13,1.pkg: 100%    1 MiB   1.5MB/s    00:01   
[2/28] Fetching webkit2-gtk3-2.34.1.pkg: 100%   18 MiB  19.1MB/s    00:01   
[3/28] Fetching virtualbox-ose-kmod-6.1.28_1.pkg: 100%  135 KiB 138.3kB/s    00:01   
[4/28] Fetching virtualbox-ose-6.1.28_1.pkg: 100%   34 MiB  35.6MB/s    00:01   
[5/28] Fetching utf8proc-2.6.1_1.pkg: 100%   64 KiB  65.6kB/s    00:01   
[6/28] Fetching thunderbird-91.2.1_1.pkg: 100%   53 MiB  27.5MB/s    00:02   
[7/28] Fetching spidermonkey78-78.9.0_2.pkg: 100%    7 MiB   7.4MB/s    00:01   
[8/28] Fetching shared-mime-info-2.0_1.pkg: 100%  504 KiB 515.6kB/s    00:01   
[9/28] Fetching seahorse-41.0.pkg: 100%    1 MiB   1.2MB/s    00:01   
[10/28] Fetching samba412-4.12.15_2.pkg: 100%   13 MiB  13.6MB/s    00:01   
[11/28] Fetching qt5-wayland-5.15.2_3.pkg: 100%    1 MiB   1.0MB/s    00:01   
[12/28] Fetching py38-cffi-1.15.0.pkg: 100%  208 KiB 212.8kB/s    00:01   
[13/28] Fetching p5-URI-5.10.pkg: 100%   80 KiB  82.2kB/s    00:01   
[14/28] Fetching openldap24-client-2.4.59_4.pkg: 100%    1 MiB   1.0MB/s    00:01   
[15/28] Fetching openal-soft-1.21.1_2.pkg: 100%  442 KiB 452.4kB/s    00:01   
[16/28] Fetching mpg123-1.29.2.pkg: 100%  307 KiB 314.6kB/s    00:01   
[17/28] Fetching librsvg2-rust-2.52.0_1.pkg: 100%    4 MiB   4.2MB/s    00:01   
[18/28] Fetching libreoffice-7.2.2.2.pkg: 100%  123 MiB  21.5MB/s    00:06   
[19/28] Fetching htop-3.1.1.pkg: 100%   90 KiB  92.1kB/s    00:01   
[20/28] Fetching gdbm-1.22.pkg: 100%  204 KiB 208.4kB/s    00:01   
[21/28] Fetching firefox-93.0_3,2.pkg: 100%   53 MiB  13.9MB/s    00:04   
[22/28] Fetching ffmpeg-4.4.1,1.pkg: 100%    9 MiB   9.8MB/s    00:01   
[23/28] Fetching exiv2-0.27.5,1.pkg: 100%    2 MiB   1.8MB/s    00:01   
[24/28] Fetching djvulibre-3.5.28_1.pkg: 100%    3 MiB   3.1MB/s    00:01   
[25/28] Fetching cups-filters-1.28.10_1.pkg: 100%  887 KiB 908.0kB/s    00:01   
[26/28] Fetching chromium-94.0.4606.81.pkg: 100%   84 MiB  22.0MB/s    00:04   
[27/28] Fetching calibre-5.30.0.pkg: 100%   24 MiB  12.6MB/s    00:02   
[28/28] Fetching ark-21.08.2_1.pkg: 100%    1 MiB   1.4MB/s    00:01

Ich versuchte es gerade mal, wie oben zu sehen.
Normalerweise mache ich das Sonntags aber auch unter der Woche geht es doch flott genug?
Der Download ist bei mir jedenfalls kürzer, als die Nacharbeit und die fängt beim Einarbeiten der Pakete an und hört dann erst auf, wenn die neuen Versionen sich wieder so verhalten, wie ich das gerne haben möchte.
 

Wenn man sich unten die Diagramme der is und ru Server ansieht, ist da ja nicht viel los. Oder interpretiere ich das falsch?

6.1. FTP Site Statistics​


0.9% average

Und

5.2. How to Become Official Then?​

We are not accepting any new mirrors at this time.

lässt einen grübeln ....
 

Wenn man sich unten die Diagramme der is und ru Server ansieht, ist da ja nicht viel los. Oder interpretiere ich das falsch?

6.1. FTP Site Statistics​


0.9% average

Und

5.2. How to Become Official Then?​

We are not accepting any new mirrors at this time.

lässt einen grübeln ....
Das sind die FTP Server. Die Pakete für pkg liegen auf eigenen Servern.
 
Ich habe gerade mal das aktuelle Pythonpaket von allen Mirrors von meinem PC aus (300 MBit/s im Downstream) heruntergeladen:

Am schnellsten war BME. ISC hat gar nicht funktioniert und KWC war unendlich langsam:

Code:
==> bbt
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  2918k      0  0:00:05  0:00:05 --:--:-- 3849k

==> bme
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  11.3M      0  0:00:01  0:00:01 --:--:-- 11.3M

==> bra
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  3614k      0  0:00:04  0:00:04 --:--:-- 3615k

==> jinx
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  3948k      0  0:00:04  0:00:04 --:--:-- 3948k

==> kul
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  3358k      0  0:00:04  0:00:04 --:--:-- 3555k

==> kwc
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
 21 15.9M   21 3455k    0     0  46988      0  0:05:56  0:01:15  0:04:41 47015^C

==> nyi
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  7366k      0  0:00:02  0:00:02 --:--:-- 7366k

==> pkt
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  20.5M      0 --:--:-- --:--:-- --:--:-- 20.4M

==> tuk
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  4067k      0  0:00:04  0:00:04 --:--:-- 4068k

==> twn
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  2665k      0  0:00:06  0:00:06 --:--:-- 3380k

==> isc
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0^C
 
Zurück
Oben