PKG mirror - das leidige Thema

h^2

h^2

hat ne Keule +1
Das Problem habe ich eigentlich seit der Umstellung auf "pkgng": die mirror sind einfach arschlangsam. Sowohl die automatisch ausgewählten als auch manuell ausgewählte. Es ist echt frustrierend und ich kenne das von keinem anderen freien Betriebsystem.

Dass es meine Gigabit-Leitung auslastet erwarte ich ja gar nicht, aber ich komme noch nicht mal auf 1MB/s das ist also weniger als 1% des theoretisch möglichen :grumble:

Wisst ihr was da los ist? Oder kennt ihr inoffizielle Mirror, die vernünftig laufen?
 
lme

lme

FreeBSD Committer
Als es vor 1-2 Jahren alles so furchbar langsam war, vor allem der Server bei HEANET, lag es nicht an der Netzanbindung der Server, sondern daran, dass der disk I/O am Anschlag war. Seitdem läuft es ja schon besser, aber mehr als 2-3 MB/s habe ich auch noch nicht gehabt. Da gebe ich dir Recht, dass es wirklich nicht gut läuft.
 
gadean

gadean

Well-Known Member
Ich hab es gerade bei mir mal getestet, ich kann meine 100MBit Leitung voll auslasten.
url: "pkg+http://pkg.FreeBSD.org/${ABI}/latest" (12.2-RELEASE)
 
  • Wow
Reaktionen: h^2
h^2

h^2

hat ne Keule +1
Die Isländische Domainverwaltung verwendet FreeBSD und wäre vielleicht bereit einen PKG Mirror zu betreiben; ich kenne jemand der da arbeitet. Was ist das Prozedere dafür? Die haben mir gesagt, dass ihnen in der Vergangenheit gesagt wurde, dass niemand die Pakete mirrorn soll :confused:
 
Yamagi

Yamagi

Possessed With Psi Powers
Teammitglied
h^2 schrieb:
Was ist das Prozedere dafür?
Zum Vergrößern anklicken....
Wir hatten vor einigen Jahren über einen BSDForen-Mirror nachgedacht, sind aber schnell davon abgekommen, denn die Anforderungen sind gigantisch. pkg.freebsd.org und download.freebsd.org sind Teil eines CDN und es reicht leider nicht, einfach die Daten per HTTPS bereitzustellen. Es braucht neben einer ausreichend potenten Maschine mit entsprechend Speicherplatz mindestens ein ein eigenes Subnetz mit einem VLAN-fähigen Switch und rendudante Firewalls. Alles durch das FreeBSD-Projekt verwaltet. Ansprechpartner ist clusteradm@freebsd.org: https://wiki.freebsd.org/clusteradm
 
h^2

h^2

hat ne Keule +1
Yamagi schrieb:
Wir hatten vor einigen Jahren über einen BSDForen-Mirror nachgedacht, sind aber schnell davon abgekommen, denn die Anforderungen sind gigantisch. pkg.freebsd.org und download.freebsd.org sind Teil eines CDN und es reicht leider nicht, einfach die Daten per HTTPS bereitzustellen. Es braucht neben einer ausreichend potenten Maschine mit entsprechend Speicherplatz mindestens ein ein eigenes Subnetz mit einem VLAN-fähigen Switch und rendudante Firewalls. Alles durch das FreeBSD-Projekt verwaltet. Ansprechpartner ist clusteradm@freebsd.org: https://wiki.freebsd.org/clusteradm
Zum Vergrößern anklicken....
Danke für die Erklärung.

Ich verstehe das trotzdem nichts so ganz. Ein CDN soll doch die Qualität des Dienstes verbessern. Früher™, als es einfache ftp/https-Mirror gab, war vielleicht die Erreichbarkeit nur 95% statt 99% aber dafür konnte ich entspannt einen schnellen Mirror in meiner Nähe auswählen, der meine Internetverbindung komplett auslasten konnte.
Nun hat man anscheinend irgendwas kompliziertes gefrickelt, mit dem man selber nicht in der Lage ist, die (ansonsten übliche) Leistung zu bringen, und zusätzlich noch die Anforderungen so hochgeschraubt, dass niemand anderes mehr Bandbreite spenden will oder kann. Dass es in der IT heute oft so läuft überrascht mich nicht, aber von FreeBSD hätte ich da schon etwas anderes erwartet.
 
Andy_m4

Andy_m4

Well-Known Member
h^2 schrieb:
Früher™, als es einfache ftp/https-Mirror gab, war vielleicht die Erreichbarkeit nur 95% statt 99% aber dafür konnte ich entspannt einen schnellen Mirror in meiner Nähe auswählen, der meine Internetverbindung komplett auslasten konnte
Zum Vergrößern anklicken....
Tja. Wenn das alle brav machen würden, gäbs auch kein Problem. Wenn "alle" das aber auf default lassen, wird immer nur genau ein Server belastet. Dann ist ein dynamischer pkg.freebsd.org der automatisch auf den jeweilig passenden Server verweist offenbar doch noch die bessere Lösung.
Falls Du doch einen Mirror per Hand aussuchen möchtest, bleibt Dir das ja ungenommen.

h^2 schrieb:
Nun hat man anscheinend irgendwas kompliziertes gefrickelt, mit dem man selber nicht in der Lage ist, die (ansonsten übliche) Leistung zu bringen, und zusätzlich noch die Anforderungen so hochgeschraubt, dass niemand anderes mehr Bandbreite spenden will oder kann.
Zum Vergrößern anklicken....
Einfach einen Mirror bereitzustellen ist gar nicht das Problem. Die Anforderungen sind "nur" dann zu erfüllen, wenn man ein quasi offizieller Mirror sein möchte.

h^2 schrieb:
Dass es in der IT heute oft so läuft überrascht mich nicht, aber von FreeBSD hätte ich da schon etwas anderes erwartet.
Zum Vergrößern anklicken....
Vielleicht sollte man zunächst die Hintergründe kennen, bevor man Dinge verurteilt.
 
h^2

h^2

hat ne Keule +1
Andy_m4 schrieb:
Tja. Wenn das alle brav machen würden, gäbs auch kein Problem. Wenn "alle" das aber auf default lassen, wird immer nur genau ein Server belastet. Dann ist ein dynamischer pkg.freebsd.org der automatisch auf den jeweilig passenden Server verweist offenbar doch noch die bessere Lösung.
Falls Du doch einen Mirror per Hand aussuchen möchtest, bleibt Dir das ja ungenommen.
Zum Vergrößern anklicken....
Leider gibt es ja nur noch sehr wenige, die ich manuell auswählen kann, und das führt nicht zu einem besseren Ergebnis.

Andy_m4 schrieb:
Einfach einen Mirror bereitzustellen ist gar nicht das Problem. Die Anforderungen sind "nur" dann zu erfüllen, wenn man ein quasi offizieller Mirror sein möchte.
Zum Vergrößern anklicken....
Leider auch nicht. Denn wenn ein Mirror vertrauenswürdig seien soll, muss er ja die offiziellen Pakete anbieten. FreeBSD erlaubt aber gar nicht mehr, dass man die unabhängig anbietet:
https://docs.freebsd.org/en/articles/hubs/ schrieb:
Due to very high requirements of bandwidth, storage and adminstration the FreeBSD Project has decided not to allow public mirrors of packages.
Zum Vergrößern anklicken....

Andy_m4 schrieb:
Vielleicht sollte man zunächst die Hintergründe kennen, bevor man Dinge verurteilt.
Zum Vergrößern anklicken....
Hintergründe hin oder her, es funktioniert halt halt schlechter als früher, und schlechter als bei der Konkurrenz. Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen. Das heißt ja nicht, dass FreeBSD schlecht ist oder ich nicht dankbar bin für viel andere gute Arbeit die getan wird.
 
mr44er

mr44er

moderater Moderator
Teammitglied
h^2 schrieb:
Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen.
Zum Vergrößern anklicken....
Ja.
h^2 schrieb:
Das heißt ja nicht, dass FreeBSD schlecht ist oder ich nicht dankbar bin für viel andere gute Arbeit die getan wird.
Zum Vergrößern anklicken....
Es klang danach. +Gemecker Richtung Inkompetenz ;)

FreshPorts -- ports-mgmt/fastest_pkg: Script to find the fastest pkg mirror

By default pkg uses DNS-based load balancing. This method does not necessarily choose the fastest mirror. This script can help you to find the fastest pkg mirror near you.
www.freshports.org www.freshports.org

Code: 
pkg0.bbt.freebsd.org
pkg0.bme.freebsd.org
pkg0.bra.freebsd.org
pkg0.isc.freebsd.org
pkg0.jinx.freebsd.org
pkg0.kul.freebsd.org
pkg0.kwc.freebsd.org
pkg0.nyi.freebsd.org
pkg0.pkt.FreeBSD.org
pkg0.tuk.freebsd.org
pkg0.twn.freebsd.org

Einfach mal durchprobieren.
 
Andy_m4

Andy_m4

Well-Known Member
h^2 schrieb:
Leider gibt es ja nur noch sehr wenige, die ich manuell auswählen kann, und das führt nicht zu einem besseren Ergebnis.
Zum Vergrößern anklicken....
Möglicherweise liegt der Fehler ja doch nicht auf der Serverseite. Also ich kann mich über die Geschwindigkeit nicht beklagen. Ich komme auf deutlich mehr als die von Dir angegebenen 1MB/s und ich hab bei weitem kein GBit-Anschluss.

h^2 schrieb:
Leider auch nicht. Denn wenn ein Mirror vertrauenswürdig seien soll, muss er ja die offiziellen Pakete anbieten
Zum Vergrößern anklicken....
Richtig. Das Problem hast Du aber immer. Das löst man (auch bei der von Dir angedeuteten Konkurrenz) mit Signaturen, womit man sicherstellt das die Pakete die man vom Mirror zieht den Offiziellen ansprechen.

h^2 schrieb:
FreeBSD erlaubt aber gar nicht mehr, dass man die unabhängig anbietet:
Zum Vergrößern anklicken....
Lustig. Erst sagst Du, Du kennst das Prozedere für einen Mirror nicht und dann verlinkst Du drauf. :-)

h^2 schrieb:
Hintergründe hin oder her, es funktioniert halt halt schlechter als früher, und schlechter als bei der Konkurrenz. Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen.
Zum Vergrößern anklicken....
Klar darf man das anmerken. Aber eine Anmerkung ist immer noch etwas anderes als eine Erwartung.
 
M

medV2

Well-Known Member
Vielleicht liegts auch an deinem DNS? Verwendest du einen speziellen DNS Server? Bei CDNs wird gerne anhand der IP des fragenden DNS die beste Adresse rausgegeben. Wenn du mit Sitz in D aber z.b. einen Server in der Schweiz als DNS Server verwendest (z.b. Quad9) führt das zu nem schlechten Response. EDNS Client Subnet ist hierfür die Lösung.
 
P

PMc

Well-Known Member
h^2 schrieb:
Hintergründe hin oder her, es funktioniert halt halt schlechter als früher, und schlechter als bei der Konkurrenz. Das wird man als langjähriger FreeBSD-user doch wohl anmerken dürfen. Das heißt ja nicht, dass FreeBSD schlecht ist oder ich nicht dankbar bin für viel andere gute Arbeit die getan wird.
Zum Vergrößern anklicken....

Naja, es geht halt darum, dass man Anbieter und Konsumenten voneinander trennen muss. Das ist ja in der Fliegerei auch so, da ist das Cockpit auch für die Passagiere zugesperrt.

Aber im Internet war es ja ursprünglich so, dass alle gleichberechtigt sind: jeder der eine IP-Adresse hat, kann auch alle Dienste realisieren (im Gegensatz zu Zeitung oder Radio, wo man eine Druckerei oder einen Sendemast braucht).
Und wenn man da jetzt Zäune einziehen muss, um eine Trennung zu bewerkstelligen, dann geht das natürlich auf Kosten der Qualität und Performance.
 
pit234a

pit234a

Well-Known Member
Code: 
[1/28] Fetching xorg-server-1.20.13,1.pkg: 100%    1 MiB   1.5MB/s    00:01   
[2/28] Fetching webkit2-gtk3-2.34.1.pkg: 100%   18 MiB  19.1MB/s    00:01   
[3/28] Fetching virtualbox-ose-kmod-6.1.28_1.pkg: 100%  135 KiB 138.3kB/s    00:01   
[4/28] Fetching virtualbox-ose-6.1.28_1.pkg: 100%   34 MiB  35.6MB/s    00:01   
[5/28] Fetching utf8proc-2.6.1_1.pkg: 100%   64 KiB  65.6kB/s    00:01   
[6/28] Fetching thunderbird-91.2.1_1.pkg: 100%   53 MiB  27.5MB/s    00:02   
[7/28] Fetching spidermonkey78-78.9.0_2.pkg: 100%    7 MiB   7.4MB/s    00:01   
[8/28] Fetching shared-mime-info-2.0_1.pkg: 100%  504 KiB 515.6kB/s    00:01   
[9/28] Fetching seahorse-41.0.pkg: 100%    1 MiB   1.2MB/s    00:01   
[10/28] Fetching samba412-4.12.15_2.pkg: 100%   13 MiB  13.6MB/s    00:01   
[11/28] Fetching qt5-wayland-5.15.2_3.pkg: 100%    1 MiB   1.0MB/s    00:01   
[12/28] Fetching py38-cffi-1.15.0.pkg: 100%  208 KiB 212.8kB/s    00:01   
[13/28] Fetching p5-URI-5.10.pkg: 100%   80 KiB  82.2kB/s    00:01   
[14/28] Fetching openldap24-client-2.4.59_4.pkg: 100%    1 MiB   1.0MB/s    00:01   
[15/28] Fetching openal-soft-1.21.1_2.pkg: 100%  442 KiB 452.4kB/s    00:01   
[16/28] Fetching mpg123-1.29.2.pkg: 100%  307 KiB 314.6kB/s    00:01   
[17/28] Fetching librsvg2-rust-2.52.0_1.pkg: 100%    4 MiB   4.2MB/s    00:01   
[18/28] Fetching libreoffice-7.2.2.2.pkg: 100%  123 MiB  21.5MB/s    00:06   
[19/28] Fetching htop-3.1.1.pkg: 100%   90 KiB  92.1kB/s    00:01   
[20/28] Fetching gdbm-1.22.pkg: 100%  204 KiB 208.4kB/s    00:01   
[21/28] Fetching firefox-93.0_3,2.pkg: 100%   53 MiB  13.9MB/s    00:04   
[22/28] Fetching ffmpeg-4.4.1,1.pkg: 100%    9 MiB   9.8MB/s    00:01   
[23/28] Fetching exiv2-0.27.5,1.pkg: 100%    2 MiB   1.8MB/s    00:01   
[24/28] Fetching djvulibre-3.5.28_1.pkg: 100%    3 MiB   3.1MB/s    00:01   
[25/28] Fetching cups-filters-1.28.10_1.pkg: 100%  887 KiB 908.0kB/s    00:01   
[26/28] Fetching chromium-94.0.4606.81.pkg: 100%   84 MiB  22.0MB/s    00:04   
[27/28] Fetching calibre-5.30.0.pkg: 100%   24 MiB  12.6MB/s    00:02   
[28/28] Fetching ark-21.08.2_1.pkg: 100%    1 MiB   1.4MB/s    00:01

Ich versuchte es gerade mal, wie oben zu sehen.
Normalerweise mache ich das Sonntags aber auch unter der Woche geht es doch flott genug?
Der Download ist bei mir jedenfalls kürzer, als die Nacharbeit und die fängt beim Einarbeiten der Pakete an und hört dann erst auf, wenn die neuen Versionen sich wieder so verhalten, wie ich das gerne haben möchte.
 
schorsch_76

schorsch_76

FreeBSD Fanboy
docs.freebsd.org

Mirroring FreeBSD

The all in one guide for mirroring the FreeBSD website, FTP servers, and more
docs.freebsd.org docs.freebsd.org

Wenn man sich unten die Diagramme der is und ru Server ansieht, ist da ja nicht viel los. Oder interpretiere ich das falsch?

6.1. FTP Site Statistics​


0.9% average

Und

5.2. How to Become Official Then?​

We are not accepting any new mirrors at this time.

lässt einen grübeln ....
 
lme

lme

FreeBSD Committer
schorsch_76 schrieb:
docs.freebsd.org

Mirroring FreeBSD

The all in one guide for mirroring the FreeBSD website, FTP servers, and more
docs.freebsd.org docs.freebsd.org

Wenn man sich unten die Diagramme der is und ru Server ansieht, ist da ja nicht viel los. Oder interpretiere ich das falsch?

6.1. FTP Site Statistics​


0.9% average

Und

5.2. How to Become Official Then?​

We are not accepting any new mirrors at this time.

lässt einen grübeln ....
Zum Vergrößern anklicken....
Das sind die FTP Server. Die Pakete für pkg liegen auf eigenen Servern.
 
lme

lme

FreeBSD Committer
Ich habe gerade mal das aktuelle Pythonpaket von allen Mirrors von meinem PC aus (300 MBit/s im Downstream) heruntergeladen:

Am schnellsten war BME. ISC hat gar nicht funktioniert und KWC war unendlich langsam:

Code: 
==> bbt
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  2918k      0  0:00:05  0:00:05 --:--:-- 3849k

==> bme
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  11.3M      0  0:00:01  0:00:01 --:--:-- 11.3M

==> bra
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  3614k      0  0:00:04  0:00:04 --:--:-- 3615k

==> jinx
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  3948k      0  0:00:04  0:00:04 --:--:-- 3948k

==> kul
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  3358k      0  0:00:04  0:00:04 --:--:-- 3555k

==> kwc
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
 21 15.9M   21 3455k    0     0  46988      0  0:05:56  0:01:15  0:04:41 47015^C

==> nyi
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  7366k      0  0:00:02  0:00:02 --:--:-- 7366k

==> pkt
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  20.5M      0 --:--:-- --:--:-- --:--:-- 20.4M

==> tuk
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  4067k      0  0:00:04  0:00:04 --:--:-- 4068k

==> twn
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15.9M  100 15.9M    0     0  2665k      0  0:00:06  0:00:06 --:--:-- 3380k

==> isc
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0^C
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Oben