rsync mirror aufsetzen?

Alexco

Well-Known Member
Moin Forum,

ich habe vor einiger Zeit ein altes macOS Projekt geforkt (SIDplay for Mac OS X, von hier sidmusic), für moderne macOS Versionen angepasst und auf GitHub gestellt (GitHub). Mit Sidplay kann man die 8-Bit Musik des Commodore C64 abspielen, normalerweise die der "High Voltage SID Collection" (HVSC).
Jetzt stellt die HVSC die Updates nur in Form von .rar oder 7zip Dateien zur Verfügung, mit einem eigenen Update-Tool. Daher hat der ursprüngliche Autor einen rsync Mirror unter sidmusic.org betrieben. Leider klappt das nicht mehr so zuverlässig, daher kam mir die Idee, einen Mirror selber zu betreiben.
Das sind ca. 500MB bei 60.000 Dateien (die SID Files sind halt alle so klein...). Also bräuchte man irgendeinen Server mit rsyncd und SSH Zugang, oder?
Wie geht man sowas am besten an?
 
Guckst Du hier:

rsyncd.conf(5)

Dort findest Du weiter unten unter LAUNCHING THE RSYNC DAEMON und EXAMPLES eine Beispielconfig, die Du als Grundlange nehmen und an deine Beduerfnisse anpassen kannst.
 
Ja, klar. Ich bräuchte aber erst mal Tipps bzgl. hosten, Server, etc. Was nehme ich denn da? Womit muss ich bei den Kosten rechnen?
Eventuell gibt es ja bereits auf rsync angepasste Angebote? Ich brauche ja kein FTP, WWW,...
 
Kommt darauf an, was Deine Anforderungen sind. CPU?, Festplattengroesse?, RAID? Netzwerkanbindung? Zu erwartender Traffic? Backup? IPv6? Standort? Recoverysystem? Virtueller oder dedizierter Server? Fuer einen kleinen Service mit wenig Traffic und wenigen Daten wie in deinem Fall reicht jeder beliebige und guenstige VServer mit SSH-Zugang. Darauf laesst Du den rsyncd laufen, schaust, dass die Firewall den Port nicht blockiert und das wars eigentlich. Spezielle Server, die rsyncd als vorkonfigurierten Dienst anbieten, sind mir bei den mir bekannten Anbietern in Deutschland nicht bekannt.
 
Was genau klappt da nicht mehr zuverlässig? Oder willst du das nur für dich regelmäßig in aktuell haben?

Was mir noch auffiel:
All of the tunes available in the High Voltage SID Collection (HVSC) are copyrighted.
Bevor ich da irgendwas machen würde, würde ich mir das genaue Vorhaben erstmal abnicken lassen. Du wärst sonst nicht der erste, der aus guten Bewegggründen handelt und trotzdem ne Abmahnung etc. kassiert. ;)
 
Was genau klappt da nicht mehr zuverlässig? Oder willst du das nur für dich regelmäßig in aktuell haben?
Der Mirror ist einfach nicht mehr verfügbar, und es war der letzte, der mit rsync funktionierte.

Was mir noch auffiel:

Bevor ich da irgendwas machen würde, würde ich mir das genaue Vorhaben erstmal abnicken lassen. Du wärst sonst nicht der erste, der aus guten Bewegggründen handelt und trotzdem ne Abmahnung etc. kassiert. ;)

Ja, kann ich natürlich machen. Aber da die Songs alle schon seit Jahren von der Hauptseite frei verfügbar heruntergeladen werden können, habe ich da gerade wenig Kopfschmerzen :-).

Ok, also suche ich mir einen Anbieter, spiele dort die 500 MB an Daten ein, konfiguriere rsync entsprechend und das wars?
 
Der Mirror ist einfach nicht mehr verfügbar, und es war der letzte, der mit rsync funktionierte.
Ich würde nicht an rsync klammern, das muss es auch nicht unbedingt bis ans Ende der Zeit geben. ;)
Ok, also suche ich mir einen Anbieter, spiele dort die 500 MB an Daten ein, konfiguriere rsync entsprechend und das wars?
Ja, aber du brauchst was in der Richtung vserver/rootserver, rein nur webspace bringt dir herzlich wenig.

Wenn es dir darum geht, dass du auch einfach nur die Dateien entpackt vorliegen hast, könntest du sowas machen:
Code:
fetch https://hvsc.brona.dk/HVSC/HVSC_Update_79.7z
oder
wget https://hvsc.brona.dk/HVSC/HVSC_Update_79.7z
oder
aria2c https://hvsc.brona.dk/HVSC/HVSC_Update_79.7z
7z x HVSC_Update_79.7z
mv *.endung /usr/local/www/apache/bla

Alles mit nem cronjob wär denkbar und man könnte es auch in entpackter Form auf einen Webserver legen, den man dann wiederum mittels wget -m oder -r oder einer .endung-maske durchsuchen könnte. JDownloader gibts ebenfalls für jedes OS, da Java. Der kann übrigens automatisch nach Regeln Archive direkt nach Download entpacken und verschieben.

Dass die von HVSC nur .rar und .7z anbieten ist sinnvoll bei vielen Dateien, das werden sogar solid archive sein bei vielen sich ähnelnden Dateien. Am Ende braucht das wahrscheinlich weniger Traffic als nur einmal mit rsync abzugleichen, aber das hab ich jetzt geraten. :)
 
Ich gehe davon aus, dass man bei einem rsync-Server nur die geaenderten und neuen Musikstuecke herunterladen kann und nicht immer das ganze Archiv herunterladen muss.
 
Ähnliche Angebote sind preislich im gleichen Bereich, ein Vergleich kann sich dennoch lohnen bezüglich Traffic...bzw. ob das Mehrkosten bedeutet mit open end oder nur gedrosselt wird.
 
Zurück
Oben