rsync mirror aufsetzen?

Alexco

Alexco

Well-Known Member
Moin Forum,

ich habe vor einiger Zeit ein altes macOS Projekt geforkt (SIDplay for Mac OS X, von hier sidmusic), für moderne macOS Versionen angepasst und auf GitHub gestellt (GitHub). Mit Sidplay kann man die 8-Bit Musik des Commodore C64 abspielen, normalerweise die der "High Voltage SID Collection" (HVSC).
Jetzt stellt die HVSC die Updates nur in Form von .rar oder 7zip Dateien zur Verfügung, mit einem eigenen Update-Tool. Daher hat der ursprüngliche Autor einen rsync Mirror unter sidmusic.org betrieben. Leider klappt das nicht mehr so zuverlässig, daher kam mir die Idee, einen Mirror selber zu betreiben.
Das sind ca. 500MB bei 60.000 Dateien (die SID Files sind halt alle so klein...). Also bräuchte man irgendeinen Server mit rsyncd und SSH Zugang, oder?
Wie geht man sowas am besten an?
 
Guckst Du hier:

rsyncd.conf(5)

Dort findest Du weiter unten unter LAUNCHING THE RSYNC DAEMON und EXAMPLES eine Beispielconfig, die Du als Grundlange nehmen und an deine Beduerfnisse anpassen kannst.
 
Ja, klar. Ich bräuchte aber erst mal Tipps bzgl. hosten, Server, etc. Was nehme ich denn da? Womit muss ich bei den Kosten rechnen?
Eventuell gibt es ja bereits auf rsync angepasste Angebote? Ich brauche ja kein FTP, WWW,...
 
Kommt darauf an, was Deine Anforderungen sind. CPU?, Festplattengroesse?, RAID? Netzwerkanbindung? Zu erwartender Traffic? Backup? IPv6? Standort? Recoverysystem? Virtueller oder dedizierter Server? Fuer einen kleinen Service mit wenig Traffic und wenigen Daten wie in deinem Fall reicht jeder beliebige und guenstige VServer mit SSH-Zugang. Darauf laesst Du den rsyncd laufen, schaust, dass die Firewall den Port nicht blockiert und das wars eigentlich. Spezielle Server, die rsyncd als vorkonfigurierten Dienst anbieten, sind mir bei den mir bekannten Anbietern in Deutschland nicht bekannt.
 
Was genau klappt da nicht mehr zuverlässig? Oder willst du das nur für dich regelmäßig in aktuell haben?

Was mir noch auffiel:
All of the tunes available in the High Voltage SID Collection (HVSC) are copyrighted.
Zum Vergrößern anklicken....
Bevor ich da irgendwas machen würde, würde ich mir das genaue Vorhaben erstmal abnicken lassen. Du wärst sonst nicht der erste, der aus guten Bewegggründen handelt und trotzdem ne Abmahnung etc. kassiert. ;)
 
mr44er schrieb:
Was genau klappt da nicht mehr zuverlässig? Oder willst du das nur für dich regelmäßig in aktuell haben?
Zum Vergrößern anklicken....
Der Mirror ist einfach nicht mehr verfügbar, und es war der letzte, der mit rsync funktionierte.

mr44er schrieb:
Was mir noch auffiel:

Bevor ich da irgendwas machen würde, würde ich mir das genaue Vorhaben erstmal abnicken lassen. Du wärst sonst nicht der erste, der aus guten Bewegggründen handelt und trotzdem ne Abmahnung etc. kassiert. ;)
Zum Vergrößern anklicken....

Ja, kann ich natürlich machen. Aber da die Songs alle schon seit Jahren von der Hauptseite frei verfügbar heruntergeladen werden können, habe ich da gerade wenig Kopfschmerzen :-).

Ok, also suche ich mir einen Anbieter, spiele dort die 500 MB an Daten ein, konfiguriere rsync entsprechend und das wars?
 
Alexco schrieb:
Der Mirror ist einfach nicht mehr verfügbar, und es war der letzte, der mit rsync funktionierte.
Zum Vergrößern anklicken....
Ich würde nicht an rsync klammern, das muss es auch nicht unbedingt bis ans Ende der Zeit geben. ;)
Alexco schrieb:
Ok, also suche ich mir einen Anbieter, spiele dort die 500 MB an Daten ein, konfiguriere rsync entsprechend und das wars?
Zum Vergrößern anklicken....
Ja, aber du brauchst was in der Richtung vserver/rootserver, rein nur webspace bringt dir herzlich wenig.

Wenn es dir darum geht, dass du auch einfach nur die Dateien entpackt vorliegen hast, könntest du sowas machen:
Code: 
fetch https://hvsc.brona.dk/HVSC/HVSC_Update_79.7z
oder
wget https://hvsc.brona.dk/HVSC/HVSC_Update_79.7z
oder
aria2c https://hvsc.brona.dk/HVSC/HVSC_Update_79.7z
7z x HVSC_Update_79.7z
mv *.endung /usr/local/www/apache/bla

Alles mit nem cronjob wär denkbar und man könnte es auch in entpackter Form auf einen Webserver legen, den man dann wiederum mittels wget -m oder -r oder einer .endung-maske durchsuchen könnte. JDownloader gibts ebenfalls für jedes OS, da Java. Der kann übrigens automatisch nach Regeln Archive direkt nach Download entpacken und verschieben.

Dass die von HVSC nur .rar und .7z anbieten ist sinnvoll bei vielen Dateien, das werden sogar solid archive sein bei vielen sich ähnelnden Dateien. Am Ende braucht das wahrscheinlich weniger Traffic als nur einmal mit rsync abzugleichen, aber das hab ich jetzt geraten. :)
 
Ich gehe davon aus, dass man bei einem rsync-Server nur die geaenderten und neuen Musikstuecke herunterladen kann und nicht immer das ganze Archiv herunterladen muss.
 
auch der checksum check koennte bei so vielen dateien schon laenger dauern als die 500Meg am Stueck zu ziehen
 
Ähnliche Angebote sind preislich im gleichen Bereich, ein Vergleich kann sich dennoch lohnen bezüglich Traffic...bzw. ob das Mehrkosten bedeutet mit open end oder nur gedrosselt wird.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben