[OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:

- l'ajout de "web seed" dans les torrents

- la mise en route de mon propre tracker (avec opentracker)

- la création d'un nouveau torrent pour le planet historique (80Go) avec 
web seed et nouveau tracker

- le bon content-type pour les .torrent sur osm.cquest.org

- des liens symboliques "latest" vers le torrent de la dernière version

A ajouter maintenant, un flux RSS...


Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la 
même occasion le téléchargement en HTTP, ce qui permet là aussi de 
répartir la charge en bande passante.

J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça 
fonctionne très bien, ce qui est utile pour scripter si besoin le 
download ;)


Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
> Traqueurs vides de tous clients connectés dessus, donc pas de 
> téléchargement du tout. Les deux traqueurs n'annoncent personne 
> (statut torrent : non annoncé, sur opentracker.org 
> <http://opentracker.org> bien que marqué "activé" et "traqueur 
> principal"; sur le second traqueur sur openbittorrent.com 
> <http://openbittorrent.com> il l'est même pas pas activé, donc pas 
> annoncé non plus).
> Bref des traqueurs où il n'y a pas assez de persistance avec au moins 
> un client stable pour rétablir les connexions, qui deviennent des 
> traqueurs morts, 12 heures après.
>
> L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL 
> de téléchargement sur le site openstreetmap.org 
> <http://openstreetmap.org> (et qu'OSM lui-même devienne traqueur 
> principal pour que les mises à jour suivent: au moins là le fichier 
> est disponible, même si c'est avec des limitations de trafic, mais ça 
> permettrait justement de lever les problèmes de disponibilité. Mais 
> évidemment ça impose d'installer un traqueur torrent sur les serveurs 
> d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux 
> fichiers, et sinon ne désinscrivent les anciens fichiers que si ces 
> serveurs n'ont plus la possibilité de les garder (il faudrait un délai 
> pour avoir au moins deux versions dont la plus récente et celle 
> d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de 
> stockage plus les quelques Ko pour les deux fichiers traqueurs 
> .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace 
> que ce qui est déjà nécessaire et qui tient compte aussi d'un espace 
> de quelques % gardé libre pour la croissance régulière de la taille de 
> ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment 
> pas de taille, mai il en faut un par fichier planet).
>
> C'est ce que font les principales distribs Linux (y compris pour les 
> mises à jour de paquets pour certaines): au moins une URL normale, 
> d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur 
> torrent qui soulage le tout côté serveurs en ajoutant une partie de la 
> bande passante partagée des clients connectés, et permet de 
> télécharger encore plus vite depuis plusieurs sources simultanées 
> incluant le site principal et les miroirs volontaires qui veulent 
> aussi inscrire leurs fichiers sur les mêmes traqueurs.
>
>
> Le mar. 28 janv. 2020 à 20:48, Christian Quest 
> <cquest at openstreetmap.fr <mailto:cquest at openstreetmap.fr>> a écrit :
>
>     J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>
>     Vous pouvez participer au test en téléchargeant ce fichier planet à
>     l'aide du client BitTorrent de votre choix.
>
>     Attention... il fait dans les 50Go, donc il faut de la place sur
>     disque ;)
>
>     J'ai 3 "seed" actifs:
>
>     - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci),
>     connecté
>     par fibre
>
>     - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>
>     - 1 depuis une dédibox
>
>     Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>
>
>     Si vous pouvez notez le temps de transfert complet et/ou le débit
>     moyen
>     ça serait super cool pour se faire une idée de l'efficacité pour
>     proposer ce type de distribution dans l'avenir. Indiquez aussi votre
>     type de connexion internet et éventuellement le client bittorrent
>     utilisé.
>
>     Merci d'avance !
>
>
>     -- 
>     Christian Quest - OpenStreetMap France
>
>
>     _______________________________________________
>     Talk-fr mailing list
>     Talk-fr at openstreetmap.org <mailto:Talk-fr at openstreetmap.org>
>     https://lists.openstreetmap.org/listinfo/talk-fr
>
>
> -- 
> Ce message a été vérifié par *MailScanner* <http://www.mailscanner.info/>
> pour des virus ou des polluriels et rien de
> suspect n'a été trouvé.
>
> _______________________________________________
> Talk-fr mailing list
> Talk-fr at openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr

-- 
Christian Quest - OpenStreetMap France

-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20200130/df468c61/attachment.htm>