[OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

Jeu 30 Jan 12:10:27 UTC 2020

Hello

Où c'est t'y donc que l'on trouve le .torrent ou autre lien pour essayer ?

Merki, Cyrille37

Le 30/01/2020 à 10:35, Christian Quest a écrit :
>
> Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:
>
> - l'ajout de "web seed" dans les torrents
>
> - la mise en route de mon propre tracker (avec opentracker)
>
> - la création d'un nouveau torrent pour le planet historique (80Go) 
> avec web seed et nouveau tracker
>
> - le bon content-type pour les .torrent sur osm.cquest.org
>
> - des liens symboliques "latest" vers le torrent de la dernière version
>
> A ajouter maintenant, un flux RSS...
>
>
> Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la 
> même occasion le téléchargement en HTTP, ce qui permet là aussi de 
> répartir la charge en bande passante.
>
> J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça 
> fonctionne très bien, ce qui est utile pour scripter si besoin le 
> download ;)
>
>
> Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
>> Traqueurs vides de tous clients connectés dessus, donc pas de 
>> téléchargement du tout. Les deux traqueurs n'annoncent personne 
>> (statut torrent : non annoncé, sur opentracker.org 
>> <http://opentracker.org> bien que marqué "activé" et "traqueur 
>> principal"; sur le second traqueur sur openbittorrent.com 
>> <http://openbittorrent.com> il l'est même pas pas activé, donc pas 
>> annoncé non plus).
>> Bref des traqueurs où il n'y a pas assez de persistance avec au moins 
>> un client stable pour rétablir les connexions, qui deviennent des 
>> traqueurs morts, 12 heures après.
>>
>> L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL 
>> de téléchargement sur le site openstreetmap.org 
>> <http://openstreetmap.org> (et qu'OSM lui-même devienne traqueur 
>> principal pour que les mises à jour suivent: au moins là le fichier 
>> est disponible, même si c'est avec des limitations de trafic, mais ça 
>> permettrait justement de lever les problèmes de disponibilité. Mais 
>> évidemment ça impose d'installer un traqueur torrent sur les serveurs 
>> d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux 
>> fichiers, et sinon ne désinscrivent les anciens fichiers que si ces 
>> serveurs n'ont plus la possibilité de les garder (il faudrait un 
>> délai pour avoir au moins deux versions dont la plus récente et celle 
>> d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de 
>> stockage plus les quelques Ko pour les deux fichiers traqueurs 
>> .torrent; je ne pense pas que cela nécessite beaucoup plus d'espace 
>> que ce qui est déjà nécessaire et qui tient compte aussi d'un espace 
>> de quelques % gardé libre pour la croissance régulière de la taille 
>> de ces fichiers Planet; les fichiers .torrent eux ne changeront 
>> quasiment pas de taille, mai il en faut un par fichier planet).
>>
>> C'est ce que font les principales distribs Linux (y compris pour les 
>> mises à jour de paquets pour certaines): au moins une URL normale, 
>> d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur 
>> torrent qui soulage le tout côté serveurs en ajoutant une partie de 
>> la bande passante partagée des clients connectés, et permet de 
>> télécharger encore plus vite depuis plusieurs sources simultanées 
>> incluant le site principal et les miroirs volontaires qui veulent 
>> aussi inscrire leurs fichiers sur les mêmes traqueurs.
>>
>>
>> Le mar. 28 janv. 2020 à 20:48, Christian Quest 
>> <cquest at openstreetmap.fr <mailto:cquest at openstreetmap.fr>> a écrit :
>>
>>     J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
>>
>>     Vous pouvez participer au test en téléchargeant ce fichier planet à
>>     l'aide du client BitTorrent de votre choix.
>>
>>     Attention... il fait dans les 50Go, donc il faut de la place sur
>>     disque ;)
>>
>>     J'ai 3 "seed" actifs:
>>
>>     - 1 depuis ma freebox (avec le bittorrent intégré à celle-ci),
>>     connecté
>>     par fibre
>>
>>     - 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
>>
>>     - 1 depuis une dédibox
>>
>>     Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
>>
>>
>>     Si vous pouvez notez le temps de transfert complet et/ou le débit
>>     moyen
>>     ça serait super cool pour se faire une idée de l'efficacité pour
>>     proposer ce type de distribution dans l'avenir. Indiquez aussi votre
>>     type de connexion internet et éventuellement le client bittorrent
>>     utilisé.
>>
>>     Merci d'avance !
>>
>>
>>     -- 
>>     Christian Quest - OpenStreetMap France
>>
>>
>>     _______________________________________________
>>     Talk-fr mailing list
>>     Talk-fr at openstreetmap.org <mailto:Talk-fr at openstreetmap.org>
>>     https://lists.openstreetmap.org/listinfo/talk-fr
>>
>>
>> -- 
>> Ce message a été vérifié par *MailScanner* 
>> <http://www.mailscanner.info/>
>> pour des virus ou des polluriels et rien de
>> suspect n'a été trouvé.
>>
>> _______________________________________________
>> Talk-fr mailing list
>> Talk-fr at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-fr
> -- 
> Christian Quest - OpenStreetMap France
>
> _______________________________________________
> Talk-fr mailing list
> Talk-fr at openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20200130/f3d20041/attachment.htm>