[OSM-talk-fr] Héberger un mirroir ou un bittorrent pour les planet, possible?

[Christian Quest]

Le 26/01/2020 à 21:29, marc marc a écrit :
> Le 26.01.20 à 15:27, Thomas Gratier a écrit :
>> La version courte: l'ensemble de la communauté en récupérant des planet
>> complets finit par saturer la bande passante
> question courte (de la discussion qui a lieu aussi sur la ml dev) :
> pq 100 personnes ont besoin chaque semaine de télécharger le planet ?
> je crois que certains ignorent ou trouvent trop compliqué la maj
> cela implique de mieux informer et/ou rendre la maj + facile.


Je suis aussi étonné d'un besoin de téléchargement régulier du planet.

Il y a peut être une forme de paresse (plus simple) mais aussi une façon 
de se rassurer sur le "j'ai une copie identique" vis à vis d'une copie 
mise à jour avec les problèmes qui peuvent intervenir sur les mises à jour.


>> OpenStreetMap France pourrait créer un miroir et/ou une version torrent?
> l'ironie c'est que pour le moment, faire un miroir doit se faire
> par téléchargement d'un planet toute les semaine.
> le planet osm.org lui meme n'est pas produit avec les diff.
> après rien n'interdit de produire un planet non mirroir de l'original.
> cela dépend de la réponse à la question précédente.


On peut effectivement le faire, mais on tombera dans la garantie d'avoir 
quelque chose d'identique.


>
>> Un/des avis?
> une piste est de comprendre le besoin (voir point 1)
> une piste est la création d'un planet non miroir (voir point précédent)
> une piste est la création d'un miroir à la volée : pas de dl automatique
> entre osm.org et osm.fr chaque semaine mais si qlq clique sur le lien
> osm.fr, cela télécharger le dernier planet osm.org et le met à
> disposition pendant une semaine (puisqu'après il est "périmé")
> ainsi si 2 personnes téléchargent le planet via osm.fr
> il y a un gain, sans jamais provoquer de trafic inutile.
> la piste d'un miroir osm.org me semble venir après même si perso je
> serrai pour, surtout si geolimité pour favoriser l'efficacité (car il y
> a deja un outil qui télécharge sur tous les miroirs en meme temps,
> c'est très con de télécharger sur un miroir loin quand on en a un proche)

Un miroir "à la volé" ne présente de l'intérêt que si il est peu 
utilisé, si il n'est régulièrement, autant mettre à dispo dès que 
possible un fichier, pour favoriser l'usage du miroir (et simplifier son 
fonctionnement).

> Le 26.01.20 à 20:09, Christian Quest a écrit :
> > Je viens de regénérer des torrents pour le fichier planet pbf:
> > http://osm.cquest.org/torrents/
>
> créer autant de torrent mono-seed initial que de personne ayant l'idée
> d'héberger un planet en réduit l'intérêt. surtout combiné à la non
> priorisation des sources proches.
> c'est p'tre cela qui explique la non utilisation, faudrait au moins
> avoir le lien depuis la page osm.fr en attend plus communautaire.
>
> ton planet vient d'osm.org ou c'est une génération locale ?
>
Il vient d'un miroir, et je l'avais déjà sur disque car j'ai importé une 
base monde cette semaine sur ma tour nord ;)

On peut même créer des torrents "hybrides" qui peuvent utiliser des 
sources HTTP en seed... ce qui combine le téléchargement direct depuis 
de multiples serveurs miroir et le p2p entre ceux qui téléchargent.

Ces torrents sont expérimentaux, histoire de tester et valider le 
fonctionnement. Après validation et automatisation de tout ça, il 
suffira de mettre ces petits fichiers sur planet.openstreetmap.org (et 
les miroirs) pour leur donner de la visibilité et qu'ils soient 
largement partagés et utilisés. On itère ;)

Pour le download par script, lftp est un wget/curl like qui intègre 
aussi le protocole BitTorrent. A tester aussi...

La diffusion par torrent se fait déjà par exemple pour ubuntu. Lors des 
sorties de releases semestrielles, le demande en download est énorme et 
les torrents sont une bonne alternative. J'avais aussi testé la 
diffusion des sorties de modèles de prévision de météo-france, qui eux 
sont non seulement volumineux mais mis à jour toutes les 6h. Tout sort 
des serveurs de MF à Toulouse et donc le lien est saturé... le p2p n'a 
jamais été envisagé (bien que proposé comme solution) vu que c'est une 
techno trop attachée au côté "piratage".

-- 
Christian Quest - OpenStreetMap France