[OSM-dev-fr] XAPI et autres ?

[yvecai]

On 24. 04. 11 15:58, rldhont wrote:
> Le 24/04/2011 09:59, Pierre-Alain Dorange a écrit :
>> Nicolas Dumoulin
>> <nicolas_openstreetmap.org at dumoulin63.net>
>> wrote:
>>
>>>> Quels sont les meilleurs moyens de récupérer de temps en temps (pour
>>>> mise à jour) ces données (place=* pour une zone qui couvre la france
>>>> métropolitaine) ? Mon process traite directement le format OSM (XML).
>>> Même si c'est un peu bourrin, le plus simple reste de récupérer 
>>> l'extrait
>>> pour la France sur Géofabrik (2 Go) :
>>> http://download.geofabrik.de/osm/europe/france.osm.bz2 Tu peux sinon
>>> maintenir une BD avec les diff, mais c'est peut-être plus lourd à 
>>> mettre
>>> en place.
>> Je crois en effet que je vais regarder de ce coté, mais c'est un peu
>> "bourrin" pour mon usage... Et surtout je vais devoir traiter un fichier
>> de 2 Go au lie d'un fichier de 50 Mo.
>> Merci pour l'info.
>>
>
> Essaye avec le fichier pbf, il est plus léger.
>
> _______________________________________________
> dev-fr mailing list
> dev-fr at openstreetmap.org
> http://lists.openstreetmap.org/listinfo/dev-fr
>
Salut,

Comme conseillé sur OSM-dev, osmosis te permettra de filtrer un extrait  
'France' assez efficacement.
Tu n'est pas obligé de passer par une BD complète pour ton utilisation, 
le filtrage peut se faire sur les fichiers XML.
Si tu part sur un extrait français uniquement, le fichier va grossir 
énormément si fait une mise à jour type 'daily diffs' avec osmosis, donc 
tu risque d'avoir à re-télécharger le fichier à chaque fois que tu 
souhaites mettre à jour.

Pour www.pistes-nordiques.org, j'utilise un fichier 'planet.osm.gz' 
complet de 20 Go, mis à jour lorsque cela me plait avec les daily diffs.
Ensuite, pour sortir les pistes de ski, je pourrais utiliser osmosis, 
mais j'utilise plutot Osmfilter qui permet de traiter les relations de 
manière récursives. C'est par contre un très bon outil aussi pour un 
filtrage simple comme pour les extraits que tu cherches.
http://wiki.openstreetmap.org/wiki/Osmfilter

Pour donner une idée du temps de mis à jour, voici ce que cela a donné 
la dernière fois, sur une machine avec 4Go de ram.
~8 minutes pour télécharger et préparer les 'daily diffs' avec Osmosis 
(~45 Mo par diff)
~4 heures pour mettre à jour le fichier planet (20 Go)
~environ 2 heures pour extraire les pistes de ski de fond (60Mo).
Pour Osmfilter, cela devrait être beaucoup plus court pour toi, car il 
s'agit pour moi de passer le fichier 3 fois: une pour récupérer les 
relations piste:type = nordic, puis une autre fois pour leur ways, puis 
encore pour leurs nodes.

C'est sur que cela fait un peu long, mais 1) ca évite d'encombrer le 
réseau avec des téléchargements fréquent de gros extraits, et 2) tu as 
le monde entier, enfin 3) tu peut mettre à jour autant de fois que tu le 
souhaites.

Ci-joint mes scripts de MAJ et le log ci-dessous pour onner une idée des 
temps.
Yves

mardi 19 avril 2011, 20:40:34 (UTC+0200) Update starting
mardi 19 avril 2011, 20:40:34 (UTC+0200) The last applied diff was 20110416
mardi 19 avril 2011, 20:40:34 (UTC+0200) The last available diff is 
2011-04-19
mardi 19 avril 2011, 20:40:34 (UTC+0200) 3 Daily diff to process
mardi 19 avril 2011, 20:40:34 (UTC+0200) from 20110416-20110417.osc.gz 
to 20110418-20110419.osc.gz
mardi 19 avril 2011, 20:40:34 (UTC+0200) Downloading 
20110416-20110417.osc.gz
mardi 19 avril 2011, 20:41:49 (UTC+0200) Download succeed: 
20110416-20110417.osc.gz
mardi 19 avril 2011, 20:41:49 (UTC+0200) Downloading 
20110417-20110418.osc.gz
mardi 19 avril 2011, 20:43:09 (UTC+0200) Download succeed: 
20110417-20110418.osc.gz
mardi 19 avril 2011, 20:43:09 (UTC+0200) Downloading 
20110418-20110419.osc.gz
mardi 19 avril 2011, 20:44:23 (UTC+0200) Download succeed: 
20110418-20110419.osc.gz
mardi 19 avril 2011, 20:44:23 (UTC+0200) 20110416-20110417.osc.gz MERGED 
IN merged.osc.gz
mardi 19 avril 2011, 20:45:18 (UTC+0200) 20110417-20110418.osc.gz MERGED 
TO tomerge.osc.gz IN merged.osc.gz
mardi 19 avril 2011, 20:46:33 (UTC+0200) 20110418-20110419.osc.gz MERGED 
TO tomerge.osc.gz IN merged.osc.gz
mardi 19 avril 2011, 20:46:33 (UTC+0200) Sorting changes ...
mardi 19 avril 2011, 20:48:51 (UTC+0200) Changes sorted
mardi 19 avril 2011, 20:48:51 (UTC+0200) Updating planet file ...
mercredi 20 avril 2011, 00:51:43 (UTC+0200) Planet file updated
mercredi 20 avril 2011, 00:51:44 (UTC+0200) Filtering...
mercredi 20 avril 2011, 02:42:04 (UTC+0200) Planet file filtered
mercredi 20 avril 2011, 02:42:04 (UTC+0200) planet_nordic.osm extracted
mercredi 20 avril 2011, 02:42:24 (UTC+0200) planet_nordic.osm pushed to 
server
mercredi 20 avril 2011, 02:42:24 (UTC+0200) DONE

-------------- section suivante --------------
Une pièce jointe autre que texte a été nettoyée...
Nom: planet_update.sh
Type: application/x-sh
Taille: 4820 octets
Desc: non disponible
URL: <http://lists.openstreetmap.org/pipermail/dev-fr/attachments/20110424/c1214fb9/attachment.sh>
-------------- section suivante --------------
Une pièce jointe autre que texte a été nettoyée...
Nom: filter.sh
Type: application/x-sh
Taille: 1267 octets
Desc: non disponible
URL: <http://lists.openstreetmap.org/pipermail/dev-fr/attachments/20110424/c1214fb9/attachment-0001.sh>