[OSM-talk-fr] Statistiques sur l'activité OSM

[Pieren]

2014/1/7 Philippe Verdy <verdy_p at wanadoo.fr>:

Ca se passerait sur la liste dev-fr@ que je le laisserais couler tout
seul. Mais bon, sur une liste plus grand public, faut quand même de
temps en temps rectifier les bêtises de notre Philou pour éviter que
ça se propage.

> Et de toute façon pas besoi nde format binaire si on veut garder ces
> fonctionalités : une compression standard (zip/deflate, gzip) suffit à
> éviter d'avoir à maintenir un nouveau parseur.

Le format PBF est 50% plus petit qu'un gzip ou 30% qu'un bzip. Il est
surtout 5 à 6 fois plus rapide en lecture/écriture ([1]). C'est basé
sur une méthode développée par Google justement optimisée pour faire
mieux qu'XML ([2]). Un parser pour Python existe (imposm, [3])

> Franchement pas besoin de développer un format binaire (même les documents
> de traitement de texte ou feuilles de calcul sont maintenant en format XML
> compressé et ça marche très bien et même mieux que de maintenir les anciens
> formats binaires, trop souvent propriétaires et très mal documentés, avec
> une interopérabilité faible).

On est dans le "big data" avec des fichiers de plusieurs gigaoctets.
Comparer des fichiers planet avec des documents de traitement de texte
ou feuilles de calcul, fallait oser. Comme disait Michel Audiard ...
[4]

Pieren

[1] http://wiki.openstreetmap.org/wiki/PBF_Format
[2] https://en.wikipedia.org/wiki/Protocol_Buffers
[3] https://pypi.python.org/pypi/imposm.parser
[4] http://www.dicocitations.com/citations/citation-1255.php