[OSM-talk-fr] OSM 2 CSV : l'open data d'OSM pour tous publics ?

Ven 6 Déc 10:01:27 UTC 2013

Merci Christian.
Aujourd'hui l'overpass-api est sans doute très intéressante pour les 
développeurs mais inaccessible pour, par exemple, l'étudiant en histoire 
qui fait un mémoire sur le culte de Saint Clair et qui cherche la 
répartition géographique des églises vouées à ce Saint. Je peux 
multiplier les exemples de cas d'usage si ça vous intéresse, mais il y a 
beaucoup de monde qui est incapable d'aborder des données autrement que 
par un format tabulaire de type CSV (ods et xls étant même encore plus 
accessibles).

Je crois que la plupart des gens qui savent utiliser Excel ou 
LibreOffice Calc ne savent pas charger un XML dedans. Quand bien même 
ils le sauraient ça les obligeraient à importer d'énormes fichiers .osm 
pour retrouver leurs petits.

Ce dont je parle c'est la capacité de néophytes à récupérer et lire en 
quelques clics des données d'OSM dans Excel ou LibreOffice pour des 
usages simples : quand je veux calculer la densité de piscine publiques 
dans mon département, je devrais pouvoir faire ça dans un tableur. Et ce 
tableau des piscines je vais peut-être avoir envie de l'enrichir en 
ajoutant les horaires d'entrées et je vais donc m'intéresser un peu plus 
à OSM pour comprendre comment contribuer.

Christian je te propose de démarrer des choses simples et 
opérationnelles dès maintenant :
1. une maquette de page qui hébergerait ces données (je l'héberge sur le 
wiki ou sur Github comme ça d'autres pourront contribuer)
2. un ou des scripts bash un peu génériques qui réalisent les 
conversions voulues (idem + les fichiers produits seront hébergés sur 
mon site dans un premier temps)
3. une fois que tout ça tourne dans un cron, je publie ça ici et vous me 
faites un retour sur l'opportunité de publier ça sur openstreetmap.fr 
(ou pas)

Ça te va ?

ChN

Le 05/12/2013 19:26, Christian Quest a écrit :
> Je partage tout à fait ton constat.
>
> Favoriser la réutilisation autre que le production de carte passe par 
> des outils pour transformer les données OSM dans des formats moins 
> "géographiques".
>
> Il y a l'overpass-api qui permet déjà pas mal de choses, surtout des 
> sorties en json en plus de l'XML habituel.
> On peut écrire des requêtes relativement compacte pour sélectionner 
> des objets géographiquement et sémantiquement.
>
> Il manque juste des convertisseurs de formats à l'overpass pour sortir 
> les résultats en:
> - geojson
> - csv
> - svg
> - kml
> ...
>
> Ca démultiplierai les réutilisations et donc l'adoption d'OSM.
>
> A chaque hackathon où je suis présent comme mentor, je montre 
> l'overpass et les développeurs découvre (enfin ?) à quoi OSM peut leur 
> servir autrement que comme fond de carte pour remplacer Google...
>
>
>
>
> Le 5 décembre 2013 19:13, Charles Nepote <charles at nepote.org 
> <mailto:charles at nepote.org>> a écrit :
>
>     Bonjour à tous !
>
>     **Résumé du message** : comment diffuser et voir réutilisées les
>     données d'OSM auprès d'un public plus large, qui, dans un cercle
>     vertueux, pourra devenir contributeur.
>
>     Souvent j'ai l'occasion de dire ici ou là que "telle donnée est
>     dispo dans OSM". Par ailleurs, je pousse depuis un certains temps
>     les acteurs publics à référencer sur leurs portails les données
>     d'OSM : ainsi de Montpellier, le CG de la Gironde, la Région PACA,
>     etc.
>
>     Mais aujourd'hui, les jeux de données ou les outils de
>     consultation d'OSM ont du mal à répondre à plein de petits cas
>     tout simples comme : "je veux la liste des pharmacies de ma
>     région". Et "je veux pouvoir manipuler cette liste dans mon
>     tableur favori parce que c'est l'outil que je connais bien".
>
>     Je me suis donc interrogé : comment produit-on simplement des
>     données d'OSM sous forme de fichiers CSV ? Je sais bien que tout
>     n'est pas extractible en CSV mais il y a un champ d'usage immense
>     sur les données comme :
>     * les bâtiments publics
>     * les médecins, hôpitaux, pharmacie...
>     * les lieux/services de secours (casernes de pompier,
>     défibrilateurs, pompes incendies, téléphones de secours)
>     * les lieux de culture (Théâtres, Musées, etc.)
>     * les lieux d'histoire et du patrimoine
>     * les arrêts de transports en commun
>     * les terrains/équipements sportifs
>     * les lieux touristiques
>     * les systèmes de surveillance (caméras de surveillance)
>     * les commerces
>     * les hameaux
>     * les services relatifs aux déchets (bennes de recyclage,
>     poubelles, déchetteries, composteurs publics, etc.)
>     * etc.
>
>     Je suis donc allé grenouiller dans les outils (je précise que je
>     n'ai jamais installé QGIS, Postgis, etc., je n'ai jamais utilisé
>     l'API OSM, je ne fais pas dev mais j'ai quelques années
>     d'expérience sous Linux).
>     Et le plus simple que j'ai trouvé c'est la combinaison de
>     osmconvert e et osmfilter.
>     http://wiki.openstreetmap.org/wiki/Osmconvert
>     http://wiki.openstreetmap.org/wiki/Osmfilter
>
>     Je peux obtenir le fichier CSV de toutes les pharmacies de PACA en
>     4 lignes de commande :
>     $ wget
>     http://download.geofabrik.de/europe/france/provence-alpes-cote-d-azur-latest.osm.pbf
>     # télécharge le fichier OSM de la Région PACA
>     $ ./osmconvert32 provence-alpes-cote-d-azur-latest.osm.pbf
>     -o=provence-alpes-cote-d-azur-latest.o5m # conversion du dit
>     fichier dans un format lisible pour osmfilter
>     $ ./osmfilter32 provence-alpes-cote-d-azur-latest.o5m
>     --keep="amenity=pharmacy" > PACA-pharmacies.o5m # filtrage
>     proprement dit pour ne retenir que les pharmacies
>     $ ./osmconvert32 PACA-pharmacies.o5m --all-to-nodes --csv="@id
>     @lon @lat amenity shop name" --csv-headline > PACA-pharmacies.csv
>     # conversion du fichier filtré en CSV
>
>     (Peut-être qu'on peut faire encore plus simple et plus rapide mais
>     cette méthode à l'avantage d'être scriptable et automatisable
>     facilement pour publier ces fichiers sur un serveur web.)
>     Résultat : 1220 pharmacies identifiées et géolocalisées. J'aurais
>     pu ajouter les adresses, les téléphones, etc. quand ils sont
>     renseignés (c'est rare). (Il y a cependant des petits problèmes
>     dans ce fichier comme les distributeurs de préservatifs (n'est-ce
>     pas utilisateur cquest
>     http://www.openstreetmap.org/node/2368452297 :D .)
>     Il faut compter environ 8-10 minutes pour l'ensemble du process
>     sur ma machine (compris le téléchargement des 200+ Mo du fichier
>     PACA).
>
>     **Pourquoi je creuse ça ?**
>     * OSM est une platforme déjà bien en place pour crowdsourcer
>     énormément de données et s'enrichit à grande vitesse
>     * OSM a une dimension nationale et internationale
>     * Mais OSM a du mal à fournir ses données autrement que par la
>     carte ou par des fichiers XML assez obscurs et difficiles à
>     manipuler par le néophyte (je caricature un peu et je ne connais
>     sans doute pas toutes les initiatives)
>     * Produire régulièrement des extractions en CSV devrait permettre :
>         1. de fournir des données à des néophytes qui pourront la
>     réutiliser de manière simple
>         2. de permettre à des tas de gens de découvrir et utiliser OSM
>     comme plateforme de coproduction de données
>         3. de faciliter la coproduction de certains types de données :
>     avec ces tableaux, je peux maintenant plus facilement organiser
>     une cartopartie thématique sur les cinémas, les bibliothèques, les
>     sex shop ou que sais-je encore...
>
>     Aujourd'hui, un des problèmes des fichiers open data des acteurs
>     publics est que le feedback (ajouts, correction) est une
>     fonctionnalité très mal organisée (c'est un euphémisme). OSM
>     permet d'aller au-delà.
>
>     Ma question est la suivante : est-ce que ça ne vaudrait pas le
>     coup de réserver un espace, par exemple sur
>     http://openstreetmap.fr , où publier de l'information pré-mâchée
>     en CSV ?
>     L'idéal pourrait aller jusqu'à fournir une interface permettant de
>     générer soit-même des fichiers en rendant public ces fichiers pour
>     les autres.
>     Je veux bien aider à la définition des catégories de données et je
>     passerai aussi du temps à convaincre les acteurs publics de
>     référencer ces données sur leurs portails open data.
>     Qu'en pensez-vous ?
>
>
>     Charles Nepote.
>     http://www.openstreetmap.org/user/CharlesNepote
>
>
>     _______________________________________________
>     Talk-fr mailing list
>     Talk-fr at openstreetmap.org <mailto:Talk-fr at openstreetmap.org>
>     https://lists.openstreetmap.org/listinfo/talk-fr
>
>
>
>
> -- 
> Christian Quest - OpenStreetMap France
> Un nouveau serveur pour OSM... http://donate.osm.org/server2013/

-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20131206/fb6b48d7/attachment.htm>