[Hot-francophone] Pour une meilleur intégration des fichiers OSM dans le gestionnaire de tâches

Jeu 29 Jan 15:23:39 UTC 2015

J'ajoute Ben au fil de discussion, car je ne suis moi-même qu'un modeste
bénéficiaire. Je ne suis pas sûr que Ben puisse suivre et relire tout le
fil en français, de sorte que j'ai ouvert un fil à part en anglais avec
Mathieu. Mais de toute façon on donnera le fin mot de l'histoire sur
celui-ci !

Severin

2015-01-29 16:20 GMT+01:00 Mathieu Leduc-Hamel <math at arrak.org>:

> Effectivement, ça ressemble alors beaucoup à l'idée de base que nous
> avions avec le script séparé que nous avions développé. L'idée derrière
> cette nouvelle initiative c'est que nous avions l'impression que c'est
> justement le genre de fonctionalité que plusieurs personnes qui utilisent
> leur propre instance du TM. Il serait donc logique de vouloir l'intégré
> directement dans le TM plutôt que de le maintenir comme un service externe.
>
> Cela semble allez de soit d'autant plus que le TM sait déjà comment gérer
> des fichier geojson, alors pourquoi ne pas aussi lui faire comprendre
> comment gérer des fichiers OSM directement....
>
> Est-ce que ce code du service externe est disponible à quelque part ? Nous
> pourrions tirer profit du fait que vous l'avez écrit vous aussi et donc
> utiliser la meilleur implémentation de la division de fichiers OSM ?
>
> Le Thu Jan 29 2015 at 9:58:06 AM, Pierre Béland <pierzenh at yahoo.fr> a
> écrit :
>
>> Mathieu,
>>
>> si tu édites cette tâche, http://tasks.dev.hotosm.org/project/697/edit
>> tu verras dans le panneau Instructions, section
>> Per Task Instructions (optional)
>> Les instructions avec l'url vers le fichier ont été ajoutées manuellement.
>>
>> Import the UNICEF data in JOSM by clicking <a href="
>> http://localhost:8111/import?new_layer=true&url=http://build.osmsharp.com:815/data/{x}/{y}/{z}/CAR_UNICEF_Wash_DATA_v2014.osm">here</a>
>> or download the data <a href="
>> http://build.osmsharp.com:815/data/{x}/{y}/{z}/CAR_UNICEF_Wash_DATA_v2014.osm
>> ">here</a>.
>>
>> De même dans la tâche 652 pour le Libéria récemment.
>>
>> Import the UNMIL place nodes for Liberia in JOSM by clicking
>> [here](
>> http://localhost:8111/import?new_layer=true&url=http%3A%2F%2Fbuild.osmsharp.com%3A815%2Fdata%2F{x}%2F{y}%2F{z}%2FUNMIL_Liberia_Places.osm
>> <http://localhost:8111/import?new_layer=true&url=http%3A%2F%2Fbuild.osmsharp.com%3A815%2Fdata%2F%7Bx%7D%2F%7By%7D%2F%7Bz%7D%2FUNMIL_Liberia_Places.osm>)
>> or download the data [here](
>> http://build.osmsharp.com:815/data/{x}/{y}/{z}/UNMIL_Liberia_Places.osm).
>>
>>
>> Séverin, Mathieu a écrit un script et ouvert le ticket suivant pour
>> permettre d'automatiser le processus et régler le problème de division des
>> tâches que nous avons actuellement.
>> https://github.com/hotosm/osm-tasking-manager2/issues/540
>>
>> Avec des fichiers statiques comme actuellement, si un contributeur divise
>> un carré en quatre, le fichier n'est pas disponible.
>>
>> Pierre
>> *De :* Mathieu Leduc-Hamel <math at arrak.org>
>> *À :* Severin Menard <severin.menard at gmail.com>; Pierre Béland <
>> pierzenh at yahoo.fr>
>> *Cc :* "hot-francophone at openstreetmap.org" <
>> hot-francophone at openstreetmap.org>
>> *Envoyé le :* Jeudi 29 janvier 2015 9h41
>>
>> *Objet :* Re: [Hot-francophone] Pour une meilleur intégration des
>> fichiers OSM dans le gestionnaire de tâches
>>
>> Salut Severin,
>>
>> Je ne suis pas certains de comprendre exactement la façon dont vous
>> l'avez développer. Si je comprends bien c'est un service externe qui
>> pré-génère les découpage du fichier OSM voulu ? ou bien c'est une
>> fonctionalité que vous avez intégré à HOT directement ?
>> Le Thu Jan 29 2015 at 4:45:53 AM, Severin Menard <
>> severin.menard at gmail.com> a écrit :
>>
>> Bonjour à tous,
>>
>> Désolé de ne as être intervenu sur ce fil avant. En fait cette
>> possibilité a déjà été développée par Ben Abelhausen et sert depuis 2013
>> pour les imports sur la RCA et 2014 pour le Nigeria. Je ne sais pas s'il
>> avait documenté cela. En gros, il suffit à Rafael Avila Coya (il travaille
>> sur les imports NIgeria) ou moi d'uploader un fichier à importer sur le
>> serveur de Ben, créer un job et ajouter en Per task instructions quelque
>> chose comme :
>>
>> Import the UNICEF data in JOSM by clicking <a href="
>> http://localhost:8111/import?new_layer=true&url=http://build.osmsharp.com:815/data/{x}/{y}/{z}/CAR_UNICEF_Wash_DATA_v2014.osm">here</a>
>> or download the data <a href="
>> http://build.osmsharp.com:815/data/{x}/{y}/{z}/CAR_UNICEF_Wash_DATA_v2014.osm
>> ">here</a>.
>>
>> Un exemple de job, j'ai testé aussi le split de tâche, et cela marche,
>> vous pouvez essayer (mais ne pas uploader la donnée) :
>> http://tasks.dev.hotosm.org/project/697
>>
>> Je vous mets en contact avec Ben ? Je ne l'ai pas mis en copie, car il
>> est peu ou pas francophone.
>>
>> Severin
>>
>> 2015-01-26 5:12 GMT+01:00 Pierre Béland <pierzenh at yahoo.fr>:
>>
>>
>>
>> Merci Pierre
>>
>> je vais commenter à cet endroit.
>>
>> Pierre
>>
>>   ------------------------------
>>  *De :* Mathieu Leduc-Hamel <math at arrak.org>
>> *À :* Pierre Béland <pierzenh at yahoo.fr>; Pierre GIRAUD <
>> pierre.giraud at gmail.com>
>> *Cc :* "hot-francophone at openstreetmap.org" <
>> hot-francophone at openstreetmap.org>
>> *Envoyé le :* Dimanche 25 janvier 2015 21h07
>>
>> *Objet :* Re: [Hot-francophone] Pour une meilleur intégration des
>> fichiers OSM dans le gestionnaire de tâches
>>
>> Bonjour Pierre Giraud et Pierre Béland,
>>
>> Effectivement J'ai commencé à travailler avec Guillaume Pratte qui
>> s'implique aussi dans la communauté OSM à Montréal.
>>
>> J'ai déjà mon idée sur les détails d'implémentation et voilà ce que je
>> pensais faire:
>>
>> 1. J'ai ouvert un ticket sur github afin de donner plus de détails sur le
>> problème et afin de donner plus de détails d'implémentation:
>>
>> https://github.com/hotosm/osm-tasking-manager2/issues/540
>>
>> Si vous avez des commentaires ou des questions je vous propose qu'on les
>> fasse à cet endroit afin que tous aient le même feedback.
>>
>> Nous avons aussi forker le TM dans le compte de OSM Québec à l'adresse
>> suivante:
>>
>> https://github.com/OsmQc/osm-tasking-manager2
>>
>> 2. Effectivement mon plan c'était de créer une ou plusieurs nouvelles
>> vues afin d'avoir un mécanisme dynamique qui générera les données voulues.
>>
>> Merci d'avance et je vous remercis pour vos commentaires :)
>>
>>
>>
>> Le Fri Jan 23 2015 at 12:20:51 PM, Pierre Béland <pierzenh at yahoo.fr> a
>> écrit :
>>
>> Pierre Choffet, Pierre Giraud et moi Nous avons eu des discussions
>> la-dessus il y a quelques mois.
>>
>> Même si cette fonctionnalité n'est pas utilisée très souvent, elle est
>> très utile. Pour l'activation Ebola notamment, nous avons utilisé une
>> fonctionnalité similaire pour l'import des données de lieux GNS.
>>
>> Il y a cependant un problème avec l'utiilsation de liens statiques (ie.
>> fichiers préparés d'avance) si un usager utilise la fonction Diviser le
>> carré en quatre.  L'idéal serait l'utilisation d'un lien dynamique avec
>> l'appel à une fonction pour extraire la zone correspondante lorsque
>> l'usager sélectionne une tâche et clique sur le lien pour télécharger les
>> données OSM.
>>
>> Il serait intéressant que la communauté de Montréal collabore au
>> développement du Gestionnaire et ouvre un ticket pour proposer l'ajout
>> d'une telle fonction et il me fera plaisir de collaborer avec vous.
>>
>> Pierre
>>
>>   ------------------------------
>>  *De :* Pierre GIRAUD <pierre.giraud at gmail.com>
>> *À :* Mathieu Leduc-Hamel <math at arrak.org>
>> *Cc :* hot-francophone at openstreetmap.org
>> *Envoyé le :* Vendredi 23 janvier 2015 12h01
>> *Objet :* Re: [Hot-francophone] Pour une meilleur intégration des
>> fichiers OSM dans le gestionnaire de tâches
>>
>> Salut Mathieu,
>>
>> Je suis le développeur principal du Tasking Manager pour des raisons
>> historiques.
>> Je regrette de ne pas disposer de suffisamment de temps pour suivre le
>> développement de façon correcte.
>> Ces derniers temps d'autres développeurs ont aussi mis à la main à la
>> pâte et j'en suis très heureux. Mais là encore, le suivi de leur
>> travail laisse à désirer.
>> Je laisse bien trop souvent des discussions avoir lieu sans intervenir.
>>
>> En ce qui concerne ton développement. J'aurais tendance à douter de
>> l'intérêt d'intégrer ce développement dans le tasking manager
>> lui-même. Ma première impression est que cela pourrait être mis à
>> disposition via un service complètement indépendant.
>> Cette fonctionnalité est peut-être un peu trop spécifique mais je peux
>> me tromper.
>> À titre de comparaison, on imagine mal le tasking manager fournir une
>> fonctionalité qui permettrait de déposer un fichier .tiff venant d'un
>> fournisseur de d'images aérienne et que le tasking manager fournisse
>> en retour un service qui expose des tuiles images disponibles pour les
>> éditeurs.
>>
>> Je vois deux raisons grâce auxquelles la fonctionnalité que tu
>> proposes pourrait être intégrée dans le tasking manager :
>> - son intérêt est grand et son utilisation est fréquente,
>> - ça ne fait gonfler ni le code ni la base de données de façon trop
>> importante.
>>
>> Si malgré tout tu es très motivé, je trouve ça plutôt cool. Et ça
>> m'intéresse d'autant plus si tu es développeur python et que tu
>> connais pyramid. Le projet ne pourra qu'en tirer profit.
>>
>> En ce qui concerne le choix entre base de données et/ou système de
>> fichier, mon coeur balance. Je ne vois pas d'avantage pour l'un ou
>> l'autre. Sauf peut-être qu'une base de données est plus facile à
>> sauvegarder et restaurer.
>>
>> Pierre
>>
>>
>> 2015-01-23 3:28 GMT+01:00 Mathieu Leduc-Hamel <math at arrak.org>:
>> > Bonjour,
>> >
>> > Mon nom est Mathieu Leduc-Hamel. Je suis contributeur d'OSM au Québec et
>> > nous travaillons actuellement sur l'import de données de la ville de
>> > Montréal.
>> >
>> > Pour ce faire, nous utilisons le gestionnaire de tâches et nous avons
>> > développé un script:
>> >
>> >
>> https://github.com/OsmQc/mtl2osm/blob/master/mtl2osm/osm_grid_splitter.py
>> >
>> > Qui nous permet de diviser les données en grilles afin de faciliter
>> notre
>> > travail dans HOT.
>> >
>> > Par exemple ce script nous a permis de transformer ce fichier OSM:
>> >
>> >
>> https://github.com/OsmQc/mtl2osm/blob/master/mtl2osm/donnees/postes-de-quartier-de-la-police/osm/postes-police.osm
>> >
>> > En cet ensemble de fichiers organisés par niveau de zoom, x et y:
>> >
>> >
>> https://github.com/OsmQc/mtl2osm/tree/master/mtl2osm/donnees/postes-de-quartier-de-la-police/osm
>> >
>> > Afin de faciliter notre travail, vue que nous avons plusieurs fichiers
>> OSM
>> > avec lesquels nous devons travailler, nous aimerions intégrer cette
>> > fonctionnalité directement dans HOT.
>> >
>> > Étant moi même développeur Python, et travaillant aussi avec Pyramid,
>> > l'architecture de HOT m'est assez familière. Par contre, nous avons
>> > plusieurs interrogations:
>> >
>> > 1. Comment stocker les fichiers OSM, dans la db ? Sur le disque ?
>> >
>> > 2. Si on stock les données OSM dans la db, sous quelle forme ? Comme un
>> blob
>> > ou bien comme un modèle de données en tant que tel ?
>> >
>> > Nous souhaiterions avoir votre avis avant de nous lancer dans le code
>> car
>> > nous voulons être certains de respecter l'architecture et la
>> philosophie de
>> > gestionnaire de tâches.
>> >
>> > Merci
>> >
>> > Mathieu
>> >
>> >
>> >
>> >
>> > _______________________________________________
>> > Hot-francophone mailing list
>> > Hot-francophone at openstreetmap.org
>> > https://lists.openstreetmap.org/listinfo/hot-francophone
>> >
>>
>>
>>
>> --
>> -------------------------------------------------------------
>>   | Pierre GIRAUD
>>
>>
>>
>> -------------------------------------------------------------
>>
>> _______________________________________________
>> Hot-francophone mailing list
>> Hot-francophone at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/hot-francophone
>>
>>
>> _______________________________________________
>> Hot-francophone mailing list
>> Hot-francophone at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/hot-francophone
>>
>>
>>
>>
>> _______________________________________________
>> Hot-francophone mailing list
>> Hot-francophone at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/hot-francophone
>>
>>
>> _______________________________________________
>> Hot-francophone mailing list
>> Hot-francophone at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/hot-francophone
>>
>>
>>
>> _______________________________________________
>> Hot-francophone mailing list
>> Hot-francophone at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/hot-francophone
>>
>
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/hot-francophone/attachments/20150129/fad319e2/attachment-0001.html>