[osmqc-tech] Fwd: Dans trois minutes, vous aurez compris tout le processus d'import des données de la Ville

Peuc peuc at wanadoo.fr
Lun 1 Déc 08:40:35 EST 2014


Impossible de faire passer ce message sur montreal@, je teste ici


-------- Message transféré --------
Sujet : 	Dans trois minutes, vous aurez compris tout le processus
d'import des données de la Ville
Date : 	Sun, 30 Nov 2014 23:44:09 -0500
De : 	Peuc <peuc at wanadoo.fr>
Pour : 	montreal at listes.osmqc.ca <montreal at listes.osmqc.ca>



Bonjour tout le monde,

Voilà plus de deux mois que nous travaillons en coulisses pour préparer
les processus d'import des données de la Ville de Montréal, et je pense
qu'il est grand temps de faire un point sur notre avancement.

Concrètement, nous proposons le modèle suivant pour gérer les imports de
données de la Ville de manière communautaire. Ce n'est pas un schéma
restrictif sur la manière de faire, mais plutôt un socle qui servira de
base à nos efforts et qu'il est possible voire souhaitable d'adapter aux
spécificités propres à chacun des jeux de données.

1. Adoption d'un jeu de données
L'import des données ne peut se faire que s'il y a au moins une personne
dans la communauté OSM qui s'y intéresse. Logique. Il y a actuellement
une trentaine de jeux de données géographiques qui ont été recensés
<http://wiki.openstreetmap.org/wiki/Montr%C3%A9al/Imports/Ville_de_Montr%C3%A9al>.
Jetez un œil à la liste, il y en a probablement qui correspondent à vos
centres d'intérêts.

2. Documentation du jeu de données
Il va ici s'agir de voir comment ces données brutes peuvent s'intégrer
dans OpenStreetMap. Le point de départ pour cela est de comparer chacune
des informations fournies par la ville avec les tags acceptés par OSM
pour caractériser ces points d'intérêts. La page Map Features
<http://wiki.openstreetmap.org/wiki/Map_features> du wiki d'OSM est en
général d'une grande aide pour cela.
Il faut aussi imaginer comment toutes les étapes suivantes vont se
dérouler, et anticiper les éventuels problèmes et particularités de ce
jeu de données. Seul ou en groupe, le but est de rédiger sur le wiki
<http://wiki.openstreetmap.org/wiki/Montr%C3%A9al/Imports/Ville_de_Montr%C3%A9al>
une documentation claire et permettant de répondre à toutes les
questions que sont susceptibles de se poser les contributeurs
participant à cet import.

3. Appels à commentaires
Une fois la documentation considérée comme étant suffisamment complète,
c'est le moment de la présenter à tous. Venez nous présenter votre
travail de documentation en envoyant un appel à commentaire sur cette
liste de diffusion et éventuellement celle de talk-ca
<https://lists.openstreetmap.org/listinfo/talk-ca>, Il s'agira de
recueillir les avis et les idées des autres contributeurs, et de régler
tous ensemble les derniers détails ou les points manquants.
Une fois un consensus atteint entre les différents intervenants, nous
poursuivrons à l'étape suivante.

4. Préparation des données
Il nous faudra convertir les données fournies par la Ville car bien
souvent celles-ci ne sont pas dans un format directement utilisable par
nos outils, à commencer par JOSM. Pour cela, nous disposons d'une vaste
panoplie d'applications libres, à commencer par les scripts de
conversion écrits par Guillaume Pratte
<https://github.com/OsmQc/mtl2osm>, spécialement pour OSM Montréal. Le
but, c'est de réduire au maximum le travail que les contributeurs
humains auront à réaliser : les données sont converties dans le bon
format, les étiquettes sont apposées aux nœuds et aux chemins,
conformément à la documentation validée à l'étape 3.
Le processus est ici bien rôdé, et nous ne devrions pas avoir de
mauvaises surprises.

5. Découpe des jeux de données
La semi-automatisation de cette étape est ce qui a retenu le grand
lancement des processus d'import jusqu'à maintenant, mais c'était un mal
nécessaire. Il faut garder à l'esprit que certaines tâches d'importation
nécessiteront des centaines d'heures de travail, qu'il est impossible de
traiter seul.
Mais, les données une fois préparées sont accessibles dans un bloc
monolythique pour toute l'Île, et il est difficile dans ces conditions
de se répartir le travail d'importation. L'idée, c'est alors de découper
la surface totale couverte par les données en petites sous-tâches qui,
mises côte à côte recouvrent la zone de départ au complet. Et bien sûr,
cela nécessite que les données soient prédécoupées avant d'être
distribuées aux contributeurs. Aucun outil ne remplissait cette tâche
jusqu'à aujourd'hui, il a fallu à la communauté OpenStreetMap Montréal
prendre le temps de le fabriquer. C'est grâce au travail de Guillaume
Pratte et de Mathieu Leduc-Hamel (de Montréal Python
<http://www.montrealpython.org/>) que nous disposons désormais d'un
outil performant qui permet de mener à bien cette tâche
<https://github.com/OsmQc/mtl2osm>. Distribué sous licence libre, nous
souhaiterions qu'il soit réutilisé par d'autres communautés locales à
travers le monde.

6. Ajout de la tâche dans le gestionnaire de tâches
Il s'agit là de créer une nouvelle tâche sur notre Gestionnaire de
tâches <http://gt.osmqc.ca/>, et de faire en sorte que tout soit
facilement accessible à tous les contributeurs. Nous utiliserons une
copie du fantastique outil mis à disposition pour la cartographie de
crise par la communauté Humanitarian OpenStreetMap Team (HOT)
<http://hotosm.org/>. C'est par cet outil que se fera la distribution
des tâches d'import, et donc celui que vous utiliserez le plus ! Si vous
n'avez jamais participé aux imports de HOT, une bonne documentation pour
commencer à l'utiliser se trouve sur le site learnosm.org
<http://learnosm.org/en/coordination/tasking-manager/>.

7. Import réalisé par la communauté
Nous avons besoin de vous ! Toutes les tâches de travail seront à votre
disposition sur notre Gestionnaire de tâches <http://gt.osmqc.ca/> une
fois le premier import lancé ! Sélectionnez votre carré, et vous n'avez
plus qu'à suivre la documentation !

8. Vérification des données importées
Parce que quatre yeux valent mieux que deux, toute tâche marquée comme
terminée doit être validée par un autre contributeur ! Cette étape sert
de validation finale du travail effectué, alors il convient de ne pas la
négliger. C'est de cette manière que nous serons à même de faire honneur
aux données mises à notre disposition par la Ville, et d'enrichir au
mieux OpenStreetMap au niveau de Montréal !
Je ne sais pas vous, mais moi, j'ai hâte de voir le premier projet
d'import terminé à 100% !

Aujourd'hui, où en est-on ? Eh bien les nouvelles sont bonnes puisque
tout est prêt pour débuter les premiers imports ! Quelques jeux de
données simples à traiter sont d'ores et déjà documentés sur le wiki
d'OSM
<http://wiki.openstreetmap.org/wiki/Montr%C3%A9al/Imports/Ville_de_Montr%C3%A9al>.
Dans les prochains jours, nous devrions faire un appel à commentaires
(étape 3) en vue de lancer notre premier import, les Postes de police de
l'île
<http://wiki.openstreetmap.org/wiki/Montr%C3%A9al/Imports/Postes_de_police>
!

Des doutes subsistent quant au processus d'import ? N'hésitez plus, et
envoyez vos questions sur cette liste de diffusion !
Sinon, rejoignez-nous sur la liste des jeux données intéressants mis à
notre disposition par la Ville
<http://wiki.openstreetmap.org/wiki/Montr%C3%A9al/Imports/Ville_de_Montr%C3%A9al>
et aidez à la rédaction des processus d'import des données de la Ville.
C'est en travaillant tous ensemble que nous arriverons au meilleur
résultat !
Et, n'oubliez pas, nous vous donnons rendez-vous pour une rencontre des
contributeurs exceptionnelle qui aura lieu mercredi prochain, le 3
décembre à partir de 18h30 au Pèlerin-Magellan
<http://www.openstreetmap-montreal.org/rencontre-des-contributeurs-d%C3%A9cembre-2014>.

À très bientôt !

-- 

Pierre



-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://listes.osmqc.ca/pipermail/tech/attachments/20141201/d08793cd/attachment.html>


More information about the tech mailing list