[Talk-es] Aprovechar el Opendata de Vilanova i la Geltrú

[yo paseopor]

Buenos días

Antes de nada pido disculpas por si no relato exactamente lo que viví ayer,
por si no soy lo suficientemente técnico o correcto en mis impresiones. El
hecho de que ocurriera tarde, y de que soy novato en según que materias no
me exime de pedir disculpas si cometo alguna inexactitud o alguien se
siente ofendido por mi parte.Y por supuesto estaré encantado de que la
gente aporte y me corrija, para eso estamos, para aprender.

Ayer, frustrado por la imposibilidad, de momento, de poder hacer nada con
los 3000 comercios "a un solo clic" de mi municipio empecé a reflexionar
sobre la cuestión. Un mail a la lista pidiendo dónde estaba la licencia de
Madrid (pues era similar a la de Zaragoza y por lo tanto no haría falta
pedir permiso explícito para la ciudad maña - del palo permiso y
procedimiento Catastro, supongo) me acabó por animar a revisar todo lo
visto y conocido. Así que me fui a la "licencia" de Madrid :
http://datos.madrid.es/portal/site/egob/menuitem.3efdb29b813ad8241e830cc2a8a409a0/?vgnextoid=108804d4aab90410VgnVCM100000171f5a0aRCRD&vgnextchannel=b4c412b9ace9f310VgnVCM100000171f5a0aRCRD&vgnextfmt=default

Leyéndola , así por encima me recordó a lo que unas horas antes me había
llevado a redactar un mail a mi ayuntamiento pidiendo un permiso expreso
para OSM (puesto que lo que se iba leyendo en todos lados - grupo de
Telegram,lista, etc.- eran inputs a que una simple aclaración de la
licencia no valdría para la gente internacional de OSM. Aquí se puede ver
como la licencia que usamos en OSM , Odbl puede dar problemas en ... OSM?
http://wiki.openstreetmap.org/wiki/Import/ODbL_Compatibility)

Si leemos en  http://opendata.vilanova.cat/normesus veremos que se parece
mucho a la del consistorio madrileño. De hecho tiene pinta de que las dos
deben de ser si no una creación vía plantilla sí una transposición bastante
exacta de lo que dice la ley, ley por otro lado que se hizo con la
intención de que los ciudadanos pudiéramos usar de forma individual o
colectiva estos datos, pero que , por lo que parece pintar en todos lados
es casi inútil ese esfuerzo, habiendo de requerir permisos y montar unas
wikis espantosas (de largas, no de geniales, la wiki de importación de
datos de Madrid es ejemplar, nadie lo discute, pero a veces parece poco
asequible para proyectos puntuales y pequeños como el de mi población.)

Por lo que de entrada pasé a ver qué respuesta dieron a la importación de
Madrid . Y la respuesta por parte de un tal Elliot Plack fue bastante
buena, para mi sorpresa (pensaba que la gente de la lista de imports
llevaba cuernos y cola y echaba fuego por la boca, pero parece ser que son
algo más normalitos.) Aunque este señor no es de Washington como bromeaba
por la mañana, es de Baltimore, Maryland, especialista en derecho y temas
geográficos y tal, así que creo que puede ser una persona bastante
autorizada para hablar de ello. Y ese hombre dijo

"Great documentation on the wiki! Good luck with the process. I hope it
will be useful for folks to find bike parking."

Qué había llevado a un experto en derecho legal y geografía (consultado en
su página web, http://elliottplack.me/) a calificar una importación
española cómo de 10...Pues esto

-https://wiki.openstreetmap.org/wiki/Madrid_Bicycle_Parking_Import

Jod.. (o el taco que preferiais). Extenso , bien detallado, varias páginas.
Sí , es Madrid, sí, son nodos temáticos de muchos tipos diversos, y una
ciudad tan grande requeriría tal información. Pero si hablamos de los temas
por individual (bicis, fuentes, los greatest hits de la lista española
estos días...) son sólo 1000 y pico nodos en muchos casos.

Y me dio por mirar la categoría imports de la wiki, a ver qué otras
importaciones se habían documentado y si eran tan "archiestupendas" como la
de Madrid (no me veo montando 3 páginas de wiki, y procesos de meses, para
una cosa que pensaba yo que era un día de trabajo individual y por
contribuir rápido al mapa, la verdad.
Así que se me ocurrió mirar una que me pareció de buenas dimensiones:
Números de portal del Condado de York  de EEUU
https://wiki.openstreetmap.org/wiki/City_of_York_County_Buildings/Address_Import

jajajajajajajajajajajajajajajajajajajajajajajajajaja

Lo siento, fue lo que me salió. Para empezar es una wiki muy escueta,
cierto que se amplía en github
https://github.com/jonahadkins/yorkcounty-OSM-imports
pero aún te ríes más cuando ves las cifras del proyecto:

25,348 building footprints imported
19,246 houses
1,131 commercial/retail structures
17,486 addresses attached to buildings (68% of all structures imported have
addresses!)
817 Business Names (72& of all commercial/retail structures!)
189 Amenities Tagged

Y para todo este berenjenal , que supera el de Madrid en toneladas (no si
se hace todo de golpe, claro) sólo encuentro esta línea de licencia:
"..York County’s FOIA policy still allows our department to charge for GIS
data, however we have decided to provide some GIS data to not for profit
organizations.."

Mientras que tengo la sensación de que los españoles cada vez que queremos
hacer un clic tenemos que hacer un alegato en favor de nuestros
ayuntamientos que han decidido, en un rincón, poner los datos libres para
que podamos trastear con ellos, sin que se enteren muchos ,eso sí, en York
dijeron que si los datos van para una ONG sin ánimo de lucro pimpam.
(sí, mis frases a la una de la mañana no fueron exactamente esas pero el
razonamiento que hay detrás es el mismo)

Sorprendido cuanto menos , me seguí paseando por la categoría de imports de
la wiki. Y escogí esta otra. Algo que parecía grande y temático como por
ejemplo  https://wiki.openstreetmap.org/wiki/Cleveland_Metroparks_Import
<https://wiki.openstreetmap.org/wiki/Cleveland_Metroparks_Import> (6000
nodos) . Y me encontré con una plantilla que aún guarda frases sin editar
como

(anything in italics is from the import template).

Import Plan Outline[edit | edit source]
1. write this up.

2. send this, OSM file, to imports, imports-us, talk-us

3. incessantly pray that bikeshedding is kept to a minimum, discuss with US
community

4. Use feedback to change the .osm (including tagging, simplification, etc).

4A. Repeat steps 1-4 as necessary.

5. finally upload them. rejoice.

Fantástico, sublime, entre la plantilla observamos que "responden" con
algunos datos específicos del proyecto pero nada más-

Sigo mirando, voy a escoger un país europeo, Dinamarca, vamos a ver como
trabajan nuestros vecinos. Y como estaba en danés, distinguí alguna palabra
tipo ortofoto pero lo mejor fue el gráfico de la wiki:
https://wiki.openstreetmap.org/wiki/Da:Geodatastyrelsen ¿¿¿UN DISCO DURO???
¿¿De verdad??

Ahora la curiosidad ya salía a raudales de mí. Me llamó la atención una
importación de tipo comercial, no sé hasta qué punto hecha por la misma
empresa...o no. No la enlazo porque es demasiado extensa. Aquí el texto
completo:

"Australian BP service stations
BP allows free download of data for their Australian service stations with
lat/long co-ords in CSV format. They also offer another CSV dataset
download with the servo phone numbers, names and address.

Status[edit | edit source]
John Smith has run this import. Where the street addressing is good eg 123
Main Road, Smithtown, the co-ordinates for the location are usually close
to the real location. Where the street addressing is vague eg Coast
Highway, Smithtown, the service station may turn up many kilometres away
(current record is 32.7km).

All of these service station POIs need checking, and moving to the correct
location as appropriate. There may also be existing BP location that should
be merged with the new POIs nodes. Once the location has been confirmed,
please remove the fixme=not_reviewed tag and put in source:location=* (eg
survey or nearmap etc).

Links[edit | edit source]
The changeset: http://www.openstreetmap.org/browse/changeset/3340910
The BP source dataset:
http://www.bp.com/iframe.do?categoryId=9026935&contentId=7049357"

Ya todo extasiado por la locuacidad de algunas importaciones me encontré
con unas de mis favoritas. Sé poco del tema, así que  obvio el hecho de que
ha habido importaciones previas del mismo tema y que éstas importaciones
han sido erroneas, etc. Son muy frecuentes en la comunidad catalana las
críticas a algunas importaciones de CORINE que han dado como resultado un
mapa de masa forestal mal dimensionado y poco más que de chiste. Así que me
hizo gracia visitar en la wiki una importación sobre ella (que no estoy
diciendo que esta importación en concreto fuera causa del desastre, quede
claro) https://wiki.openstreetmap.org/wiki/Four_Corine_layers_Spain_2011

Ya era tarde,miré algunas más pero,  así ,para acabar de las destacables
hubo una que me gustó mucho. Es una de las grandes.
https://wiki.openstreetmap.org/wiki/Sardegna/Import . Vamos , todo lo que
se puede encontrar en la isla de Cerdeña. Suena a como si en Catalunya
fuéramos a gencat.cat y le diéramos a upload . Pero lo mejor no fue la
wiki, con aviso expreso de OSM. Lo mejor es la autorización escrita que
recibieron previa:
https://wiki.openstreetmap.org/w/images/7/77/Autorizzazione_sardegna_openstreetmap.pdf

No sé italiano y ya era muy tarde pero lo que mi cerebro entendió a las
tantas fue: evidentemente esto no debería ser usado para tal ya que no se
permite el uso comercial (cuanto dolor provocan esas palabras:uso
comercial)...pero por las circunstancias (inundaciones) y...porque OSM es
un gran proyecto blablablablabla (porque me sale de los coj...) tenéis
autorización expresa para hacer con los datos los que estiméis oportuno
(dentro de OSM).

En definitiva, después de 40 intensos minutos de lectura y monólogo en el
grupo de Telegram la conclusión fue que el mundo sigue girando, el
ayuntamiento puede dar una respuesta afirmativa pero puede ser no rápida, y
la preparación del proceso de importación puede ser tan complicado (hay
cosas que son asequibles, crear un usuario, hacer una página de wiki
explicando el qué se importa y para qué se importa, incluso notificación de
la importación a imports y discusión en la lista española) que hay momentos
en los que pienso en desistir.
Sé el proceso correcto y completo pero no sé si me veo preparado y con
motivación para ello, así de entrada, copio el de las fuentes de Madrid:
una sola etiqueta, unos 1000 nodos y un método de trabajo impecable...que
podría ocupar toda una vida si se llevara a cabo para una localidad
demasiado "pequeña" y que revista poco interés:

Data Transformation

-Data is in csv format. We'll process the file using a shell script and
divide it in chunks of 50 nodes for importing using xml_split.

Data Import Workflow

Team Approach
Import will be undertaken by experienced OSM volunteers, following a strict
workflow. Each volunteer will choose a file with 50 nodes and will import
them to OSM.

The workflow will be as follows:

    1. Install the TODO list JOSM plugin if the volunteer don't have it.

    2. Create, if we don't have one yet, an import specific user account,
like username_import_drinking_water_madrid (you will need a different email
account from the account you used for your regular OSM account). Change the
OSM username to that specific account in the JOSM preferences.

    3. Download one of the files with a subset of 50 nodes that hasn't been
imported yet, and write your username and mark that subset as Work in
progress in the table of Madrid_Drinking_Water_Import_Progress. Open that
file in JOSM and another file from overpass turbo with the OSM data.

    4. Activate the layer with the fountain to review.

    5 We go through all the 50 nodes, one by one, using the ToDo list. For
each node we first check its correctness, correcting any errors or typos we
may still encounter. If the node is clearly wrong or suspicious of being
wrong, it won't be imported in the first place, and it will be added to the
comments in the table of Madrid_Drinking_Water_Import_Progress, so it can
be checked afterwards by other mappers to take a decision about it. The
mapper will delete that node to make sure it won't be imported.

    6. If the fountain is already on OSM, we'll not import it.

    7. Once we have finished with all the 50 nodes, we proceed to upload
the new data to OSM with our specific import OSM account, using the
Madrid_Drinking_Water_Import#Changeset_Tags already explained.

    8. Now we go to Drinking_Water_Import_Progress and we mark the Status
for the subset as Done.)
Yo entiendo que para grandes datos y variedades a fin de evitar los
desastres del pasado haya que organizar todo este proceso. También se
podría discutir si 3000 nodos de actividad económica variados en una sola
localidad en la que acostumbran a editar siempre los mismos... 1 o 2
requerirían todo este proceso. Todos sabemos que importar datos aunque
fuera de forma "semidirecta" no se hace haciendo un clic. Hay que
clasificar los datos, hay que comprobarlos y hay que fusionarlos con los ya
existentes (o descartar ciertas importaciones) . Eso lleva varias horas de
varios días. Al final, con tanta dificultad "previa" (no hablo de hacer
todo el trabajo que requiere la importación en sí y que he mencionado
antes) la motivación de que el mapa sea más completo en mi localidad por
este procedimiento cae por su propio peso y se va esfumando, lo reconozco.
Al fin y al cabo yo ya sé dónde están las cosas en mi localidad.

Lo siento por no ser optimista, de hecho, entiendo ahora más que antes toda
la temática legal. Pero más allá de tener que conseguir un permiso por
escrito de mi ayuntamiento (me pregunto si otros proyectos colaborativos
más grandes que OSM hacen esas exigencias para su contribución en temas
locales) pienso en si después de conseguir que las instituciones publiquen
sus datos en definitiva no podamos usarlos con un procedimiento más simple
para enriquecer el mapa (que sí, que me puedo pasear por mi localidad e ir
taggeando negocios calle por calle...pero después de todo este episodio se
me pueden quitar un poco las ganas de hacerlo, almenos a mí,
particularmente.

Esta es la reflexión. En mi caso, esperando a que mi ayuntamiento conteste
para ver cual será el siguiente paso. Hace 48 horas que el mapa podría
empezar a estar más completo.Ya os avisaré cuando reciba la respuesta.

Salut i mapes
yopaseopor
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://lists.openstreetmap.org/pipermail/talk-es/attachments/20160714/42822835/attachment-0001.html>