[Talk-ro] Import în masă a localităților (automat)

[Eddy Petrișor]

Ioan Indreias a scris:
>     Eddy Petrișor a scris:
>     - Show quoted text -
>     Codul e public acum:
> 
>     http://repo.or.cz/w/osm-ro-tools.git
> 
> 
> 
> Salut Eddy,
> 
> Am vazut ca ai mai lucrat la proiectul de import. 
> 
> Pentru a fi sigur ca nu exista diferente intre structura datelor
> importate pana acum si ce se va face cu utilitarul dezvoltat de tine
> redau mai jos un extras din judetul Alba:
> 
> <node id='-5' visible='true' lat='46.020333036671254'
> lon='23.594298234285848'>
>   <tag k='name'               v='Oarda'/>
>   <tag k='siruta:code'        v='1053'/>
>   <tag k='siruta:code_sup'    v='1017'/>
>   <tag k='siruta:type'        v='10'/>
>   <tag k='siruta:county'      v='Alba'/>
>   <tag k='siruta:county_code' v='AB'/>
>   <tag k='siruta:county_id'   v='1'/>
>   <tag k='old_postal_code'    v='2515'/>
>   <tag k='is_in'              v='Alba Iulia,Alba,România'/>
>   <tag k='population'         v='1830'/>
>   <tag k='place'              v='village'/>
>   <tag k='source'             v='geo-spatial.org <http://geo-spatial.org>'/>
> 
> si un extras din sirutacsv.py
> <http://repo.or.cz/w/osm-ro-tools.git?a=blob;f=sirutacsv.py;h=627cf62cd4b11bc951c85362de47b289aae48222;hb=e6ebef69436f73e25c3e7318b420b0b8e171bfdf>
> 
> namemap = {  'X':'lon', \
>              'Y':'lat', \
>              'NAME':'name', \
>              'SIRUTA':'siruta:code', \
>              'OLD_POSTAL':'old_postal_code', \
>              'RANG':'siruta:rank', \
>              'TIP':'siruta:type', \
>              'SIRUTA_SUP':'siruta:code_sup', \
>              'NAME_SUP':'siruta:name_sup', \
>              'COUNTY':'siruta:county', \
>              'COUNTY_ID':'siruta:county_id', \
>              'COUNTY_MN':'siruta:county_code', \
>              'POP2002':'population2002', \
>              'REGION':'region', \
>              'REGION_ID':'siruta:region_id', \
>              'ENVIRO_TYP':'siruta:enviro_type', \
>              'SORT_CODE':'siruta:sortcode' }
> 
> 
> Observatiile mele sunt urmatoarele:
> 
> 1. population versus population2002 - as inclina spre population,
> population2002 nefiind (cred) un tag standard. Eventual un
> population:year_of_census=2002 - sau ceva similar?

vezi mai jos.

> 2. subtag-urile rank,region, region_id, enviro_type si sortcode eu le-am
> considerat inutile

Nu intenționez să introduc toate câmpurile, dar pentru a avea un cod
care e corect dpdv semantic, trebuia să am o mapare (mai ales că
capetele de rând erau scrise cu majuscule).

> 3. inteleg ca tag-urile is_in, place si source le adaugi ulterior, cele
> de mai sus fiind doar o mapare intre campurile datelor de intrare si
> corespondentul OSM - corect?

Da, corect.

Ideea era ca prin mapare să ajung cât mai aproape de ce apare direct în
OSM, urmând ca pentru multe din câmpuri să fac o verificare. De exemplu,
pentru population2002, mă gândeam la ceva de genul:

dacă există population deja, atunci population2002 ar putea deveni
„population:census_2002".

Încă nu mi-e clar dacă ar trebui ca is_in să fie de forma „AB;RO” sau de
forma „Alba;România”.

> Sper sa nu  te superi ca fac aceasta interventie, ideea fiind de a ne
> asigura ca suntem pe calea cea buna.

Nu, chiar deloc, și scuze că mă tot târâi cu implementarea.



Legat de idea importului am trimis un mail pe -dev să întreb dacă
utilizarea în stilul în care intenționez/inteționam eu, cu cereri pentru
fiecare localitate în parte, mi-ar putea atrage o interdicție de acces
la API:

http://lists.openstreetmap.org/pipermail/dev/2009-July/016102.html


Răspunsul lui Ævar m-a făcut să mă gândesc mai bine dacă nu cumva ar fi
o idee mai bună să am o instanță locală de postgres cu datele importate
via osmosis pentru a evita „ciocănirea” bazei de date în mod excesiv.


Oricum ar fi, am să continui lucrul mâine și duminică.



-- 
Regards,
EddyP
=============================================
"Imagination is more important than knowledge" A.Einstein

-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 197 bytes
Desc: OpenPGP digital signature
URL: <http://lists.openstreetmap.org/pipermail/talk-ro/attachments/20090711/015a4e4f/attachment.pgp>