[Talk-dk] Bygninger fra Frederikssund Kommune - hjælp til import

Peter Brodersen peter at ter.dk
Ons Maj 1 21:32:14 UTC 2013


Lige en opdatering herfra;

Jeg har fjernet oceaner af de tomme punkter, så de skulle snart være væk
igen.

Geofabrik, som vi bruger til at hive store udtræk fra, havde ikke tidligere
i dag fået opdateret data med alle de nye bygninger, vi havde lagt ind.
Derfor kunne vi ikke lave en frisk sammenligning for at se, hvor vi
manglede at lægge bygninger ind.

Vi regner med, at det er tilfældet i morgen, hvor vi kigger på det igen.

- Peter


2013/5/1 Peter Brodersen <peter at ter.dk>

> Hej Ivar,
>
> Da jeg var ved at uploade de sidste filer, undlod serveren at svare.
> Problemstillingen er lidt, at vi uploader større mængder data, end API'et
> accepterer i én anmodning, så det skal gøres i flere (uafhængige)
> anmodninger, og derfor bliver uploaden ikke atomisk. Den risiko vil altid
> være til stede, sådan som OpenStreetMaps API er opbygget pt. uden
> transaktioner over flere uploads. Changesets er ikke atomiske i sig selv
> (et changeset kan rumme flere uafhængige uploads), og changesets har
> stadigvæk en max-begrænsning på 50.000 elementer, hvorfor der under alle
> omstændigheder skal uploades hen over flere changesets.
>
> Sådan som data typisk er struktureret, bliver alle nodes først uploadet,
> så alle bygninger (afhængig af de nodes) og så alle relationer (afhængig af
> bygninger og nodes). Når denne stopper halvvejs undervejs er der således
> blot uploadet en masse nodes. Problemet er dog begrænset, idet disse nodes
> er lette at identificere, og blot bør slettes. Langt de fleste validatorer
> vil gøre opmærksomme på, at der er nodes uden tags, og typisk er der ingen
> grund til ikke bare at slette disse. I mange andre tilfælde har jeg
> ligeledes slettet andres gamle uforbundede nodes uden tags.
>
> Jeg vil selv tjekke mistænkte områder igennem og slette de nodes, så der
> burde være ryddet pænt op. Uafhængigt af det tjekker vi så for hvilke
> bygninger, vi mangler, og igangsætter så uploaden igen.
>
> - Peter Brodersen
>
>
>
>
> 2013/5/1 Ivar Madsen <lists.openstreetmap.org at milli.dk>
>
>> **
>>
>> Hej
>>
>>
>> Godt arbejde.
>>
>>
>> Jeg læser din mail som at i ikke har konstateret at der er bygninger som
>> ikke er kommet med, men bare antager at det er.
>>
>>
>> Prøv at kik her
>> http://www.openstreetmap.org/?lat=55.83727&lon=11.96544&zoom=17&layers=M
>>
>> der er der fyldt af tilsyndeladene tomme noder, sikkert opstået ved den
>> fejl som du nævner.
>>
>>
>>
>> --
>>
>>
>> Med venlig hilsen
>>
>>
>> Ivar Madsen
>>
>> Onsdag den 1. maj 2013 03:21:50 Peter Brodersen skrev:
>>
>>
>> > Hej,
>>
>> >
>>
>> > Så er der bygninger i Frederikssund Kommune på OpenStreetMap!
>>
>> >
>>
>> > Jeg prøvede en række løsninger, men ingen virkede rigtig optimale med at
>>
>> > arbejde på store datasæt. I stedet fik jeg altid vakse Jonas Häggqvist
>>
>> > (rasher) til at hjælpe, og han lavede en opdeling på de bygning-data, vi
>>
>> > har modtaget, til henholdsvis overlappende og ikke-overlappende
>> bygninger,
>>
>> > i .osm-format med relevante tags og ID for bygningerne.
>>
>> >
>>
>> > Jeg har nu importeret (næsten) alle filerne for ikke-overlappende
>>
>> > bygninger, og det er noget, der er tydeligt i hele kommunen - fx
>>
>> > Frederikssund:
>>
>> >
>> http://www.openstreetmap.org/?lat=55.84378&lon=12.05713&zoom=16&layers=M
>>
>> >
>>
>> > De fleste bygninger er importeret, men vi skal lige køre sammenligningen
>>
>> > igen i morgen, idet OSM-serveren, der blev uploadet til, ikke altid gav
>> en
>>
>> > tilbagemelding om data var blevet modtaget korrekt. Der kan derfor
>>
>> > stadigvæk mangle ca. en 5-10 % af bygningerne, men dem lægger vi ind
>> her en
>>
>> > af dagene.
>>
>> >
>>
>> > Derefter er der en række overlap-filer, vi nok gerne vi pudse folk til
>> at
>>
>> > kigge på. Det burde være en overkommelig opgave med fx JOSM's validator
>> at
>>
>> > sammenligne med eksisterende data og fjerne de overflødige bygninger
>> eller
>>
>> > overføre tags. Mere om det senere.
>>
>> >
>>
>> > Men ellers lader det til, at vi er ved at have fået styr på metoden på
>> at
>>
>> > sammenligne datafiler med bygninger op imod eksisterende OSM-data, så
>> vi en
>>
>> > anden gang (fx for hele landet med FOT-data med afklaret licens) kan
>> lave
>>
>> > en kæmpestor import - og samtidig lave selvstændige "konflikt-filer" for
>>
>> > lige præcis de bygninger, som overlapper eksisterende bygninger. Så kan
>>
>> > folk fx hente en pakke for et område og løse overlappet.
>>
>> >
>>
>> > Importen er i øvrigt dokumenteret på wikien:
>>
>> > http://wiki.openstreetmap.org/wiki/Da:Frederikssund
>>
>> >
>>
>> > - Peter Brodersen
>>
>> >
>>
>> >
>>
>> >
>>
>> > 2013/4/23 Peter Brodersen <peter at ter.dk>
>>
>> >
>>
>> > > Hej,
>>
>> > >
>>
>> > > For ca. en måned siden importerede jeg bygninger for Jammerbugt
>> Kommune.
>>
>> > >
>>
>> > > Jeg har nu også modtaget bygninger fra Frederikssund Kommune, og jeg
>> har
>>
>> > > brug for lidt hjælp til planlægning af importen.
>>
>> > >
>>
>> > > Jeg har allerede nu lavet en række .osm-filer til import:
>>
>> > > http://osm.ter.dk/data/frederikssund/osm/
>>
>> > > .. men der er to problemstillinger, jeg kæmper med - primært ud fra
>> ikke
>>
>> > > at importere bygninger over eksisterende bygninger:
>>
>> > >
>>
>> > > 1. Bygningerne er godt spredt over hele Frederikssund, og der skal
>>
>> > > hentes
>>
>> > > en stor mængde data for at tjekke, at de ikke overlapper.
>>
>> > >
>>
>> > > 2. Der er rigtig mange bygninger tegnet ind i forvejen i
>> Frederikssund.
>>
>> > > Det er i forhold til OpenStreetMap ikke en dårlig ting; tværtimod! Det
>>
>> > > betyder dog, at der kommer til at være noget arbejde med at overføre
>>
>> > > eksisterende egenskaber til de nye bygninger.
>>
>> > >
>>
>> > > Mit udgangspunkt (og hvad jeg har kunnet se) er, at bygningerne fra
>>
>> > > kommunen er bedre i forhold til præcisionen, men mangelfulde i forhold
>>
>> > > til evt. meta-data (butik, navn, åbningstider, wifi, etc.).
>>
>> > > Informationen fra kommunen er begrænset til bygning og evt. type (åben
>>
>> > > eller lukket gylletank/silo).
>>
>> > >
>>
>> > > Det betyder, at der skal tjekkes en del manuelt. Det er som sådan også
>>
>> > > en
>>
>> > > fin ting.
>>
>> > >
>>
>> > > Så spørgsmålet er, hvordan vi lettest får importeret dem alle.
>>
>> > >
>>
>> > > - Vi kunne gøre det i fællesskab. Eventuelt med en wiki-page, hvor
>> folk
>>
>> > > bød ind på en .osm-fil, de ville importere, og efterfølgende
>> opdaterede
>>
>> > > wiki-siden, så vi kan sikre, at folk ikke laver dobbelt-arbejde.
>>
>> > >
>>
>> > > - Jeg kunne muligvis få mit program til at sortere bygningerne i
>>
>> > > grupper,
>>
>> > > så hver .osm-fils bbox kun dækker et begrænset område og ikke nærmest
>>
>> > > hele kommunen, men det vil tage lidt tid at kode.
>>
>> > >
>>
>> > > - Generelt er det min holdning, at når bygningerne er mere præcise, så
>>
>> > > er
>>
>> > > det muligt at gå ind i fx JOSM, søge efter overlappende bygninger (via
>>
>> > > validatoren), fjerne alle fra kommunens datasæt og alle, der rent
>>
>> > > faktisk
>>
>> > > har tags på (ud over source og building=yes) og så slette de
>>
>> > > tilbageværende (dvs. de eksisterende bygninger i OSM, som ikke har
>>
>> > > nogen ekstra information lagt ind).
>>
>> > >
>>
>> > > - Og muligvis kunne det være fint med et godt bbox-opslag, der trækker
>>
>> > > alle bygninger (points, ways og ikke mindst relations) ud som
>> grundlag.
>>
>> > > Dog, to bygninger i forskellige .osm-fil kan overlappe den samme
>> bygning
>>
>> > > i dette udtræk, hvilket kan føre til konflikt, hvis man vælger at
>>
>> > > slette en eksisterende bygning ved import af én fil, og senere vælger
>>
>> > > at slette samme bygning igen (ud fra det statiske udtræk) ved import
>> af
>>
>> > > en anden fil.
>>
>> > >
>>
>> > > Ellers nogen bud? Prøv eventuelt at hente én af .osm-filerne og tænk
>>
>> > > over, hvad der lige er at gøre. Det kunne være fantastisk at have nået
>>
>> > > at importere alle bygninger til 1. januar, hvor kommunen gør brug af
>> en
>>
>> > > løsning over for borgerne, hvor de benytter OSM som baggrundslag.
>>
>> > >
>>
>> > > De rå filer fra kommunen er naturligvis også tilgængelige for
>>
>> > > interesserede:
>>
>> > > http://osm.ter.dk/data/frederikssund/
>>
>> > > Min efterbehandling til .osm-filerne omfatter blandt andet at indsætte
>>
>> > > de
>>
>> > > rigtige silo-tags på og få genereret korrekte multipolygoner for
>>
>> > > bygninger med "huller" i.
>>
>> > >
>>
>> > > - Peter Brodersen
>>
>> _______________________________________________
>> Talk-dk mailing list
>> Talk-dk at openstreetmap.org
>> http://lists.openstreetmap.org/listinfo/talk-dk
>>
>>
>
-------------- næste del --------------
En HTML-vedhæftning blev fjernet...
URL: <http://lists.openstreetmap.org/pipermail/talk-dk/attachments/20130501/7850b72b/attachment-0001.html>


Mere information om maillisten Talk-dk.