[Talk-se] Naturvårdsverkets nya Nationella MarktäckeData
Grigory Rechistov
ggg_mail at inbox.ru
Fri Apr 12 20:40:18 UTC 2019
Hej,
>NKA föreslog i tråden ovan att vid import av samma data överskrivs allt som inte ändrats i OSM mellan importerna
Det är enkelt genomförbart, tror jag. Varje objekt har changesetsnummer som attribut som är synlig i OSM-filen. Man ska kunna veta vilka changesetsnummer använts vid NMD-2018-importen. När det är dags att t ex importera nya NMD-2025-datat kan man jämföra changesetsnumret för varje objekt i databasen med det där importschangesetsnumret. Om de inte är lika med varandra betyder det att någon manuellt har redigerat objektet sedan första importen.
>i stället för att lämna några tusen rektangulära hål som manuellt måste fyllas?
Ja, den valda sammanblandningsstrategin är inte optimalt eftersom jag inte har tid för att komma på någon klokare lösning. Nu vill jag ägna mig åt hela importprocessen istället som är ganska lång. Om någon kan geometrien och kan bidra med python-funktioner för att jämföra (multi)polygoner på rätt sätt vill jag gärna förbättra mitt skript.
Det ska faktiskt vara ett personligt val av varje uppladdare vid uppladdning, beroende på hur mycket manuellt arbete hen vill utföra. conflate.py är nämligen sista stadiet inför uppladdningen (se diagrammen nedan). Man kan själv bestämma om man vill ändra sammanblandningsstrategin (definieras i funktionen keep_new_object()) till något mer eller mindre aggressiv eller konservativ.
Här är diagrammen som kartlägger hela importprocessen (kan även ses på länken: https://wiki.openstreetmap .org/wiki/WikiProject_Sweden/NMD_2018_Import_Plan#Data_processing_diagram). Jag har manuellt provkört alla stadier som kommer före uppladdningen. Nu vill jag automatisera alla stadier som körs före upplandningen . Det finns mycket att göra kvar, men jag är säker att det är möjligt.
Diagrammen:
+--------------------------+
|Country in single GeoTIFF |
+-----------+--------------+
| +--------------------+
| remap-raster.py | | Export to GML,
| gdal_sieve.py | | areas only
v | |
+-----------+---------------+ | |
|Cleaned-up and reclassified| | v
|GeoTiff | | +-----------+-------------+
+-----------+---------------+ | |Vector GML files +-+
| | +-------------------------+ | +------------------------+
| get-kommun-raster.sh | +--------------------------+ |main database contents +-+
| | | |exported to OSM files | |
v | | nmd-gml-to-osm.py | | |
+-----------+------------+ | v +------------------------+ |
|Individual GeoTiff files+-+ | +---------+---------------+ +------------------------+
|for kommuns | | | |OSM files with "landuse" +--+ |
+------------------------+ | | |tags | | |
+-------------------------+ | +-------------------------+ | |
| | +--------------------------+ |
| gdal_polygonize.py | | |
v | | conflate.py <-------------------+
+-----------+------------+ | v
|Vector GML files for +--+ | +---------+----------------+
|kommuns | | | |OSM files with conflation +--+
+------------------------+ | | |strategy applied | |
+--------------------------+ | +--------------------------+ |
| | +---------------------------+
| import into GRASS | |
v | | Open in JOSM
+-----------+-------------+ | v
|Vectors imported into +-+ | +---------+----------+
|GRASS GIS | | | |Manually brushed-up +--+
+-------------------------+ | | |data uploaded to the| |
+-------------------------+ | |database | |
| | +--------------------+ |
| v.generalize, | +---------------------+
| filters chaiken and | |
| douglas-peucker | | Use osmose
v | v
+------------+-------------+ | +---------+------------+
| Smoothed vectors ++ | | Problems discovered +-+
| || | | with osmose manually | |
+---------------------------| | | fixed | |
+--------------------------+ | +----------------------+ |
| | +----------------------+
+------------------------+
>Четверг, 11 апреля 2019, 21:14 +03:00 от egil <egil at riseup.net>:
>
>Hej igen
>Bra jobbat Grigory!
>Ang. större import kontinuerligt se tex: https://forum.openstreetmap.org/viewtopic.php?id=65563
>Jag har lagt in en del skog runt Härnösand och datat som nu är
> tillgängligt väsentligt bättre än vad jag lagt in.
>
>Jag undrar om vi likt bussstoppen i Norge har mera glädje på sikt av
> att överskriva redan inlagd skog i stället för att lämna några tusen
> rektangulära hål som manuellt måste fyllas? Vad tycker ni?
>
>När det gäller skog så är det min förhoppning att denna data är så
> bra att vi inte kommer behöva ändra så mkt på den framöver
> (förhoppningsvis).
>
>NKA föreslog i tråden ovan att vid import av samma data överskrivs
> allt som inte ändrats i OSM mellan importerna. Det tycker jag låter
> som en bra strategi om den är gångbar i vårt fall givet alla
> konverteringar och filtreringar hit och dit.
>
>Ang. redigeringsergonomi:
>Visst är det skönt när alla ytor är angränsande multipolygoner som
> är lagom stora och delar vägar med varann, men det är nog inte
> realistiskt att kartlägga hela Sveriges yta så tyvärr.
>
>Alternativet med NMD kommer visst att betyda stor skillnad både på
> Carto och i vektorvy, men om vi lär nykomlingar att koncentrera sig
> på annat än markytor i början så kommer det nog att gå alldeles bra.
>
>Det finns mycket att göra som inte är skog på kartan till att vi
> alla kan ha händerna fulla ändå.
>
>On 2019-04-11 19:33, Grigory Rechistov
> via Talk-se wrote:
>>Hej Erik!
>>De är rimliga farhågor.
>>
>>>10GB för Kiruna är rätt stor mängd data
>>Det är faktiskt 1,7 GB, jag mindes fel. Tänk på att a) det är rå
>> vektordata, jag ämnar gallra det ordentligt som beskrevs tidigare,
>> b) Kirunaområdet är undantaget, 82% av de 291 kommuner har
>> GML-filer mindre än 250 MB (också rådata som ska gallras).
>>
>>>Jobbet med att jämka det som finns och det som läggs in kommer
>> behöva göras igen när låt oss säga NMD 2025 kommer.
>>Låt oss importera först den data som kom år 2018 :-) Men jag har
>> redan en plan för den \ (•◡•) / Fråga mig om du är nyfiken (annars
>> brukar jag skriva mejl till denna tråd som är orimligt långa).
>> Kortfattat: att hitta och beskriva skillnaden mellan två
>> rasterbilder är i princip enklare än mellan två vektorbildar.
>>
>>>Importera påverkar också redigerar ergonomin rätt mycket.
>>Mitt syfte är att lägga till ny data som inte överstiger den
>> datavolymen som redan finns i databasen. Det vill säga, upp till
>> 100 MB ny vektor objekt för varje 100 MB som redan finns där.
>> Datauppladdningen ska ske genom JOSM-redigeraren. Om man inte kan
>> hantera ny lagret i JOSM blir det klart kännetecken att dess volym
>> är för stor. Vi får se i alla fall om det är genomförbart eller
>> inte.
>>
>>Jag vill också lägga till att att ha skogar synliga i OSM-kartan
>> är viktig för mig som kartanvändare. Olika företag (t ex hitta.se)
>> har rätt bra friluftskartor över Sverige. Jag vill att vi också
>> har ett öppen alternativ till det för Sverige och andra länder.
>>
>>
>>>Четверг, 11 апреля 2019, 11:58 +03:00 от
>>> Erik Johansson <erjohan at gmail.com> :
>>>
>>>Detta var min poäng med att inte importera för
>>> mycket terräng typer och för små polygoner, 10GB
>>> för Kiruna är rätt stor mängd data och kommer höja
>>> ribban rejält för att handskas med Sveriges osm
>>> data.
>>>
>>>Jobbet med att jämka det som finns
>>> och det som läggs in kommer behöva göras igen när
>>> låt oss säga NMD 2025 kommer. Denna import kommer
>>> göra det jobbet svårare.
>>>
>>>Importera påverkar också redigerar
>>> ergonomin rätt mycket. Är jag ensam om att tycka
>>> detta?
>>>
>>>
>>>Den tors 11 apr. 2019 10:44Grigory
>>> Rechistov via Talk-se < talk-se at openstreetmap.org >
>>> skrev:
>>>>Hej Christian, tack!
>>>>
>>>>>Det kan vara svårt att få många att
>>>> sätta upp hela kedjan av script och program
>>>> som behövs.
>>>>Jo, det är sant. Jag kunde inte föreställa
>>>> mig att jag skulle behöva så flera verktyg
>>>> och skriva så många nya skript innan jag
>>>> hade börjat arbeta med datat. Det blir väl
>>>> jobbigt för någon annan att upprepa efter
>>>> mina steg även om jag ordentligt
>>>> dokumenterar dem (och det gör jag inte…)
>>>>
>>>>>men frågan är ifall det inte vore
>>>> lättast att en person kör igenom scripten
>>>> för alla kommuner?
>>>>Det är mitt syfte. Jag ämnar förberedda
>>>> nästan färdiga OSM-filer för samtliga
>>>> kommuner själv. Sedan hjälper andra att
>>>> rätta till återstående varningar och att
>>>> ladda upp datat till OSM-databasen som sista
>>>> steget. Hittills orkar min hemdator
>>>> med beräkningsbelastningen, men ifall den
>>>> inte räcker till får jag tillgång till några
>>>> få starkare datorer för att klara sig.
>>>>
>>>>>Jag tar gärna på mig min hemkommun och
>>>> ett par andra.
>>>>Tack! Om allt går bra får jag hem
>>>> färdigställa OSM-Sverigekarta inför min
>>>> sommarsemester.
>>>>
>>>>Sålänge konverterade jag GeoTIFF:erna till
>>>> GML:erna. Här är länken: https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3 (4
>>>> GB)
>>>>Tänk på att:
>>>>1. Uppackade filer tar upp 55 GB på hårddisken
>>>>2. XML-filstorlekar varieras mellan 3 MByte
>>>> för Sundbybergs kommun till 10 (?) GByte för
>>>> Kirunas kommun.
>>>>
>>>>Mina nästa steg är:
>>>>1. Slutföra med conflation-skriptet
>>>>2. Filtrera GML-filerna och ta bort mindre
>>>> vägar (att filtrera rastern räckte tydligen
>>>> inte). Det verkar att vissa transformationer
>>>> är lättare att utföra på GML-formaterade
>>>> data än på OSM-filer. 55 GByte är
>>>> ju överdrivet.
>>>>
>>>>>Четверг, 11 апреля 2019, 9:13 +03:00 от
>>>>> Christian Asker < christian.asker at gmail.com >:
>>>>>
>>>>>Hej.
>>>>> Bra jobbat! Jag tar gärna på mig
>>>>> min hemkommun och ett par andra.
>>>>>
>>>>>Jag vet att du har lagt ned
>>>>> massa arbete redan, men frågan
>>>>> är ifall det inte vore lättast
>>>>> att en person kör igenom
>>>>> scripten för alla kommuner? Det
>>>>> kan vara svårt att få många att
>>>>> sätta upp hela kedjan av script
>>>>> och program som behövs.
>>>>>
>>>>>
>>>>>Mvh Christian
>>>>>
>>>>>
>>>>>
>>>>
>>>>Med vänliga hälsningar,
>>>>Grigory Rechistov
>>>>With best regards,
>>>>Grigory Rechistov
>>>>_______________________________________________
>>>>Talk-se mailing list
>>>>Talk-se at openstreetmap.org
>>>>https://lists.openstreetmap.org/listinfo/talk-se
>>
>>
>>С наилучшими пожеланиями,
>>Григорий Речистов.
>>Med vänliga hälsningar,
>>Grigory Rechistov
>>With best regards,
>>Grigory Rechistov
>>
>>
>>_______________________________________________
>>Talk-se mailing list
>>Talk-se at openstreetmap.org
>>https://lists.openstreetmap.org/listinfo/talk-se
>>
>_______________________________________________
>Talk-se mailing list
>Talk-se at openstreetmap.org
>https://lists.openstreetmap.org/listinfo/talk-se
С наилучшими пожеланиями,
Григорий Речистов.
Med vänliga hälsningar,
Grigory Rechistov
With best regards,
Grigory Rechistov
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.openstreetmap.org/pipermail/talk-se/attachments/20190412/fb1cf1e2/attachment-0001.html>
More information about the Talk-se
mailing list