<HTML><BODY>Hej,<br><br>>NKA föreslog i tråden ovan att vid import av samma data överskrivs allt som inte ändrats i OSM mellan importerna<br>Det är enkelt genomförbart, tror jag. Varje objekt har changesetsnummer som attribut som är synlig i OSM-filen. Man ska kunna veta vilka changesetsnummer använts vid NMD-2018-importen. När det är dags att t ex importera nya NMD-2025-datat kan man jämföra changesetsnumret för varje objekt i databasen med det där importschangesetsnumret. Om de inte är lika med varandra betyder det att någon manuellt har redigerat objektet sedan första importen.<br><br>>i stället för att lämna några tusen rektangulära hål som manuellt måste fyllas?<br>Ja, den valda sammanblandningsstrategin är inte optimalt eftersom jag inte har tid för att komma på någon klokare lösning. Nu vill jag ägna mig åt hela importprocessen istället som är ganska lång. Om någon kan geometrien och kan bidra med python-funktioner för att jämföra (multi)polygoner på rätt sätt vill jag gärna förbättra mitt skript.<br><br>Det ska faktiskt vara ett personligt val av varje uppladdare vid uppladdning, beroende på hur mycket manuellt arbete hen vill utföra. conflate.py är nämligen sista stadiet inför uppladdningen (se diagrammen nedan). Man kan själv bestämma om man vill ändra sammanblandningsstrategin (definieras i funktionen keep_new_object()) till något mer eller mindre aggressiv eller konservativ.<br><br>Här är diagrammen som kartlägger hela importprocessen (kan även ses på länken: <a href="https://wiki.openstreetmap">https://wiki.openstreetmap</a>.org/wiki/WikiProject_Sweden/NMD_2018_Import_Plan#Data_processing_diagram). Jag har manuellt provkört alla stadier som kommer före uppladdningen. Nu vill jag automatisera alla stadier som körs före upplandningen . Det finns mycket att göra kvar, men jag är säker att det är möjligt.<br><br><br>Diagrammen:<br><br><span style="font-family: courier new, courier;"> +--------------------------+</span><br><span style="font-family: courier new, courier;"> |Country in single GeoTIFF |</span><br><span style="font-family: courier new, courier;"> +-----------+--------------+</span><br><span style="font-family: courier new, courier;"> | +--------------------+</span><br><span style="font-family: courier new, courier;"> | remap-raster.py | | Export to GML,</span><br><span style="font-family: courier new, courier;"> | gdal_sieve.py | | areas only</span><br><span style="font-family: courier new, courier;"> v | |</span><br><span style="font-family: courier new, courier;"> +-----------+---------------+ | |</span><br><span style="font-family: courier new, courier;"> |Cleaned-up and reclassified| | v</span><br><span style="font-family: courier new, courier;"> |GeoTiff | | +-----------+-------------+</span><br><span style="font-family: courier new, courier;"> +-----------+---------------+ | |Vector GML files +-+</span><br><span style="font-family: courier new, courier;"> | | +-------------------------+ | +------------------------+</span><br><span style="font-family: courier new, courier;"> | get-kommun-raster.sh | +--------------------------+ |main database contents +-+</span><br><span style="font-family: courier new, courier;"> | | | |exported to OSM files | |</span><br><span style="font-family: courier new, courier;"> v | | nmd-gml-to-osm.py | | |</span><br><span style="font-family: courier new, courier;"> +-----------+------------+ | v +------------------------+ |</span><br><span style="font-family: courier new, courier;"> |Individual GeoTiff files+-+ | +---------+---------------+ +------------------------+</span><br><span style="font-family: courier new, courier;"> |for kommuns | | | |OSM files with "landuse" +--+ |</span><br><span style="font-family: courier new, courier;"> +------------------------+ | | |tags | | |</span><br><span style="font-family: courier new, courier;"> +-------------------------+ | +-------------------------+ | |</span><br><span style="font-family: courier new, courier;"> | | +--------------------------+ |</span><br><span style="font-family: courier new, courier;"> | gdal_polygonize.py | | |</span><br><span style="font-family: courier new, courier;"> v | | conflate.py <-------------------+</span><br><span style="font-family: courier new, courier;"> +-----------+------------+ | v</span><br><span style="font-family: courier new, courier;"> |Vector GML files for +--+ | +---------+----------------+</span><br><span style="font-family: courier new, courier;"> |kommuns | | | |OSM files with conflation +--+</span><br><span style="font-family: courier new, courier;"> +------------------------+ | | |strategy applied | |</span><br><span style="font-family: courier new, courier;"> +--------------------------+ | +--------------------------+ |</span><br><span style="font-family: courier new, courier;"> | | +---------------------------+</span><br><span style="font-family: courier new, courier;"> | import into GRASS | |</span><br><span style="font-family: courier new, courier;"> v | | Open in JOSM</span><br><span style="font-family: courier new, courier;"> +-----------+-------------+ | v</span><br><span style="font-family: courier new, courier;"> |Vectors imported into +-+ | +---------+----------+</span><br><span style="font-family: courier new, courier;"> |GRASS GIS | | | |Manually brushed-up +--+</span><br><span style="font-family: courier new, courier;"> +-------------------------+ | | |data uploaded to the| |</span><br><span style="font-family: courier new, courier;"> +-------------------------+ | |database | |</span><br><span style="font-family: courier new, courier;"> | | +--------------------+ |</span><br><span style="font-family: courier new, courier;"> | v.generalize, | +---------------------+</span><br><span style="font-family: courier new, courier;"> | filters chaiken and | |</span><br><span style="font-family: courier new, courier;"> | douglas-peucker | | Use osmose</span><br><span style="font-family: courier new, courier;"> v | v</span><br><span style="font-family: courier new, courier;">+------------+-------------+ | +---------+------------+</span><br><span style="font-family: courier new, courier;">| Smoothed vectors ++ | | Problems discovered +-+</span><br><span style="font-family: courier new, courier;">| || | | with osmose manually | |</span><br><span style="font-family: courier new, courier;">+---------------------------| | | fixed | |</span><br><span style="font-family: courier new, courier;"> +--------------------------+ | +----------------------+ |</span><br><span style="font-family: courier new, courier;"> | | +----------------------+</span><br><span style="font-family: courier new, courier;"> +------------------------+</span><br><br><br><br><br><blockquote style="border-left:1px solid #0857A6; margin:10px; padding:0 0 0 10px;">
Четверг, 11 апреля 2019, 21:14 +03:00 от egil <egil@riseup.net>:<br>
<br>
<div id="">
<div class="js-helper js-readmsg-msg">
<style type="text/css"></style>
<div>
<div id="style_15550064860000000352_BODY"><div class="class_1555127056">
<p>Hej igen</p>
<p>Bra jobbat Grigory!</p>
<p>Ang. större import kontinuerligt se tex:
<a rel="noopener noreferrer" href="https://forum.openstreetmap.org/viewtopic.php?id=65563" class="moz-txt-link-freetext_mailru_css_attribute_postfix" target="_blank">https://forum.openstreetmap.org/viewtopic.php?id=65563</a><br>
</p>
Jag har lagt in en del skog runt Härnösand och datat som nu är
tillgängligt väsentligt bättre än vad jag lagt in. <br>
<br>
Jag undrar om vi likt bussstoppen i Norge har mera glädje på sikt av
att överskriva redan inlagd skog i stället för att lämna några tusen
rektangulära hål som manuellt måste fyllas? Vad tycker ni?<br>
<br>
När det gäller skog så är det min förhoppning att denna data är så
bra att vi inte kommer behöva ändra så mkt på den framöver
(förhoppningsvis).<br>
<br>
NKA föreslog i tråden ovan att vid import av samma data överskrivs
allt som inte ändrats i OSM mellan importerna. Det tycker jag låter
som en bra strategi om den är gångbar i vårt fall givet alla
konverteringar och filtreringar hit och dit.<br>
<br>
Ang. redigeringsergonomi:<br>
Visst är det skönt när alla ytor är angränsande multipolygoner som
är lagom stora och delar vägar med varann, men det är nog inte
realistiskt att kartlägga hela Sveriges yta så tyvärr. <br>
<br>
Alternativet med NMD kommer visst att betyda stor skillnad både på
Carto och i vektorvy, men om vi lär nykomlingar att koncentrera sig
på annat än markytor i början så kommer det nog att gå alldeles bra.<br>
<br>
Det finns mycket att göra som inte är skog på kartan till att vi
alla kan ha händerna fulla ändå.<br>
<br>
<div class="moz-cite-prefix_mailru_css_attribute_postfix">On 2019-04-11 19:33, Grigory Rechistov
via Talk-se wrote:<br>
</div>
<div class="mail-quote-collapse"><blockquote type="cite">
Hej Erik!<br>
De är rimliga farhågor.<br>
<br>
>10GB för Kiruna är rätt stor mängd data<br>
Det är faktiskt 1,7 GB, jag mindes fel. Tänk på att a) det är rå
vektordata, jag ämnar gallra det ordentligt som beskrevs tidigare,
b) Kirunaområdet är undantaget, 82% av de 291 kommuner har
GML-filer mindre än 250 MB (också rådata som ska gallras).<br>
<br>
>Jobbet med att jämka det som finns och det som läggs in kommer
behöva göras igen när låt oss säga NMD 2025 kommer.<br>
Låt oss importera först den data som kom år 2018 :-) Men jag har
redan en plan för den \ (•◡•) / Fråga mig om du är nyfiken (annars
brukar jag skriva mejl till denna tråd som är orimligt långa).
Kortfattat: att hitta och beskriva skillnaden mellan två
rasterbilder är i princip enklare än mellan två vektorbildar. <br>
<br>
>Importera påverkar också redigerar ergonomin rätt mycket.<br>
Mitt syfte är att lägga till ny data som inte överstiger den
datavolymen som redan finns i databasen. Det vill säga, upp till
100 MB ny vektor objekt för varje 100 MB som redan finns där.
Datauppladdningen ska ske genom JOSM-redigeraren. Om man inte kan
hantera ny lagret i JOSM blir det klart kännetecken att dess volym
är för stor. Vi får se i alla fall om det är genomförbart eller
inte.<br>
<br>
Jag vill också lägga till att att ha skogar synliga i OSM-kartan
är viktig för mig som kartanvändare. Olika företag (t ex hitta.se)
har rätt bra friluftskartor över Sverige. Jag vill att vi också
har ett öppen alternativ till det för Sverige och andra länder.<br>
<br>
<br>
<blockquote style="border-left:1px solid #0857A6;margin:10px;padding:0 0 0 10px;"> Четверг, 11 апреля 2019, 11:58 +03:00 от
Erik Johansson <a rel="noopener noreferrer" href="//e.mail.ru/compose/?mailto=mailto%3aerjohan@gmail.com" class="moz-txt-link-rfc2396E_mailru_css_attribute_postfix"><erjohan@gmail.com></a>:<br>
<br>
<div id="">
<div class="js-helper_mailru_css_attribute_postfix js-readmsg-msg_mailru_css_attribute_postfix">
<style></style>
<div>
<div id="style_15549731180000000541_BODY_mailru_css_attribute_postfix">
<div class="class_1555009496_mailru_css_attribute_postfix">
<div dir="auto">
<div>Detta var min poäng med att inte importera för
mycket terräng typer och för små polygoner, 10GB
för Kiruna är rätt stor mängd data och kommer höja
ribban rejält för att handskas med Sveriges osm
data.</div>
<div dir="auto"><br>
</div>
<div dir="auto">Jobbet med att jämka det som finns
och det som läggs in kommer behöva göras igen när
låt oss säga NMD 2025 kommer. Denna import kommer
göra det jobbet svårare.</div>
<div dir="auto"><br>
</div>
<div dir="auto">Importera påverkar också redigerar
ergonomin rätt mycket. Är jag ensam om att tycka
detta?</div>
<div dir="auto"><br>
<br>
<div class="gmail_quote_mailru_css_attribute_postfix_mailru_css_attribute_postfix" dir="auto">
<div dir="ltr" class="gmail_attr_mailru_css_attribute_postfix_mailru_css_attribute_postfix">Den tors 11 apr. 2019 10:44Grigory
Rechistov via Talk-se <<a rel="noopener noreferrer" href="http://e.mail.ru/compose/?mailto=mailto%3atalk%2dse@openstreetmap.org" target="_blank">talk-se@openstreetmap.org</a>>
skrev:<br>
</div>
<blockquote class="gmail_quote_mailru_css_attribute_postfix_mailru_css_attribute_postfix" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>Hej Christian, tack!<br>
<br>
>Det kan vara svårt att få många att
sätta upp hela kedjan av script och program
som behövs.<br>
Jo, det är sant. Jag kunde inte föreställa
mig att jag skulle behöva så flera verktyg
och skriva så många nya skript innan jag
hade börjat arbeta med datat. Det blir väl
jobbigt för någon annan att upprepa efter
mina steg även om jag ordentligt
dokumenterar dem (och det gör jag inte…)<br>
<br>
>men frågan är ifall det inte vore
lättast att en person kör igenom scripten
för alla kommuner?<br>
Det är mitt syfte. Jag ämnar förberedda
nästan färdiga OSM-filer för samtliga
kommuner själv. Sedan hjälper andra att
rätta till återstående varningar och att
ladda upp datat till OSM-databasen som sista
steget. Hittills orkar min hemdator
med beräkningsbelastningen, men ifall den
inte räcker till får jag tillgång till några
få starkare datorer för att klara sig.<br>
<br>
>Jag tar gärna på mig min hemkommun och
ett par andra.<br>
Tack! Om allt går bra får jag hem
färdigställa OSM-Sverigekarta inför min
sommarsemester. <br>
<br>
Sålänge konverterade jag GeoTIFF:erna till
GML:erna. Här är länken: <a rel="noopener noreferrer" href="https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3" target="_blank">https://drive.google.com/open?id=1aVqgPf18rlEwuoAzAWHo5EgvPb5CNAb3</a> (4
GB)<br>
Tänk på att:<br>
1. Uppackade filer tar upp <strong>55 GB</strong>
på hårddisken<br>
2. XML-filstorlekar varieras mellan 3 MByte
för Sundbybergs kommun till 10 (?) GByte för
Kirunas kommun.<br>
<br>
Mina nästa steg är:<br>
1. Slutföra med conflation-skriptet<br>
2. Filtrera GML-filerna och ta bort mindre
vägar (att filtrera rastern räckte tydligen
inte). Det verkar att vissa transformationer
är lättare att utföra på GML-formaterade
data än på OSM-filer. 55 GByte är
ju överdrivet.<br>
<br>
<blockquote style="border-left:1px solid #0857a6;margin:10px;padding:0 0 0 10px">
Четверг, 11 апреля 2019, 9:13 +03:00 от
Christian Asker <<a rel="noopener noreferrer" href="http://e.mail.ru/compose/?mailto=mailto%3achristian.asker@gmail.com" target="_blank">christian.asker@gmail.com</a>>:<br>
<br>
<div id="m_7442354279924052506_mailru_css_attribute_postfix_mailru_css_attribute_postfix">
<div class="m_7442354279924052506js-helper_mailru_css_attribute_postfix_mailru_css_attribute_postfix m_7442354279924052506js-readmsg-msg_mailru_css_attribute_postfix_mailru_css_attribute_postfix">
<div>
<div id="m_7442354279924052506style_15549631870000000026_BODY_mailru_css_attribute_postfix_mailru_css_attribute_postfix">
<div class="m_7442354279924052506class_1554992691_mailru_css_attribute_postfix_mailru_css_attribute_postfix">Hej.
Bra jobbat! Jag tar gärna på mig
min hemkommun och ett par andra.<br>
<br>
Jag vet att du har lagt ned
massa arbete redan, men frågan
är ifall det inte vore lättast
att en person kör igenom
scripten för alla kommuner? Det
kan vara svårt att få många att
sätta upp hela kedjan av script
och program som behövs.<br>
<br>
<br>
Mvh Christian<br>
<br>
<br>
<div class="m_7442354279924052506mail-quote-collapse_mailru_css_attribute_postfix_mailru_css_attribute_postfix">
<div class="m_7442354279924052506gmail_quote_mailru_css_attribute_postfix_mailru_css_attribute_postfix_mailru_css_attribute_postfix"><br>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<br>
Med vänliga hälsningar,<br>
Grigory Rechistov<br>
With best regards,<br>
Grigory Rechistov<br>
</div>
_______________________________________________<br>
Talk-se mailing list<br>
<a rel="noopener noreferrer" href="http://e.mail.ru/compose/?mailto=mailto%3aTalk%2dse@openstreetmap.org" target="_blank">Talk-se@openstreetmap.org</a><br>
<a rel="noopener noreferrer" href="https://lists.openstreetmap.org/listinfo/talk-se" target="_blank">https://lists.openstreetmap.org/listinfo/talk-se</a><br>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<br>
<br>
С наилучшими пожеланиями,<br>
Григорий Речистов.<br>
Med vänliga hälsningar,<br>
Grigory Rechistov<br>
With best regards,<br>
Grigory Rechistov<br>
<br>
<fieldset class="mimeAttachmentHeader_mailru_css_attribute_postfix"></fieldset>
<br>
<pre wrap="">_______________________________________________
Talk-se mailing list
<a rel="noopener noreferrer" href="//e.mail.ru/compose/?mailto=mailto%3aTalk%2dse@openstreetmap.org" class="moz-txt-link-abbreviated_mailru_css_attribute_postfix">Talk-se@openstreetmap.org</a>
<a rel="noopener noreferrer" href="https://lists.openstreetmap.org/listinfo/talk-se" class="moz-txt-link-freetext_mailru_css_attribute_postfix" target="_blank">https://lists.openstreetmap.org/listinfo/talk-se</a>
</pre>
</blockquote></div>
<br>
</div></div>
<div>_______________________________________________<br>
Talk-se mailing list<br>
<a href="mailto:Talk-se@openstreetmap.org">Talk-se@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/talk-se" target="_blank">https://lists.openstreetmap.org/listinfo/talk-se</a><br>
</div>
</div>
</div>
</div>
</blockquote>
<br>
<br>С наилучшими пожеланиями,<br>Григорий Речистов.<br>Med vänliga hälsningar,<br>Grigory Rechistov<br>With best regards,<br>Grigory Rechistov<br></BODY></HTML>