Whoops! Should have cc'd imports@<br><br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Jeff Meyer</b> <span dir="ltr"><<a href="mailto:jeff@gwhat.org">jeff@gwhat.org</a>></span><br>
Date: Tue, Dec 4, 2012 at 5:40 PM<br>Subject: Re: [Imports] City of Seattle imports<br>To: Serge Wroclawski <<a href="mailto:emacsen@gmail.com">emacsen@gmail.com</a>><br><br><br>Serge - apologies for the confusing formatting. I use Gmail's web client. It's not the problem. I human formatted the message to look nice in Google, forgetting that the listserv software doesn't do well when people put in their own (poorly-chosen) bullets. The general format was:<div>


[your comment]</div><div>\>\> [my reply]</div><div>\>\>\>\> [subcomment of mine to my own reply]</div><div><br></div><div>Many of your responses are based around assertions about what OSM and what OSM is not, and what's important and what's not, but I'm not sure those are relevant to the topic at hand. I'll focus on responses relevant for the import of City of Seattle data. My goal is to help create better documentation of best practices for imports. If there's a document like this that I've missed, please let me know.</div>

<div><br></div><div>SW: <span style="font-family:arial,sans-serif;font-size:12.666666984558105px">Those scripts and datafiles need to be part of any discussion, as </span><span style="font-family:arial,sans-serif;font-size:12.666666984558105px">early as possible.</span></div>

<div><font face="arial, sans-serif"><span style="font-size:12.666666984558105px">JM: We identified these files and developed preliminary scripts a couple days ago. </span></font></div><div><font face="arial, sans-serif"><span style="font-size:12.666666984558105px">Here are a couple - these may not be the only sources considered for import:</span></font></div>

<div><font face="arial, sans-serif"><span style="font-size:12.666666984558105px"><a href="https://data.seattle.gov/dataset/Master-Address-File/3vsa-a788" target="_blank">https://data.seattle.gov/dataset/Master-Address-File/3vsa-a788</a></span><br>

</font></div><div><font face="arial, sans-serif"><span style="font-size:12.666666984558105px"><a href="https://data.seattle.gov/dataset/Street-Network-Database/afip-2mzr" target="_blank">https://data.seattle.gov/dataset/Street-Network-Database/afip-2mzr</a></span><br>

</font></div><div><font face="arial, sans-serif"><span style="font-size:12.666666984558105px"><a href="https://data.seattle.gov/dataset/2009-Building-Outlines/y7u8-vad7" target="_blank">https://data.seattle.gov/dataset/2009-Building-Outlines/y7u8-vad7</a></span><br>

</font></div><div><div><br></div><div><span style="font-family:arial,sans-serif;font-size:12.666666984558105px">SW: Manually in that you will be adding all features by hand, you, yourself?</span><br></div><div>JM: I'm not sure why you are asking if I'll be doing this myself. This email thread contains several references to people who will be assisting. Cliff Snow and others attending the meeting to discuss this import. We hope to have a team of local mappers focus on imports where they have local expertise. </div>

<div><br></div><div>SW: <span style="font-family:arial,sans-serif;font-size:12.666666984558105px">What long time, trusted, local OSM community member do you have </span><span style="font-family:arial,sans-serif;font-size:12.666666984558105px">working with you on this?</span></div>

<div>JM: I'm not sure who decides how long is long enough or who is trusted. Right now, Steve Coast is planning to attend our planning meeting & will hopefully be reviewing our plans. That said, a good import process should be well documented, stand on its own, and not be dependent on this type of participation. </div>

<div><br></div><div>SW: <span style="font-family:arial,sans-serif;font-size:12.666666984558105px">Discussion is better than notice, and imports isn't the greater US </span><span style="font-family:arial,sans-serif;font-size:12.666666984558105px">community forum, talk-us is.</span></div>

<div>JM: Perhaps I miscommunicated what I meant by "notice" - I was hoping to start an email discussion by giving notice of our intent to commence our import planning with the e-mail to imports@</div><div><br></div>

<div>Thanks,</div><div>Jeff</div><div><br></div><div>"Be nice." - Dalton, Road House</div><div><br></div><div><br></div>

</div><div class="gmail_extra"><div><div class="h5"><br><br><div class="gmail_quote">On Tue, Dec 4, 2012 at 4:21 PM, Serge Wroclawski <span dir="ltr"><<a href="mailto:emacsen@gmail.com" target="_blank">emacsen@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Jeff,<br>
<br>
I've read this mail over several times, and simply find it hard to<br>
parse. I don't know what email program you use, but standard email<br>
in-line reply is > for a quote and >> for a quote of a quote. The<br>
style you've adopted makes it hard for me to identify whose quoted and<br>
in reponse to what<br>
<br>
For more information on in-line quoting, see<br>
<a href="http://en.wikipedia.org/wiki/Posting_style#Quoted_line_prefix" target="_blank">http://en.wikipedia.org/wiki/Posting_style#Quoted_line_prefix</a><br>
<div><br>
On Tue, Dec 4, 2012 at 6:53 PM, Jeff Meyer <<a href="mailto:jeff@gwhat.org" target="_blank">jeff@gwhat.org</a>> wrote:<br>
<br>
> source tags are not really appropriate for indivdual elements,<br>
>>> How do you identify when individual elements of the same way or node are<br>
>>> derived from different sources?<br>
<br>
</div>One of the key important elements to understand about OSM is that OSM<br>
is not a collection of sources, but is in fact a single unified<br>
dataset.<br>
<br>
Except in a few exceptional cases (which I'll address later) we do not<br>
care that a features comes from one person or one source and not<br>
another.<br>
<br>
In fact, what's been shown is that "official" sources are a problem,<br>
as people are hesitant to edit them, where we want people to be not<br>
just be practically, but encouraged to edit. But when something is<br>
stamped with "official" or from an external dataset, they're less<br>
likely to.<br>
<br>
Now, there are times when you want to know what source something came<br>
from, and this is where changeset tags are far more useful.<br>
<br>
For example, let's say there's a road, and someone adds it from some<br>
local datasource. Someone else may look at the feature in imagery and<br>
change its geometry. In that case, we'd like to know what imagery they<br>
looked at.<br>
<br>
But in OSM all of these techniques are considered secondary. Our<br>
primary and always preferred method for data are people surveying. We<br>
would always prefer, and should always favor a person on the ground<br>
against other sources, and surveying doesn't have a "source".<br>
<div><br>
<br>
>>>>> I didn't see any discussion or dispute of this approach on the wiki<br>
>>>>> page, so I'm assuming it's ok.<br>
<br>
</div>This is a bad assumption. It's heavily debated, and largely deprecated<br>
in favor of changeset tags.<br>
<br>
I realize I addressed this above, but please, stop adding >>>>> to<br>
your mails, this is odd and confusing.<br>
<div><br>
> more importantly, the specific<br>
> datasets should be referenced, as <a href="http://data.seattle.gov" target="_blank">data.seattle.gov</a> doesn't talk about<br>
> the version of the data, or even what dataset it is.<br>
>>> Good points. We will add these clarifications.<br>
<br>
> Where is the source of your transformation scripts?<br>
>>> From the email above: "some translation instructions Cliff has put<br>
>>> together." We will include the specific translation code either at a github<br>
>>> page or on the <a href="http://wiki.openstreetmap.org/wiki/Seattle" target="_blank">http://wiki.openstreetmap.org/wiki/Seattle</a> page.<br>
<br>
> Where are the specific data files you're transforming?<br>
>>> They are at <a href="http://data.seattle.gov" target="_blank">data.seattle.gov</a> & we will provide links to the sources. We<br>
>>> will also consider posting separate snapshots of these source datafiles if<br>
>>> we can figure out where to host them.<br>
<br>
</div>Those scripts and datafiles need to be part of any discussion, as<br>
early as possible.<br>
<div><br>
> How will you handle object conflation?<br>
>>> Manually and methodically.<br>
<br>
</div>Manually in that you will be adding all features by hand, you, yourself?<br>
<div><br>
>>> Please identify any un-discussed concerns. I'd like to make sure we've<br>
>>> accounted for them all.<br>
<br>
</div>Imports should generally not be done by those who do not have a long,<br>
long history with OSM. Bad imports are not simply the same as bad<br>
edits, but have long, multi-year consequences that communities<br>
sometimes never dig out of.<br>
<br>
What long time, trusted, local OSM community member do you have<br>
working with you on this?<br>
<div><br>
> but more generally, you seem to not have discussed this with the greater OSM<br>
> community, including the talk-us list.<br>
<br>
>>> I thought that imports@ was the "Greater OSM community."<br>
<br>
</div>See above.<br>
<div><br>
>>> From the email above: "A group of Seattle OSM'ers (led by Cliff Snow) are<br>
>>> getting together to discuss the methods for importing and double-checking<br>
>>> the information.<br>
> <a href="http://www.meetup.com/OpenStreetMap-Seattle/events/93524692/" target="_blank">http://www.meetup.com/OpenStreetMap-Seattle/events/93524692/</a><br>
<br>
>>> I will forward the prior notice to talk-us@<br>
<br>
</div>Discussion is better than notice, and imports isn't the greater US<br>
community forum, talk-us is.<br>
<div><br>
>>> advise as to the checklist steps we are not following, or which steps should<br>
>>> be added to this checklist?<br>
<br>
</div>See above.<br>
<span><font color="#888888"><br>
- Serge<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div></div></div><div class="im">-- <br><font size="1">Jeff Meyer<br>Global World History Atlas<br><a href="http://www.gwhat.org" target="_blank">www.gwhat.org</a><br>
<a href="mailto:jeff@gwhat.org" target="_blank">jeff@gwhat.org</a><br>
<a href="tel:206-676-2347" value="+12066762347" target="_blank">206-676-2347</a><br></font><br><br>
</div></div>
</div><br><br clear="all"><div><br></div>-- <br><font size="1">Jeff Meyer<br>Global World History Atlas<br><a href="http://www.gwhat.org" target="_blank">www.gwhat.org</a><br><a href="mailto:jeff@gwhat.org" target="_blank">jeff@gwhat.org</a><br>
206-676-2347<br></font><br><br>