That does sound frustrating. I wonder what a better way would be to organize the files. Unfortunately the Census is very county-oriented and I don't think there is another uniform division that is smaller than counties but bigger than census tracts.<br>
<div><br></div><div>I am currently limiting each file to 20,000 changes, and could easily change that number, but the ones that end up in the same file are just the ways that were sequentially numbered rather than having any other relationship. Maybe I should use tile ordering so that things that are mostly nearby end up in the same file.<div>
<br></div><div>What do you think is a more reasonable number of changes to include in a file?</div><div><br></div><div>Eric<br><br><div class="gmail_quote">On Tue, Aug 6, 2013 at 4:11 AM, Serge Wroclawski <span dir="ltr"><<a href="mailto:emacsen@gmail.com" target="_blank">emacsen@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">As Paul said, I spent some time last night working with some of the<br>
files for places I knew.<br>
<br>
I think it's really incredible work you've done Eric, especially in<br>
that not only is the data newer (which has been proposed before) but<br>
instead of wiping away the existing ways, you've managed to move the<br>
nodes around- which is great.<br>
<br>
What strikes me is the contrast in size of the files. About a third of<br>
the files are of "manageable size" for manual review. NY, NY, for<br>
example, consisted of just a few traffic signals, and a couple of<br>
street alignments.<br>
<br>
But even looking at a county in NJ, it's hard to do any serious<br>
review, because if you open an osc file in josm, you'll want to look<br>
at the parent objects too, and when I tried that (File->Download<br>
parent ways/relations), it ran for 15 minutes, and then I stopped it.<br>
That was one of the smaller osc files...<br>
<br>
So we need some other method to do serious review, such as the use of<br>
a tile set as proposed last night.<br>
<br>
But, from what I saw, the data looked better. It wasn't perfect (I<br>
could see changes I'd make immediately to the data) but it was<br>
certainly in line with "Do no harm" in the sense that this is the data<br>
that is considered newer, and it's what the TIGER import would have<br>
looked like had it been done in 2011.<br>
<br>
As for uploading, let's talk off list, since I have a bunch of ideas about this.<br>
<br>
I'm also really enjoying the discussion raised here about how we can<br>
do better reviews in general, and also if there are ways we can move<br>
these imports into the hands of the community members.<br>
<span class="HOEnZb"><font color="#888888"><br>
- Serge<br>
</font></span></blockquote></div><br></div></div>