<div class="gmail_quote">On Thu, Jun 9, 2011 at 12:27 PM, Ben Supnik <span dir="ltr"><<a href="mailto:bsupnik@xsquawkbox.net">bsupnik@xsquawkbox.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Hi Y'all,<br>
<br>
I apologize for going NORDO for a while there. :-(  I have integrated James' latest NHD conversion rules.<br>
<br>
Test data:<br>
<br>
<a href="http://dev.x-plane.com/download/01090001.zip" target="_blank">http://dev.x-plane.com/download/01090001.zip</a><br>
<br>
The entire process is running now...not sure how long it will take to complete - it looks like it could take up to a week to convert all of HUCs.<br>
<br>
If anyone has feedback on that converted set of XML files, please let me know, otherwise I'll let it keep running.<br>
<br>
Based on the threads about broken imports that took place over the last few weeks, it looks like there is still an additional problem: even given pre-converted data, users who want to do a import may get killed when their import fails, leaving a splattering of broken nodes all over the place. :-(<br>
<br></blockquote><div><br></div><div>There isn't a whole lot we can do to outright *prevent* this, but there is some mitigation:</div><div><br></div><div>1) The XML converter should split up the data so that ways and their nodes are in the same XML file. I *think* my shp-to-osm tries to do this. If you end up with a bunch of XML files that have 50k node elements in them then you're doing it wrong [0].</div>
<div><br></div><div>2) Each XML file should contain fewer than the absolute maximum number of changes allowed by the API and should be uploaded using the diff upload API endpoint.</div><div><br></div><div>3) The upload script should keep track of the response information to see what nodes actually get uploaded. If I remember correctly there's no way to know which elements in a diff upload were successful and which weren't if you receive an error in the reply from the server.</div>
<div><br></div><div>[0] This is how a lot of the original NHD imports got screwed up and left behind thousands of orphaned nodes.</div></div>