On Sat, Sep 25, 2010 at 2:51 AM, Christian H. Bruhn <span dir="ltr"><<a href="mailto:brogo@arcor.de">brogo@arcor.de</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">Friday, September 24, 2010, 6:06:59 PM, Scott Crosby wrote:<br>
<br>
> Is there an error message thrown? If so, please paste it.<br>
<br>
</div>No error message, everything seems to be OK.<br>
<div class="im"><br>
> If the error message is something about a possibly corrupt file..... I'm<br>
> aware of the issue. To detect bad files and fail gracefully, I put in some<br>
> size limits that I later found might be too small. The patch with the<br>
> increased limits is waiting for me to push out a new jar.<br>
<br>
</div>I've just tested it with the planet-100922.osm.bz2 (MD5 checked) and<br>
20100922-20100923.osc.gz. All osmosis tasks run with the -v option<br>
under Windows 7 Prof. 64 Bit with osmosis-snapshot 0.37 from<br>
23.09.2010.<br></blockquote><div><br></div><div>I'm not replicating the problem. I'm running under my working tree. The only relevant differences are increased maximum blocksize limits.</div><div><br></div><div><br>
</div><div>Here is what I ran (under ubuntu linux. pbzip2 is a parallel bzip2 decompressor, which is then buffered with mbuffer.):</div><div><br></div><div>## I converted the planet twice, once for faster writing, one not.</div>
<div>pbzip2 -d < foo/planet-100922.osm.bz2.1 | ~/source/Map2/osmosis/package/bin/osmosis --read-xml file=- --lp --b bufferCapacity=12000 --write-bin file=planet.osm.pbf compress=none</div><div>pbzip2 -d < foo/planet-100922.osm.bz2.1 | ~/source/Map2/osmosis/package/bin/osmosis --read-xml file=- --lp --b bufferCapacity=16000 --write-bin file=planet-default.osm.pbf</div>
<div><br></div><div>## Resulting sizes are as expected</div><div><br></div><div>## I then tried merging changesets.</div><div><div>~/source/Map2/osmosis/package/bin/osmosis --read-xml-change file=20100922-20100923.osc.gz --read-bin file=planet.osm.pbf --b bufferCapacity=12000 --apply-change --lp --b bufferCapacity=12000 --write-bin file=out.osm.pbf</div>
</div><div><div>~/source/Map2/osmosis/package/bin/osmosis --read-xml-change file=20100922-20100923.osc.gz --read-bin file=planet-default.osm.pbf --b bufferCapacity=12000 --apply-change --lp --b bufferCapacity=12000 --write-bin file=out-default.osm.pbf</div>
</div><div>pbzip2 -d <foo/planet-100922.osm.bz2.1 | ~/source/Map2/osmosis/package/bin/osmosis  --read-xml-change file=20100922-20100923.osc.gz --read-xml file=-  --lp  --b bufferCapacity=12000  --apply-change --lp --b bufferCapacity=12000 --write-bin file=planet-xmlin.osm.pbf</div>
<div><br></div><div><br></div><div>## All three run to completion, returning identical output files of about the expected sizes:</div><div><div><div> 8835376 -rw-r--r-- 1 scrosby scrosby  9047420819 Sep 28 11:00 out-default.osm.pbf</div>
<div> 8835376 -rw-r--r-- 1 scrosby scrosby  9047420819 Sep 28 10:14 out.osm.pbf </div><div> 8835376 -rw-r--r-- 1 scrosby scrosby  9047420819 Sep 28 12:06 planet-xmlin.osm.pbf</div></div><div><div> 8824112 -rw-r--r-- 1 scrosby scrosby  9035884739 Sep 28 10:37 planet-default.osm.pbf</div>
<div>18576056 -rw-r--r-- 1 scrosby scrosby 19021875191 Sep 28 10:12 planet.osm.pbf</div></div><div><br></div></div><div>Is your problem repeatable? </div><div><br></div><div>If it is repeatable, one explanation is that a 'too big' block was generated, and somehow the warning was missed. That can be tested by running a smaller batchlimit. Can you try a '--write-bin file=FOO batchlimit=2000' on the initial conversion from *.osm to *.osm.pbf and the later --read-xml-change tests and see if the problem goes away? If so, please report the result to help me fine-tune the block size and batch limit settings.</div>
<div><br></div><div><div><br></div></div><div>Scott</div><div><br></div></div>