It's a non-issue now - I've adapted to use the gz format.<br><br><div class="gmail_quote">On Nov 30, 2007 5:01 PM, Karl Newman <<a href="mailto:siliconfiend@gmail.com">siliconfiend@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="Ih2E3d">On Nov 29, 2007 5:05 PM, Brett Henderson <<a href="mailto:brett@bretth.com">brett@bretth.com</a>> wrote:<br>> Sorry, I think I've run out of time, I'm hoping to get out of here in a<br>
> few hours and I still have a fair bit to get done.  I can fix it up when<br>> I get back in two weeks although that is probably too late.<br>><br>> The reason I'm using gz is because I'm streaming the data direct from db
<br>> to file and the java bz2 implementation I'm using isn't very fast.  The<br>> daily scripts are using the command line bzip2 running at nice 10 after<br>> the database read has completed.  I suspect the java gz implementation
<br>> uses native code, it's very fast (hourly extract takes approx 30 seconds<br>> clock time).  I was trying to avoid holding locks on the main db for too<br>> long.<br><br></div>If the Java bz2 is slow, what about the possibility of writing the XML
<br>to stdout and then piping into bzip2? I'm haven't looked into how<br>Java's stdout handling works; I'm guessing it's not going to be as<br>easy as "--write-xml file=-" but it might not be too difficult.
<br><font color="#888888"><br>Karl<br></font><div><div></div><div class="Wj3C7c"><br>_______________________________________________<br>dev mailing list<br><a href="mailto:dev@openstreetmap.org">dev@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/dev" target="_blank">http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/dev</a><br></div></div></blockquote></div><br>