On Mon, Jul 5, 2010 at 2:02 PM, Serge Wroclawski <span dir="ltr"><<a href="mailto:emacsen@gmail.com">emacsen@gmail.com</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">On Mon, Jul 5, 2010 at 8:48 PM, Ian Dees <<a href="mailto:ian.dees@gmail.com">ian.dees@gmail.com</a>> wrote:<br>
> I'd be happy to look at the code, but XML parsing is no the slow part:<br>
> writing to the format that Mongo expects (BSON) is.<br>
<br>
</div>To be fair, we never entirely established that (did we?). The BSON<br>
encoder part of the MongoDB library we're using is in C. If it's still<br>
slow beyond that, it seems like it's something to take up in the<br>
Python C based MongoDB BSON encoder...<br><br></blockquote><div><br></div><div>Yep, I ran an import of section of Minnesota with a profiler attached and the CPU time was mostly spent on BSON related stuff.</div><div><br>
</div><div>It could be that when i was profiling it wouldn't use the C extensions, though. </div></div><br>