I'd be happy to look at the code, but XML parsing is no the slow part: writing to the format that Mongo expects (BSON) is.<br><br><div class="gmail_quote">On Mon, Jul 5, 2010 at 1:43 PM, Andreas Kalsch <span dir="ltr"><<a href="mailto:andreaskalsch@gmx.de">andreaskalsch@gmx.de</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">


  
  

<div bgcolor="#ffffff" text="#000000">
What about rewriting this stuff in C? I have written a MySQL importer
in C some time ago, so what about reusing its XML parsing part?<br>
<br>
If you are interested, I'll put it on Github.<br>
<br>
Andi<br>
<br>
Am 03.07.10 22:43, schrieb Ian Dees:
<blockquote type="cite"><div><div></div><div class="h5">
  <div class="gmail_quote">On Sat, Jul 3, 2010 at 1:17 PM, Nolan
Darilek <span dir="ltr"><<a href="mailto:nolan@thewordnerd.info" target="_blank">nolan@thewordnerd.info</a>></span>
wrote:<br>
  <blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">On
07/03/2010 01:09 PM, Nolan Darilek wrote:<br>
    <blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">
      <div>On 07/02/2010 01:52 PM, Serge Wroclawski wrote:<br>
      <blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">
Similarly, Ian Dees and I have written a server using MongoDB, which<br>
also provides functionality such as auto-sharding and built in<br>
map/reduce.<br>
        <br>
      </blockquote>
      <br>
      </div>
Is this work available anywhere? How did you find performance to be,
and to what uses did you put it?<br>
      <br>
I've done some experiments creating a LibOSM MongoDB backend and found
its performance fairly bad, but I don't have the most optimal server
for it, and probably didn't use MongoDB to its limits. If you
experienced good performance for real-time operations then I'd be very
interested in seeing how you managed it so I might adopt the techniques
and see if I have any better luck.<br>
      <br>
It seemed to me that a dump of the entire planet would require a
substantial server to serve up, so I abandoned the work, but would very
much like to revive it if it's at all workable.<br>
      <br>
    </blockquote>
  </blockquote>
  <div><br>
  </div>
  <div>The code is here: <a href="http://github.com/iandees/mongosm" target="_blank">http://github.com/iandees/mongosm</a></div>
  <div><br>
  </div>
  <div>It took several days to import a planet file. The majority of
the CPU time was spent serializing/deserializing BSON in Python and the
Mongo server had very little CPU time so if I use a language with a
faster BSON implementation it might be faster.</div>
  <div><br>
  </div>
  <div>Serge was working on a way to import diff files to maintain
mintutely updates.</div>
  <div><br>
  </div>
  <div>I was working on an HTTP API interface.</div>
  </div>
  <br>
  </div></div><pre><fieldset></fieldset>
_______________________________________________
dev mailing list
<div class="im"><a href="mailto:dev@openstreetmap.org" target="_blank">dev@openstreetmap.org</a>
<a href="http://lists.openstreetmap.org/listinfo/dev" target="_blank">http://lists.openstreetmap.org/listinfo/dev</a>
  </div></pre>
</blockquote>
<br>
</div>

</blockquote></div><br>