<div dir="ltr"><div>On Thu 17th Sep 2015 at 10:51 +0100</div><div>Badita Florin <baditaflorin at <a href="http://gmail.com">gmail.com</a>> wrote:</div><div><br></div><div>>Now, to import the planet it will take around 6-20 days with osmosis <br></div><div><br></div><div>>Other tools behave in the same way ...</div><div><br></div><div>>What i think it is missing, is a monthly postgis dump of the planet. Or weekly, whatever</div><div><br></div><div>>To have loaded in postgis the whole planet, and once a week/day/hour/minute ( what works best ) to apply just the changefiles</div><div><br></div><div>>The dump to be as concise as possible, having just the bare necessities, without the index, etc  </div><div><br></div><div>>In this way, people that are interested in doing some statistics out of OSM can >do it in a simple way, without spending 1-2 weeks only downloading the 29 >osm.pbf file, waiting 6 days for osmosis to load the file, if it will not crush, , >having 1500 GB to do that, just to revert back to 200-700 GB </div><div><br></div><div>>I cannot say how much it will take the database, because i was never able to >load the entire planet, all the time i had to revert to filtering, clipping, calculate >for each separate continent, amenity or type of POI, and then combine it all >back.</div><div><br></div><div>>A dump of a planet file would make the osm data more accessible to scientist, .>researchers and the general osm community</div><div><br></div><div>>I would be able to try and find a server where the planet file would lay , with the >osmosis script that would update the script and the psql script that will generate >once per month a dump file for the whole planet, if somebody can help me .</div><div>>create such a setup, if possible </div><div><br></div><div>>Have a good day,</div><div>>Florin Badita<br></div><div><br></div><div>Does it really take this long to import a planet file these days? I would be interested to know if anyone else has imported one recently. I may import one myself at some point, but if it takes 6 days I probably won't bother.</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><br></blockquote><div>On a side note, this is for a piece of work looking at using big data tools to look at using OSM data. More info is available here <a href="https://lists.openstreetmap.org/pipermail/dev/2015-January/028227.html">https://lists.openstreetmap.org/pipermail/dev/2015-January/028227.html</a>.</div><div><br></div><div>Just as a comparative benchmark I was able to import Europe (roughly half the size of the whole DB) into a suitable spatial form in around 4 hours using 8 nodes with a combined 104GB of RAM (OK, I know that's a lot but this is Big Data!). Indexing takes a little longer and I'm not sure the querying is as quick as PostGIS but it certainly won't take you days to get up and running.</div><div><br></div><div>I'll write up some more about this in due course.</div><div><br></div><div>Stephen</div></div>