<p>Annoying isn't it, you went nuts bought the biggest baddest server in town, and the the whole thing bottoms out. As someone who has just done serveral planet imports in the past couple of weeks, its takes around 6 days on i7-4770k + 32 gb ram and spinnging disk raid1.  People say use SSD and i agree SSD's are good the main reason is the whole IO seems to be random reads writes hence it just chugs along during certain stages with random postgres processes reading and writing a few measly MB's per second. hardly even a challenge for spinning disk. </p>

<p>my advice 96GB effective cache is just nuts, postgres is heavly reliant on the cached part of linux memory, better off just allocating that memory to -C flag in the import process.  Helper procsses tend lose effectiveness after 6 threads.  That flat nodes flag is gonna slow you down alot also. </p>

<p>its old but you can get some good pointers from this slidedeck you can only dial in postgres some much before tweaking makes no difference i.e disabling fsync is pointless, just means you might lose your data. </p>

<p><a href="http://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf">http://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf</a></p>

<p>Hang in there... its slow but its not stuck it think the major performance factors are single threaded core performance i.e. IPC and clock speed and IOPS and random IO read write spead. i.e. importing on a 48 core server with a 2.4ghz clock vs importing on 3.4 ghz 4 core machine probabbly gonna be better.  I notice the helper processes dont really kick in anyway until going over pending ways. </p>

<p>Its a black art..... and everyone perform the magic trick differently. </p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">—<br>Reply to this email directly or <a href="https://github.com/openstreetmap/osm2pgsql/issues/517#issuecomment-164535782">view it on GitHub</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AD2-7h-n0XUWYhWY0a7Dxpab5OH4Zmapks5pPxCqgaJpZM4G1Ass.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/openstreetmap/osm2pgsql/issues/517#issuecomment-164535782"></link>
  <meta itemprop="name" content="View Issue"></meta>
</div>
<meta itemprop="description" content="View this Issue on GitHub"></meta>
</div>