<blockquote>
<p><a href="https://github.com/pnorman" class="user-mention">@pnorman</a> what information could I provide you with that would help us identify any bottlenecks? any commands I should run? thank you</p>
</blockquote>

<p>Standard tools like top, iotop, iostat, htop, etc should all identify what is limiting. Odds are that you're limited by IO speed, but you want to confirm that.</p>

<hr>

<blockquote>
<p>my advice 96GB effective cache is just nuts, postgres is heavly reliant on the cached part of linux memory, better off just allocating that memory to -C flag in the import process. Helper procsses tend lose effectiveness after 6 threads. That flat nodes flag is gonna slow you down alot also.</p>
</blockquote>

<p>This is horrible advice. Flat nodes is a big performance increase, 8 processes is faster than 6 (though not 33% faster), cache above about 28GB (num nodes * 8 bytes / efficiency) is pointless, and effective_cache_size is not the memory postgres uses, but an estimate of total memory used for caching.</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">—<br>Reply to this email directly or <a href="https://github.com/openstreetmap/osm2pgsql/issues/517#issuecomment-164547519">view it on GitHub</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AD2-7t0h0_pQ5l44XnDTVQnd3O8cJqViks5pPxuEgaJpZM4G1Ass.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/openstreetmap/osm2pgsql/issues/517#issuecomment-164547519"></link>
  <meta itemprop="name" content="View Issue"></meta>
</div>
<meta itemprop="description" content="View this Issue on GitHub"></meta>
</div>