<pre style="font-family: monospace; font-size: medium; "><blockquote><br>"I have seen stuff like that on other OSM related imports and my explanation<br>was that when you start indexing your index is empty. Your index grows<br>

with the amount of data you already indexed so your working set grows<br>and thus your working speed decreases.
Flo"</blockquote></pre><pre style="font-family: monospace; font-size: medium; "><span class="Apple-style-span" style="border-collapse: collapse; font-family: arial, sans-serif; font-size: small; white-space: normal; ">Hello, </span></pre>
<pre><font class="Apple-style-span" face="arial, sans-serif"><span class="Apple-style-span" style="border-collapse: collapse; white-space: normal;">I think Teemu was speaking about the "loaddata" phase of the installation, which I think should not be considered as "normal" indexing. </span></font></pre>
<pre><font class="Apple-style-span" face="arial, sans-serif"><span class="Apple-style-span" style="border-collapse: collapse; white-space: normal;">For me the data-processing speed was anything but consequent. For the Europe extract it was 5-7 MB/m for the first 5 hours. Then it slowed down drastically (1,5-3 MB/m) for 22 hours. Then it became very fast (15-22 MB/m) for 7 hours. U</span></font><span class="Apple-style-span" style="border-collapse: collapse; font-family: arial, sans-serif; white-space: normal; ">nfortunately a</span><span class="Apple-style-span" style="border-collapse: collapse; font-family: arial, sans-serif; white-space: normal; ">fter that, at cca. 70% the process has run out of memory. (so I am not sure if it was a "standard" run till the crash) </span></pre>
<pre><font class="Apple-style-span" face="arial, sans-serif"><span class="Apple-style-span" style="border-collapse: collapse; white-space: normal;">This was the result with PostGIS 1.3.3. After this I had updated to 1.5.2. </span></font><span class="Apple-style-span" style="border-collapse: collapse; font-family: arial, sans-serif; white-space: normal; ">(I had also raised the pg's shared_buffers and effective_cache_size a bit) </span><span class="Apple-style-span" style="border-collapse: collapse; font-family: arial, sans-serif; white-space: normal; "> Then the process was like 3x slower.</span></pre>
<pre><span class="Apple-style-span" style="border-collapse: collapse; font-family: arial, sans-serif; white-space: normal; ">I am using Debian, PostgreSQL 8.3.12, PostGIS 1.3.3/1.5.2, with a two months old osm2pgqsl version. In a dedicated System x3650 M2 with 24GB Ram</span></pre>
<pre style="font-size: medium; "><div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; "><div>I've set Debian's SHMMAX to 8GB = 8*1024*1024*1024 = 8589934592, and SHMALL to SHMMAX/4096 = 2097152</div>
</div><div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; "><br></div><div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; ">
<span style="color: rgb(51, 51, 51); font-family: Fixedsys; "><font size="1">107,108c107<br>< shared_buffers = 6GB<br>---<br>> shared_buffers = 32MB<br>115,116c114,115<br>< work_mem = 256MB<br>< maintenance_work_mem = 256MB<br>
---<br>> #work_mem = 1MB <br>> #maintenance_work_mem = 16MB<br>121c120<br>< max_fsm_pages = 1592000<br>---<br>> max_fsm_pages = 204800<br>153c152<br>< fsync = off<br>---<br>> #fsync = on<br>163c162<br>< wal_buffers = 24MB<br>
---<br>> #wal_buffers = 64kB<br>172c171<br>< checkpoint_segments = 20<br>---<br>> #checkpoint_segments = 3<br>174c173<br>< checkpoint_completion_target = 0.9<br>---<br>> #checkpoint_completion_target = 0.5<br>
205c204<br>< random_page_cost = 1.5 <br>---<br>> #random_page_cost = 4.0<br>209c208<br>< effective_cache_size = 20GB<br>---<br>> #effective_cache_size = 128MB<br>383c381<br>< autovacuum = off<br>---<br>> #autovacuum = on</font></span></div>
<div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; "><font color="#333333" face="Verdana, Arial, Tahoma, Calibri, Geneva, sans-serif"><br></font></div><div style="border-collapse: collapse; font-size: 13px; white-space: normal; ">
<font class="Apple-style-span" color="#333333" face="Verdana, Arial, Tahoma, Calibri, Geneva, sans-serif">What do you suggest? Should I downgrade the PostGIS? What should I change in the config? (Not considering the "out of memory issue", because it is not related probably)</font></div>
<div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; "><font color="#333333" face="Verdana, Arial, Tahoma, Calibri, Geneva, sans-serif"><br></font></div><div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; ">
<font color="#333333" face="Verdana, Arial, Tahoma, Calibri, Geneva, sans-serif">Regards,</font></div><div style="font-family: arial, sans-serif; border-collapse: collapse; font-size: 13px; white-space: normal; "><font color="#333333" face="Verdana, Arial, Tahoma, Calibri, Geneva, sans-serif">Gergő</font></div>
</pre><pre style="font-family: monospace; font-size: medium; "><br></pre><pre style="font-family: monospace; font-size: medium; "><br></pre><pre style="font-family: monospace; font-size: medium; "><br></pre>