
<html><head></head><body><div style="color:#000; background-color:#fff; font-family:verdana, helvetica, sans-serif;font-size:13px"><div id="yui_3_16_0_ym19_1_1484349674594_4932">Hi,</div><div id="yui_3_16_0_ym19_1_1484349674594_4932"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">I believe this issue many of us encountered,..</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">I'm using Osmosis to import full Europe (18.2 GB) into my postgreSQL db with pgsnapshot schema to build my own queries and analysis.</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Command used:</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">osmosis --read-pbf-fast "D:\Data\OSM\europe-latest.osm.pbf" workers=30 </div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">--log-progress </div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">--write-pgsql host="localhost" database="Europe" user=".." password=".."</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Not sure how I can get it into the db. It's still running since 11 days ago, Osmosis generated temp files are stored on the SSD disk, yet nothing loaded into the database.</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">I've implemented several tweaks found on wiki's for the osmosis\PostgreSQL (postgresql.conf file), also Osmosis JAVACMD_OPTIONS to improve the performance, and temp files settings.</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">I know Osmosis by default drops the indexes before loading. </div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Also tried different approaches such as:</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">- Divide and conquer approach, load country by country, but chances are high and happened for duplicated pk_relation_id, or pk_user_id violation errors.</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">- Used (--write-pgsql-dump) then psql copy, but got the same errors for duplicate violation of primary keys.</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">- Converted the file from .pbf into .osm, then use (--read-xml), hopeless case, so slow.</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Any idea how to sort this out?</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">--OS</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Windows 7 Pro (64-bit) on i7 @2.7GHz</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">--Appl</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">PostgreSQL 9.6.1.1 (x64) [latest version]</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Postgis 2.3.1 [latest version]</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Java 1.8-111 [latest version]<br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Osmosis 0.45 [latest version]<br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">--Hardware:</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">32-GB RAM</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">1-TB SSD</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr">Sami</div><div id="yui_3_16_0_ym19_1_1484349674594_4932" dir="ltr"><br></div></div></body></html>