[Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

[Jan Jesse]

Hallo Hilmar,

Danke für den link, hatte ich entweder noch nicht gefunden, oder überlesen ...
Ich habe mir die postgresql.conf angesehen, und jetzt folgende Änderungen vorgenommen:

 shared_buffers = 128MB # 16384 for 8.1 and earlier
 checkpoint_segments = 20
 maintenance_work_mem = 256MB # 256000 for 8.1 and earlier
 autovacuum = off

 Edit kernel parameter shmmax to increase maximum size of shared memory.
 sudo sysctl -w kernel.shmmax=268435456
 sudo sysctl -p /etc/sysctl.conf

Postgres neu gestartet, und den Import gleich auf Verdacht neu gestartet. Jetzt dauert es aber wieder 30 h :-(

Welche Informationen zu meinem Setup würdest Du jetzt brauchen?

Für jede Hilfe dankbar

JJ

Im Terminal sieht es jetzt in etwa so aus:

osm2pgsql -I -m -s -d gis -C 2048 /home/jan/Arbeitsfläche/planet-latest.osm.bz2
osm2pgsql SVN version 0.80.0 (32bit id space)

Using projection SRS 900913 (Spherical Mercator)
Setting up table: planet_osm_point
NOTICE:  table "planet_osm_point" does not exist, skipping
NOTICE:  table "planet_osm_point_tmp" does not exist, skipping
Setting up table: planet_osm_line
NOTICE:  table "planet_osm_line" does not exist, skipping
NOTICE:  table "planet_osm_line_tmp" does not exist, skipping
Setting up table: planet_osm_polygon
NOTICE:  table "planet_osm_polygon" does not exist, skipping
NOTICE:  table "planet_osm_polygon_tmp" does not exist, skipping
Setting up table: planet_osm_roads
NOTICE:  table "planet_osm_roads" does not exist, skipping
NOTICE:  table "planet_osm_roads_tmp" does not exist, skipping
Allocating memory for dense node cache
Allocating dense node cache in block sized chunks
Node-cache: cache=2048MB, maxblocks=0*262145, allocation method=8192
Mid: pgsql, scale=100
Setting up table: planet_osm_nodes
NOTICE:  table "planet_osm_nodes" does not exist, skipping
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index "planet_osm_nodes_pkey" for table "planet_osm_nodes"
Setting up table: planet_osm_ways
NOTICE:  table "planet_osm_ways" does not exist, skipping
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index "planet_osm_ways_pkey" for table "planet_osm_ways"
Setting up table: planet_osm_rels
NOTICE:  table "planet_osm_rels" does not exist, skipping
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index "planet_osm_rels_pkey" for table "planet_osm_rels"

Reading in file: /home/jan/Arbeitsfläche/planet-latest.osm.bz2
Unknown node type 8
Processing: Node(880k 38.3k/s) Way(0k 0.00k/s) Relation(0 0.00/s)

> -----Ursprüngliche Nachricht-----
> Von: Hilmar Hartmann [mailto:hilmar.hartmann at gmail.com]
> Gesendet: Sonntag, 13. November 2011 13:48
> An: Openstreetmap allgemeines in Deutsch
> Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> failed: out of memory for query result
> 
> Hallo Jan,
> 
> ich hoffe Du hast das Postgresql Setup entsprechend angepasst, ich
> verweise
> hier mal
> auf das folgende How-To
> http://weait.com/content/build-your-own-openstreetmap-server
> 
> Das Problem wurde auch schon unter folgender Adresse beschrieben
> http://web.archiveorange.com/archive/v/tomQkEFYolL1R7cr1Jer
> ... hier wird auf den -C Parameter verwiesen.
> 
> Zur weiteren Analyse hilft es jedoch nochmal einen Blick auf Dein Setup
> zu
> werfen ...
> 
> Gruß aus Berlin
> 
> Hilmar
> 
> Am 13. November 2011 13:05 schrieb Walter Nordmann
> <walter.nordmann at web.de>:
> 
> >
> > Jan Jesse wrote:
> > >
> > >  und kann mir sagen, was zu tun ist, um diesen Import
> hinzubekommen?
> > >
> > am besten du postest hier mal die Software und den genauen Befehl,
> den du
> > verwendest.
> >
> > "Import Planet" kann man auf 1000 verschiedene Arten machen.
> >
> > Gruss
> > walter
> >
> > p.s. Umfeld, wie Rechner und OS wären auch nicht unflott.
> >
> >
> > -----
> > Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und
> du
> > wirst sehen, dass da kein Wald ist.
> > --
> > View this message in context:
> > http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-
> ways-failed-out-of-memory-for-query-result-tp6989522p6989783.html
> > Sent from the Germany mailing list archive at Nabble.com.
> >
> > _______________________________________________
> > Talk-de mailing list
> > Talk-de at openstreetmap.org
> > http://lists.openstreetmap.org/listinfo/talk-de
> >
> _______________________________________________
> Talk-de mailing list
> Talk-de at openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de