[Talk-de] Fehler Import planet.osm.bz2: pending_ways failed: out of memory for query result

[Hilmar Hartmann]

Hallo Jan,

unter Umständen ist das mit dem Speicher etwas knapp (wenn ich es richtig
gelesen habe hast Du der VM 4 GB spendiert), wir werden mal schauen ob er
das richtig importiert, ggf. müssen wir die SWAP Datei mal erweitern und der
VM mehr Speicher zuteilen und dann den -C Parameter erhöhen, den Kernel
Parameter (sysctl) übernimmt Linux allerdings erst nach einem Neustart des
Rechners
bzw. der VM soweit ich es mitbekommen habe, aber schauen wir erstmal wie
weit er kommt.

Soweit ich abschätzen kann ist der PBF-Datei Import schneller zu
bewerkstelligen,
aber dann müsstest Du wieder ein neues Planetfile laden und ggf. nochmal
prüfen
ob die OSM2PGSQL Version entsprechend kompiliert wurde, kostet also auch
noch
mal Zeit ...

Melde dich einfach wieder wenn er soweit ist ... achja, je mehr RAM er
nutzen kann desto
schneller geht das Ganze grundsätzlich von statten, aber das hasst Du
garantiert schon mehr
als einmal gelesen :-)

Gruß

Hilmar

Am 13. November 2011 14:14 schrieb Jan Jesse <jan at jesse.de>:

> Hallo Hilmar,
>
> Danke für den link, hatte ich entweder noch nicht gefunden, oder überlesen
> ...
> Ich habe mir die postgresql.conf angesehen, und jetzt folgende Änderungen
> vorgenommen:
>
>  shared_buffers = 128MB # 16384 for 8.1 and earlier
>  checkpoint_segments = 20
>  maintenance_work_mem = 256MB # 256000 for 8.1 and earlier
>  autovacuum = off
>
>  Edit kernel parameter shmmax to increase maximum size of shared memory.
>  sudo sysctl -w kernel.shmmax=268435456
>  sudo sysctl -p /etc/sysctl.conf
>
> Postgres neu gestartet, und den Import gleich auf Verdacht neu gestartet.
> Jetzt dauert es aber wieder 30 h :-(
>
> Welche Informationen zu meinem Setup würdest Du jetzt brauchen?
>
> Für jede Hilfe dankbar
>
> JJ
>
> Im Terminal sieht es jetzt in etwa so aus:
>
> osm2pgsql -I -m -s -d gis -C 2048
> /home/jan/Arbeitsfläche/planet-latest.osm.bz2
> osm2pgsql SVN version 0.80.0 (32bit id space)
>
> Using projection SRS 900913 (Spherical Mercator)
> Setting up table: planet_osm_point
> NOTICE:  table "planet_osm_point" does not exist, skipping
> NOTICE:  table "planet_osm_point_tmp" does not exist, skipping
> Setting up table: planet_osm_line
> NOTICE:  table "planet_osm_line" does not exist, skipping
> NOTICE:  table "planet_osm_line_tmp" does not exist, skipping
> Setting up table: planet_osm_polygon
> NOTICE:  table "planet_osm_polygon" does not exist, skipping
> NOTICE:  table "planet_osm_polygon_tmp" does not exist, skipping
> Setting up table: planet_osm_roads
> NOTICE:  table "planet_osm_roads" does not exist, skipping
> NOTICE:  table "planet_osm_roads_tmp" does not exist, skipping
> Allocating memory for dense node cache
> Allocating dense node cache in block sized chunks
> Node-cache: cache=2048MB, maxblocks=0*262145, allocation method=8192
> Mid: pgsql, scale=100
> Setting up table: planet_osm_nodes
> NOTICE:  table "planet_osm_nodes" does not exist, skipping
> NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index
> "planet_osm_nodes_pkey" for table "planet_osm_nodes"
> Setting up table: planet_osm_ways
> NOTICE:  table "planet_osm_ways" does not exist, skipping
> NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index
> "planet_osm_ways_pkey" for table "planet_osm_ways"
> Setting up table: planet_osm_rels
> NOTICE:  table "planet_osm_rels" does not exist, skipping
> NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index
> "planet_osm_rels_pkey" for table "planet_osm_rels"
>
> Reading in file: /home/jan/Arbeitsfläche/planet-latest.osm.bz2
> Unknown node type 8
> Processing: Node(880k 38.3k/s) Way(0k 0.00k/s) Relation(0 0.00/s)
>
> > -----Ursprüngliche Nachricht-----
> > Von: Hilmar Hartmann [mailto:hilmar.hartmann at gmail.com]
> > Gesendet: Sonntag, 13. November 2011 13:48
> > An: Openstreetmap allgemeines in Deutsch
> > Betreff: Re: [Talk-de] Fehler Import planet.osm.bz2: pending_ways
> > failed: out of memory for query result
> >
> > Hallo Jan,
> >
> > ich hoffe Du hast das Postgresql Setup entsprechend angepasst, ich
> > verweise
> > hier mal
> > auf das folgende How-To
> > http://weait.com/content/build-your-own-openstreetmap-server
> >
> > Das Problem wurde auch schon unter folgender Adresse beschrieben
> > http://web.archiveorange.com/archive/v/tomQkEFYolL1R7cr1Jer
> > ... hier wird auf den -C Parameter verwiesen.
> >
> > Zur weiteren Analyse hilft es jedoch nochmal einen Blick auf Dein Setup
> > zu
> > werfen ...
> >
> > Gruß aus Berlin
> >
> > Hilmar
> >
> > Am 13. November 2011 13:05 schrieb Walter Nordmann
> > <walter.nordmann at web.de>:
> >
> > >
> > > Jan Jesse wrote:
> > > >
> > > >  und kann mir sagen, was zu tun ist, um diesen Import
> > hinzubekommen?
> > > >
> > > am besten du postest hier mal die Software und den genauen Befehl,
> > den du
> > > verwendest.
> > >
> > > "Import Planet" kann man auf 1000 verschiedene Arten machen.
> > >
> > > Gruss
> > > walter
> > >
> > > p.s. Umfeld, wie Rechner und OS wären auch nicht unflott.
> > >
> > >
> > > -----
> > > Wenn du den Wald vor lauter Bäumen nicht siehst, fälle die Bäume und
> > du
> > > wirst sehen, dass da kein Wald ist.
> > > --
> > > View this message in context:
> > > http://gis.638310.n2.nabble.com/Fehler-Import-planet-osm-bz2-pending-
> > ways-failed-out-of-memory-for-query-result-tp6989522p6989783.html
> > > Sent from the Germany mailing list archive at Nabble.com.
> > >
> > > _______________________________________________
> > > Talk-de mailing list
> > > Talk-de at openstreetmap.org
> > > http://lists.openstreetmap.org/listinfo/talk-de
> > >
> > _______________________________________________
> > Talk-de mailing list
> > Talk-de at openstreetmap.org
> > http://lists.openstreetmap.org/listinfo/talk-de
>
> _______________________________________________
> Talk-de mailing list
> Talk-de at openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-de
>