[Talk-de] XAPI Neubauen WAS:Re: XAPI ständig tot

Florian Lohoff f at zz.de
Di Sep 7 04:16:34 UTC 2010


On Mon, Sep 06, 2010 at 09:13:24PM +0200, Josias Polchau wrote:
> Am 06.09.2010 09:37, schrieb Florian Lohoff:
>> SQL DBs passen nicht wirklich schoen zu den OSM Daten. Das Problem mit der TRAPI
>> sind die vielen kleinen files und perl als interpretersprache die nicht
>> wirklich super fuer die bit ops ist (Ich bin sonst schon ein perl fan)
>
> Du kennst PostGis? die Geometrie-Daten werden in einem Binärformat  
> abgespeichert.
> Ein eigenes DB-Schema kann man auch erstellen. Ähnlich dem von Mapnik.

Ja - Kenn ich - beschaeftige mich seit mehreren Jahren damit.

Aber mal drueber nachgedacht wie ineffizient es ist in der Postgres/Gis
einen node abzulegen in einer tabelle die eine numerische id, lat, lon
und sonst nix enthaelt? Die tabelle ist nicht besonders breit
und der index in etwa genausogross wie die tabelle selbst. Das geht
wenn man es massschneidert signifikant effizienter ... 

Nur so mal als Ansatz aktuelle groessen einer meiner Postgis instanzen:

osm=# select pg_size_pretty(pg_relation_size('nodes'));
 pg_size_pretty 
----------------
 60 GB
(1 row)

osm=# select pg_size_pretty(pg_relation_size('idx_nodes_geom'));
 pg_size_pretty 
----------------
 36 GB
(1 row)

Und jetzt guck mal wie gross das osm binary format ist wenn man ALLES
konvertiert. Da liegen wir bei laut 

	http://www.mail-archive.com/dev@openstreetmap.org/msg11392.html

bei:

	 8.2gb   planet-100303.osm.bz2
	12  gb   planet-100303.osm.gz
	 5.2gb   planet-omitmeta.bin
	 6.2gb   planet.bin

d.h. 60GB zu 6.2GB - da ist ohne index nen faktor 10 dazwischen. Postgres/Gis
ist super als rapid prototyping und um schnell mal mit wenig daten was 
ans laufen zu bringen. Aber OSM bring das zeugs schnell an den rand
des machbaren es sei denn man ist kroesus und kann mit Hardware danach werfen.

Postgres/Gis ist was das speichern auf der platte angeht extrem ineffizient
weil eben generalisiert.

Flo
-- 
Florian Lohoff                                                 f at zz.de
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 827 bytes
Beschreibung: Digital signature
URL         : <http://lists.openstreetmap.org/pipermail/talk-de/attachments/20100907/a41a25b5/attachment.sig>


Mehr Informationen über die Mailingliste Talk-de