[Talk-de] XAPI Neubauen WAS:Re: XAPI ständig tot

[Josias Polchau]

Am 07.09.2010 06:16, schrieb Florian Lohoff:
> On Mon, Sep 06, 2010 at 09:13:24PM +0200, Josias Polchau wrote:
>> Am 06.09.2010 09:37, schrieb Florian Lohoff:
>>> SQL DBs passen nicht wirklich schoen zu den OSM Daten. Das Problem mit der TRAPI
>>> sind die vielen kleinen files und perl als interpretersprache die nicht
>>> wirklich super fuer die bit ops ist (Ich bin sonst schon ein perl fan)
>>
>> Du kennst PostGis? die Geometrie-Daten werden in einem Binärformat
>> abgespeichert.
>> Ein eigenes DB-Schema kann man auch erstellen. Ähnlich dem von Mapnik.
>
> Ja - Kenn ich - beschaeftige mich seit mehreren Jahren damit.
>
> Aber mal drueber nachgedacht wie ineffizient es ist in der Postgres/Gis
> einen node abzulegen in einer tabelle die eine numerische id, lat, lon
> und sonst nix enthaelt? Die tabelle ist nicht besonders breit
> und der index in etwa genausogross wie die tabelle selbst. Das geht
> wenn man es massschneidert signifikant effizienter ...
Nein die Suche ist bei Postgres effizient nicht der Speicherplatz.
und genau das brauchen wir für die XAPI
nicht um sonst hat die bisherige XAPI auch eine DB im hintergrund.
Das problem an der alten ist, dass keiner mehr den code warten kann bzw 
eine weitere instanz aufsetzen kann.

> d.h. 60GB zu 6.2GB - da ist ohne index nen faktor 10 dazwischen. Postgres/Gis
> ist super als rapid prototyping und um schnell mal mit wenig daten was
> ans laufen zu bringen. Aber OSM bring das zeugs schnell an den rand
> des machbaren es sei denn man ist kroesus und kann mit Hardware danach werfen.

Ich weiß nicht, ob du da nicht etwas vergessen hast.
Ich hatte immer gelernt:
Entweder Schnell oder Platzsparend.
also, entweder man baut ein binärformat, das klein ist, das man aber 
sequentiell ohne index durchsuchen muss
oder man benutzt ein Relationales Modell, das Sehr hohe Zugriffszeiten 
hat, dafür aber sehr groß ist.

durchsuch mal volltext 6 GB ohne index. das dauert zu lange. zumindest 
für die XAPI
Terrabyte Festplatten kosten nicht mehr die Welt.