[Talk-de] XAPI Neubauen WAS:Re: XAPI ständig tot

Josias Polchau speak at youseeus.de
Mo Sep 6 19:13:24 UTC 2010


Am 06.09.2010 09:37, schrieb Florian Lohoff:
> SQL DBs passen nicht wirklich schoen zu den OSM Daten. Das Problem mit der TRAPI
> sind die vielen kleinen files und perl als interpretersprache die nicht
> wirklich super fuer die bit ops ist (Ich bin sonst schon ein perl fan)

Du kennst PostGis? die Geometrie-Daten werden in einem Binärformat 
abgespeichert.
Ein eigenes DB-Schema kann man auch erstellen. Ähnlich dem von Mapnik.

Datenbanken sind genau für so etwas gemacht. sie müssen nicht erst 
eingelesen werden, sondern haben Indzes usw.
ich hab sehr gute erfahrungen gemacht. sogar für routing gibt es eine 
Postgis erweiterung.

Selbst komplizierte GeoOperationen auf Deutschland waren in meiner VM 
extrem schnell trotz 1 GB Ram
Server haben meist ein vielfaches.
In Zukunft wird es so kommen müssen, wenn man eine Funktionierende und 
nutzbare XAPI haben möchte.
Man braucht einfach einen kompletten Server für sowas.
ein kleiner webspace reicht für die Welt nicht aus.
> Ich finde das Thema OSM binary file format spannend.

hm da bin ich nicht so ein großer fan von, da wird die selbe Situation 
Entstehen wie sie jetzt existiert.
Keiner kann den Code warten, es seidenn du Kommentierst extrem gut. das 
ist aber meiner Erfahrung nach nur bei wenigen Entwicklern die solche 
Sachen machen der Fall.

> Wichtig ist auch das der import schnell geht, so das fritzchen mueller
> das auch mal schnell auf seiner kiste machen kann.
Das wird bei solchen datenmengen nicht passieren. das wird auch in 
zukunft die Webspaces sprengen.



> Deshalb habe ich mal mit einem parallelisierten OSM XML file reading
> rumgespielt d.h. beliebig viele cores dafuer zu nutzen (Wenn das bunzip single
> threaded ist kann man durchauf 6-8 Cores beschaeftigen). Klappt soweit ganz
> gut.  Die frage ist nur wie man jetzt das ganze XML in eine Datenbank
> verbuddelt - Da habe ich erste experimente mit integer compression und string
> deduplication gemacht - nen bischen wie die google protocol buffers (ohne die
> zu kennen) bis ich dann ueber die osm binary file implementierung gestolpert
> bin.

Cool. leider kenne ich mich in dem Gebiet noch nicht aus, sodass ich dir 
da nicht helfen kann..
außerdem kann es ja auch verschiedene Ansätze geben.

evtl auch einen Verteiler der je nach art die Anfrage an verschidene 
Syteme weitergibt.







Mehr Informationen über die Mailingliste Talk-de