[Talk-de] Relationsstruktur fuer geografische Einordnung

[Florian Lohoff]

On Thu, Oct 08, 2009 at 02:20:52PM +0200, marcus.wolschon at googlemail.com wrote:
> Ahnung warum OSMXAPI nicht skaliert?
> Ich hab keine Bitten um Server-Kapazität gesehen,
> daran wirds also wohl nicht liegen.

Importier mal einen planet in eine datenbank - postgres weils
am einfachsten ist und guck dir mal an wie gross die indexe sind
und wieviel daten das sind - Alleine der index fuer die node geometry
den man zwangsweise fuer BBOX queries braucht ist ~12GB gross - Wenn
also die kiste <12GB ram hat geht alleine der query fuer den index
an die platte was jetzt fuer Datenbanken schon bloed ist.

Ich gehe davon aus das man >32GB Ram braucht und dann ein schoenes
plattensubsystem mit 1TB aber das bitte in >20 Platten damit
das mit dem concurrent access was wird ...

Dazu kommt halt das das schnell mal ein harmlos aussehender request dazu
fuehrt das ein paar gigabyte daten zu durchwuehlen sind.

Du kannst ja mal probieren den planet mit seinen 7GB (komprimiert) von 
der Platte zu lesen - Einfach mal cat planet.bz2 >/dev/null 

Irgendwann hilft hardware nicht mehr - PCIe, IDE/SATA alles wird irgendwann zum
Bottleneck und dann helfen nur noch radikale ansaetze wie es google mit dem
search index macht - Massiv parallelisieren.  Aber wer hat schon ein paar
hundert ungenutzte kisten und 10 talentiert programmierer ungenutzt rumsitzen
um sowas zu bauen.

Der planet hat einfach skalierungsgrenzen erreicht bei denen mit Bordmitteln
wie postgres, perl, java und einem HeimPC bei komplexen queries nichts mehr
zu reissen ist...

Ich denke das TRAPI ein radikaler, interessanter ansatz ist auf dem 
man aufbauen koennte...

Flo
-- 
Florian Lohoff                                         flo at rfc822.org
"Es ist ein grobes Missverständnis und eine Fehlwahrnehmung, dem Staat
im Internet Zensur- und Überwachungsabsichten zu unterstellen."
- - Bundesminister Dr. Wolfgang Schäuble -- 10. Juli in Berlin 
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 189 bytes
Beschreibung: Digital signature
URL         : <http://lists.openstreetmap.org/pipermail/talk-de/attachments/20091008/c0b12dc8/attachment.sig>