[Talk-de] XAPI Neubauen WAS:Re: XAPI ständig tot

Peter Körner osm-lists at mazdermind.de
Di Sep 7 11:20:53 UTC 2010


Am 07.09.2010 12:03, schrieb Peter Wendorff:
> P2P-Tauschbörsen technisch anguckst, tauschen die vor allem auch Quellen
> miteinander aus - also: welche IPs sind sonst noch aktiv? Welche Daten
> sind auf diesen Rechnern vorhanden?
Bei den meisten P"P Netzen hast du aber relativ statische Daten. Bei uns 
stellt sich nicht nur die Frage "Wer hat welche BBox" und die 
Herausforderung, die Antworten von mehreren Peers wieder zusammen zu 
einer großen BBox bauen. Zusätzlich muss nämlich auch noch geprüft 
werden, welcher Peer welchen Lag ggü. der Haupt-Datenbank hat.

Stell dir vor, der dispatcher erhält eine Anfrage für eine Weltweite 
Suche nach Autobahnen. Er muss dann 20 Peers ansprechen, die gemeinsam 
eine komplette Planet-DB haben. Wenn jetzt einer aber 15 Minuten hinter 
den anderen Peers, liefert daher also zu den anderen Peers inkompatible 
Daten.

Der Dispatcher muss also jederzeit wissen, welcher Peer welche Daten 
hält und wie alt diese sind.

Ich denke auch nicht, dass das Unmöglich ist, halte nur den Aufwand ggü. 
dem Nutzen für zu groß. Konkret bedeutet das, dass die erwartete Anzahl 
an Peers aufgrund der Voraussetzungen die ein solcher Peer an die 
Maschine stellt so gering ist, dass der Dienst viele Anfragen
  a) gar nicht oder
  b) nur langsam
beantworten kann, da Peers für bestimmte BBoxen ganz fehlen, zu alt oder 
zu ausgelastet sind.

Ich könnte mit ein solches System gut für Regionale suchen vorstellen, 
ähnlich organisiert wie pool.ntp.org, nicht aber für eine XAPI, die 
ebenso lokale wie auch weltweite Anfragen bearbeiten können soll.

Hier wäre meiner Meinung nach ein Rewrite sinnvoller. Aufgrund der 
Skalierbarkeit würde sich Erlang [1] anbieten und aufgrund der eignung 
für GIS-Themen PostGIS. Es kann aber sinnvoll sein, nicht Erlang zu 
verwenden, um eine größere Maintainer-Basis zu erlauben. In diesem Fall 
würde sich Ruby+Rails anbieten, da in diesem Fall eine Reihe von 
Erfahrungen und Manpower, die sich um den Rails-Port gebildet haben, mit 
nutzen lässt.

Lg, Peter


[1] http://chaosradio.ccc.de/cre082.html




Mehr Informationen über die Mailingliste Talk-de