[Talk-de] XAPI Neubauen WAS:Re: XAPI ständig tot

Florian Lohoff f at zz.de
Di Sep 7 09:20:23 UTC 2010


On Tue, Sep 07, 2010 at 08:08:31AM +0200, Josias Polchau wrote:
> Nein die Suche ist bei Postgres effizient nicht der Speicherplatz.
> und genau das brauchen wir für die XAPI
> nicht um sonst hat die bisherige XAPI auch eine DB im hintergrund.
> Das problem an der alten ist, dass keiner mehr den code warten kann bzw  
> eine weitere instanz aufsetzen kann.

Du bist dir schon im klaren das Postgres auch nur einen index baut
den man beliebig nachbauen kann? Und je groesser der working set
(hier planet) wird desto langsamer wird das.

Speicherbandbreite und Plattenzugriff sind da schon irgendwann limitierende
faktoren ...

> Ich weiß nicht, ob du da nicht etwas vergessen hast.
> Ich hatte immer gelernt:
> Entweder Schnell oder Platzsparend.
> also, entweder man baut ein binärformat, das klein ist, das man aber  
> sequentiell ohne index durchsuchen muss
> oder man benutzt ein Relationales Modell, das Sehr hohe Zugriffszeiten  
> hat, dafür aber sehr groß ist.

Aeh ich glaube das betrachtest du ein wenig zu einfach. Platzsparend und
Schnell kenne ich nicht - Ich kenne "Good, Fast, Cheap - Pick any 2 you
cant have all 3" 

Ehrlich gesagt wiederspricht sich gross und schnell - Wenn meine CPU 
1GB/s Memory Bandwidth hat aber 8GB/s in den Cache, dann moechte ich
das der lieber 5 shifts, 3 mulus und 2 xors macht bevor der einmal
in den speicher guckt ...

> durchsuch mal volltext 6 GB ohne index. das dauert zu lange. zumindest  
> für die XAPI
> Terrabyte Festplatten kosten nicht mehr die Welt.

Aber schnelle Terrabyte Platte kosten viel Geld: Stichwort multiple reader
und concurrent access.

1TB in einer Spindle ist billig - wenn ich aber mit 20 Readern da drauf rumnudel
kriege ich da keinerlei brauchbaren durchsatz mehr.

Flo
-- 
Florian Lohoff                                                 f at zz.de
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 827 bytes
Beschreibung: Digital signature
URL         : <http://lists.openstreetmap.org/pipermail/talk-de/attachments/20100907/bc170e23/attachment.sig>


Mehr Informationen über die Mailingliste Talk-de