[Talk-de] Bulk db Was: Rendern im Rechencluster?

Florian Lohoff flo at rfc822.org
Fr Jun 20 10:26:44 UTC 2008


On Tue, Jun 17, 2008 at 09:12:46PM +0200, Dirk-Lüder Kreie wrote:
> Hauptsächlich know-how, und ich vermute recht viel RAM.
> Festplatte so in der 2-3 stelligen GB Gegend, eben genug, eine komplette 
> OSM DB ohne History zu beherbergen.
> 
> Ich habe nicht genug Ahnung von Datenbanken um das genauer spezifizieren 
> zu können.
> 
> Im Prinzip brauchen wir eine "bulk-request" Datenbank, die ohne die 
> 50000-node restriktion der Original-API funktioniert, und die api 
> braucht eigentlich nur den "map" call zu implementieren.

Ich habe mal eine kiste genommen (Dual Xeon 3.2Ghz, 4Gb Ram, 4x72GB 10K
U320 SCSI am AACRAID als Raid5 -> 210GB netto).

Der import des planet.osm in die mysql mit osmosis laeuft seit
gestern abend 22:00. 

Ich befuerchte aber das 4GB ram nen bischen wenig ist weil alleine
der index auf der node tabelle >4GB ist.

Das daraus resultierende problem ist das die kiste zwar 12GB Ram
aufnehmen kann aber das 32Bit CPUs sind d.h. ein einzelner prozess kann
max ~2.5GB gross werden. Der rest waere dann nur plattencache.

Flo
-- 
Florian Lohoff                  flo at rfc822.org             +49-171-2280134
	Those who would give up a little freedom to get a little 
          security shall soon have neither - Benjamin Franklin
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 189 bytes
Beschreibung: Digital signature
URL         : <http://lists.openstreetmap.org/pipermail/talk-de/attachments/20080620/33066c69/attachment.sig>


Mehr Informationen über die Mailingliste Talk-de