[OSM-talk-fr] osm2pgsql diff benchmark, beta.letuffe.org reborn

[sly (sylvain letuffe)]

Petit message de retour d'expérience pour les gestionnaires de bases osm de 
type osm2pgsql (rendu, stats, ...) que ça pourrait intéresser :

Certains qui connaissent beta.letuffe.org savent sans doute que ce dernier 
mois a été pénible au niveau des mises à jour de la base. 
(Toujours en retard, jamais à jour, super méga trop lent, etc.)

En fait, ça fait plutôt 6 mois que c'est vraiment la galère, car d'un coté la 
base osm dispose de plus en plus de mise à jour et de contributeur (c'est 
plutôt une bonne chose !) et je traite un peu plus de choses qu'avant.

Bref, la mise à jour de la base par le système de diff 
(planet.openstreetmap.org) avait atteint sa limite car il fallait à mon petit 
serveur environ 50 secondes pour manger 1 minute de mise à jour (zone 
europe), il passait donc plus son temps qu'a ça, ralentissant tout le reste 
et après 1 mois n'a toujours pas rattrapé mainstream.

Mais voilà, Moore est passé par là ! La base osm grandi et grossi ? que cela 
ne tienne, c'est pareil pour les ordinateurs !

Je résume pour les pressés en une seule phrase : "les disque SSD c'est de la 
bombe de balle"

Benchs : 

Bécanne A, (la vielle): 2Go RAM / 2 disques SATA magnétiques RAID0 (10000rpm)
Bécanne B, (tests): 32Go RAM / 2 disques SATA magnétiques  RAID1 (10000rpm)
Bécanne C, (new): 8Go RAM / 2 disques SATA SSD RAID0 (INTEL SSDSA2M080)

case1) Import du fichier europe.osm.bz2 géofabrik
($/home/ressource-for-osm/osm2pgsql/osm2pgsql -C 
1200 -s -S ./default.style -G -x -m -d gis europe.osm.bz2)

A: 7 jours
B: 3 jours (2.5j avec 16Go de cache)
C: 8 heures

case 2) moyenne d'import d'un diff d'une minute (moyenne sur nuit/jour)
($time /home/ressource-for-osm/osm2pgsql/osm2pgsql -C 
400 --bbox -27,31,50,72 -e 
18 -o./regeneration_old_tiles/expire_file_list -x -G -a -s -S ./default.style -m -d 
gis temporaire.osc)

A:~50secondes
B:~30secondes (le cache RAM du noyau linux doit bien aider)
C:~3secondes

Donc, si vous voulez vous monter un rendu mapnik à jour, le SSD, vous ne 
regretterez pas !
Sans compter que le rendu lui même dépote grave.
Passage en prod sous peu.

-- 
sly
Sylvain Letuffe sylvain at letuffe.org
qui suis-je : http://slyserv.dyndns.org