[OSM-dev-fr] Travailler sur des imports partiels

[sly (sylvain letuffe)]

Le mercredi 04 juillet 2012 22:37:10, Philippe DAVID a écrit :
> Oui alors l'idée c'était de voir si ça pouvait tenir sur des SSD?

Tu as deviné ;-)

Ou plutôt, si les finances consacrées à ce projet permettrait d'acheter le(s) 
ssd qui ferait tenir tout ça.

> Je cite la page Nominatim/Install:
> "For a full planet install you will need a minimum of 600GB of hard disk
> space (as of January 2012)"

La base monde au format osm2pgsql (pas celui de nominatim qui semble avoir 
divergé un peu) que j'ai sous la main fait ~1To pour donner un ordre d'idée

> "On a 12-core machine with 32GB RAM and standard SATA disks, the initial
> import (osm2pgsql) takes around 20 hours and the indexing process another
> 250 hours. Only, 8 parallel threads were used for this setup because I/O
> speed was the limiting factor."

whaou 250 heures ! Je ne sais pas quels sont les indexes qu'il prépare pour 
nominatim et ce qu'ils ont de particulier, mais sur la version "osm2pgsql" 
prévu pour le rendu c'est ~15h d'import et ~15h d'indexation, mais bref, vu 
que ça n'est à faire qu'une fois... (enfin faut bien avoir testé avant sinon 
c'est reparti pour 10j)

> 600GB c'est la taille de la db dans postgresql à la fin à votre avis ?
oui

> Sinon sur du SATA ça veut dire 10 jours à monopoliser les disques si je
> comprends bien.
oui (enfin les CPU ne sont pas au repos non plus hein !)

-- 
sly (sylvain letuffe)