[OSM-talk-fr] beta est de retour...

[sly (sylvain letuffe)]

On mercredi 31 mars 2010, Marc Sibert wrote:
> 7 jours pour importer quoi ? Un planet complet ? 
En effet, j'ai pas été super utile dans mon commentaire ;-)

Il s'agit du fichier europe.osm.bz2 par géofabrik de 3.2Go en bzip2
L'import est fait à l'aide de osm2pgsql comprenant quelques petits tweaks qui 
lui font prendre encore un peu plus de temps.

J'ai toutefois noté que l'absence de suffisamment de RAM (2Go "seulement") 
était un gros goulot d'étranglement car peu de possibilité de mise en cache 
qui, sur une autre machine dont je dispose avec 32Go donne 2 jours au lieu de 
7

> C'est une question de   
> benchmark car j'ai un parser de fichiers .osm qui remplit une base 
> Sqlite3 (Spatialite en fait) en 2 heures pour la France. 

Pour la france, sur la même machine, ça ne prend "que" quelques heures 
(peut-être 6 si mes souvenirs sont bons)

Ton projet semble intéressant, il ne me semble pas avoir trouvé d'équivalent 
de osm2pgsql qui sache directement incorporer ça dans du spatialite, ce qui 
ouvre des voies à plusieurs applications embarquées.

(y'a des chances que ton truc puisse tourner sous linux sans utiliser un 
parseur xml windo-windowsien ou autre librairie introuvable ? ;-) )

> Pour l'Europe,  
> j'ai du interrompre mon appli à la création des indexes (je fais un 
> "bulk insert" sans index pour aller plus vite), au bout de 3 jours 
> (l'import lui-même se fait en une bonne dizaine d'heures).

Les comparaisons sont dur à faire avec des machines différentes, pour mon 
osm2pgsql, l'import a pris la moitié, et la création des indexes spatiaux le 
reste
Mais je n'importe pas tout, et le schéma osm2pgsql n'est pas super optimal je 
trouve
 
> En fait je me demande si Sqlite3 est assez costaude pour gérer 50 à 60 
> Go de données pour l'Europe et surement plus du double pour le Planet.
ça, je ne pourrais dire. Mais en se débrouillant bien je doute que l'on ne 
puisse pas réduire à quelque chose comme 6Go.
Le fichier xml est plein à craquer de redondance de partout.

Question taille, osmosis doit être au top avec son schéma, il faudrait 
demander une taille a quelqu'un qui opère une telle base

-- 
sly
Sylvain Letuffe sylvain at letuffe.org
qui suis-je : http://slyserv.dyndns.org