[OSM-talk-fr] Benchmark d'import OSM

[Marc Sibert]

Marc Sibert a écrit :
> sylvain letuffe a écrit :
>> ... après 7 jours d'import
>>
>> c'est qu'elle grossie vachement la base osm !
>>   
> Juste une question pour moi car je redéveloppe mon API OSM en C++ pour 
> la version 0.6 :
> 7 jours pour importer quoi ? Un planet complet ? C'est une question 
> de  benchmark car j'ai un parser de fichiers .osm qui remplit une base 
> Sqlite3 (Spatialite en fait) en 2 heures pour la France. Pour 
> l'Europe, j'ai du interrompre mon appli à la création des indexes (je 
> fais un "bulk insert" sans index pour aller plus vite), au bout de 3 
> jours (l'import lui-même se fait en une bonne dizaine d'heures).
>
> En fait je me demande si Sqlite3 est assez costaude pour gérer 50 à 60 
> Go de données pour l'Europe et surement plus du double pour le Planet.
>
> Merci de ton retour,
>
> -- 
> Marc
>
Bonsoir,

Juste pour faire un point à ce sujet, j'ai été un peu optimiste dans mon 
message initial. Voici donc des mesures que j'ai pu effectuer 
aujourd'hui. Import de france.osm.bz2 du 9/4.
bulk insert de : Nodes : 32320574 - Ways : 2154054 - Relations : 108442 
en 8149s (2h16) ;
creation des indexes (dont un spatial pour les nodes - RTree) + analyse 
(statistiques pour calculer les plans d'exécution des requêtes) en 
31030s au total (incluant les 8149s) soient 8h37 au total et 6h1/4 pour 
les indexes seulement..

J'ai relancé avec l'index spatial défini lors de l'instanciation des 
tables :
bulk insert : 33676s (9h21)
création des index (les autres) + analyse en 35751s (9h56) soient 30 
minutes pour les indexes.

Pour info la machine est :
AMD Athlon 3000+ (mono proc, mono core) 1.81 GHz - 2 Go ram - 250 Go 
SATA, un poste utilisateur standard quoi !

Le code est en C++ avec Spatialite, il est distribuable en cc-by-sa 2.0 
(hé hé), par contre si quelqu'un sait jouer des autotools, ça 
m'intéresse de le rendre compilable facilement en linux. J'avais 
commencé un make à la main, mais ça devient l'enfer à maintenir.

A+

Marc