[OSM-talk-fr] Benchmark d'import OSM

Marc SIBERT marc at sibert.fr
Ven 23 Avr 14:28:29 UTC 2010


Le 10 avril 2010 23:09, Marc Sibert <marc at sibert.fr> a écrit :

> Bonsoir,
>
> Juste pour faire un point à ce sujet, j'ai été un peu optimiste dans mon
> message initial. Voici donc des mesures que j'ai pu effectuer aujourd'hui.
> Import de france.osm.bz2 du 9/4.
> bulk insert de : Nodes : 32320574 - Ways : 2154054 - Relations : 108442 en
> 8149s (2h16) ;
> creation des indexes (dont un spatial pour les nodes - RTree) + analyse
> (statistiques pour calculer les plans d'exécution des requêtes) en 31030s au
> total (incluant les 8149s) soient 8h37 au total et 6h1/4 pour les indexes
> seulement..
>
> J'ai relancé avec l'index spatial défini lors de l'instanciation des tables
> :
> bulk insert : 33676s (9h21)
> création des index (les autres) + analyse en 35751s (9h56) soient 30
> minutes pour les indexes.
>
> Pour info la machine est :
> AMD Athlon 3000+ (mono proc, mono core) 1.81 GHz - 2 Go ram - 250 Go SATA,
> un poste utilisateur standard quoi !
>
> Le code est en C++ avec Spatialite, il est distribuable en cc-by-sa 2.0 (hé
> hé), par contre si quelqu'un sait jouer des autotools, ça m'intéresse de le
> rendre compilable facilement en linux. J'avais commencé un make à la main,
> mais ça devient l'enfer à maintenir.
>
> A+
>
> Marc
>

Bonjour,

J'ai continué mes tests et j'ai retiré les index spatiaux et comme ça je
parse :

   - france.osm.bz2 en env. 2h30 ;
   - europe.osm.bz2 en env 22h

J'attends un nouveau PC avant de lancer le planet.osm.

Dans les améliorations de mon API, la prochaine étape, c'est l'analyse des
diffs.

les sources à http://freeroute.fr/?page_id=60

A+

-- 
Marc Sibert
marc at sibert.fr
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20100423/b970ac9b/attachment.htm>


Plus d'informations sur la liste de diffusion Talk-fr