[OSM-talk-fr] MemoryError avec pyosm

julien balas julien at krilin.org
Jeu 29 Avr 20:41:25 UTC 2010


Rodolphe Quiedeville wrote:
> Yann Coupin a écrit :
>> A vue de nez, ça monte le fichier sous forme d’arbre en mémoire. Donc ça peut prendre beaucoup de mémoire si le fichier est gros (le stockage ne doit pas en plus être optimisé pour être compact). Tout ça pour dire qu’à part recoder pyosm pour utiliser un cache disque (pas regardé le code pour savoir la meilleure façon de faire) ou ajouter de la RAM dans ta machine (je pense en même temps que 3Go c’est déjà bien), il n’y a pas vraiment d’autres solution.
>> Il est peut-être temps de te monter un postgresql et d’utiliser osm2pgsql en premier ?
> 
> Salut,
> 
> J'ai déjà des pg qui tournent mais je pensais tout de même ne pas avoir
> besoin d'en arriver là juste pour parser des fichiers xml. Information
> de pro qui m'intéresse c'est pourquoi osm2pgsql s'en sortirait lui avec
> de si gros fichiers ?

Il doit utiliser un parser SAX plutôt qu'un parseur DOM.
Et puis il ne garde pas les infos en mémoire, il sauve les éléments en 
base au fur et a mesure.

-- 
JB






Plus d'informations sur la liste de diffusion Talk-fr