[OSM-talk-fr] telechargement france.osm

[Philippe Verdy]

Effectivement, surtout qu'il faut encore de la place pour la base de
données dans laquelle on va charger les données.
J'ai déjà essayé de charger le fichier France et une VM de 160 Go (incluant
environ 1 Go de logiciel mais pas l'espace swap de 64Go pour la mémoire
virtuelle) n'a pas suffit. Et avant que la base de données déborde dans le
système de fichier cela a pris tout de même 2 jours sur une VM à laquelle
j'avais consacré 6 processeurs sur 8...

Charger le fichier France demande maintenant des ressources considérables,
avec un serveur dédié, de l'espace de stockage confortable sur un système
de fichier annexe pour les données temporaires.

Ce serait bien que ceux qui parviennent encore à l'utiliser mentionnent
quelque part la configuration qui leur a été nécessaire la dernière fois,
surtout pour la question de l'espace disque (hors espace swap). et une
indication du temps de chargement (avec une description sommaire des
ressources de la machine utilisée: nombre de processeurs, mémoire, type de
processeur, et type de montage du système de fichier, et si quel espace de
fichiers ils ont mis sur un disque flash et non un disque physique (surtout
pour la phase de génération des index de pgSQL).

Si pour alléger le travail un préfilrage des données est effectué pour
charger les données en plusieurs lots, ce serait bien aussi d'être guidé.
c'est assez bête de faire tourner un script pendant 2 ou 3 jours et le voir
planter parce que le système de fichiers n'a plus de place pour continuer à
étendre la base de données pendant sa phase de préparation.

Aussi, une fois l'opération terminée, y a-t-il beaucoup d'espace de travail
temporaire libéré.

La seule façon pour l'instant d'estimer cela c'est de commencer par une
région plus petite pour estimer les besoins nécessaire approximativement
pour une région plus grande. Malheureusement cette estimation à partir
d'une région seulement est fausse : la densité spatiale des données n'est
certainement pas du tout distribuée de la même façon selon qu'on considère
l'île-de-France ou la Champagne-Ardenne, et il y a une part des volumes
nécessaires non proportionnelle, ou qui croit de façon non linéaire (par
exemple logarithmique), ce qui complique les estimations préalables
d'espace.


Le 1 décembre 2012 16:29, Christian Quest <cquest at openstreetmap.fr> a écrit
:

> Et autant éviter de le décompresser si on peut utiliser bzcat en pipe...
>
>
> Le 1 décembre 2012 16:23, Michaël Zakrzewski
> <mikamika48197646 at free.fr> a écrit :
> > Bonjour Claude,
> > regarde avec Winrar par exemple quelle est la taille du fichier
> décompressé france.osm avant de le décompresser car il est très probable
> que ce fichier fasse plus de 34 Go.
> >
> > Michaël
> >
>
> --
> Christian Quest - OpenStreetMap France - http://openstreetmap.fr/u/cquest
>
> _______________________________________________
> Talk-fr mailing list
> Talk-fr at openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-fr
>
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20121201/fd733951/attachment.htm>