[OSM-talk-fr] Combien long pour updater la planète?

Lun 19 Déc 21:30:23 UTC 2016

Un gros merci Christian pour ces informations fort pertinentes.

Mon serveur est un Blade HP roulant 16 cores (AMD Opteron(TM) Processor 6220) avec 48 GB RAM.

Je roule Ubuntu 14.04 avec postgresql 9.3 et PosGIS 2.1.2

J’ai roulé pgtune sur mon serveur et les valeurs importantes m’indiquent :

-        maintenance_work_mem = 1GB # pgtune wizard 2016-12-19

-        effective_cache_size = 32GB # pgtune wizard 2016-12-19

-        work_mem = 288MB # pgtune wizard 2016-12-19

-        shared_buffers = 11GB # pgtune wizard 2016-12-19

-        max_connections = 80 # pgtune wizard 2016-12-19

J’utilises le stack osmosis/osm2pgsql.

Le style utilisé est openstreetmap-carto et j’ai créé les indexes recommandé pour ce style en plus de downloader les shapefiles.

Mais effectivement, mon problème est les I/O.   Lorsque je roule iostat –xm 5  je vois les disques utilisés à 100%  Même chose pour le rendering qui n’est pas performant d’ailleurs…

Je me pose la question pour les updates je n’ai pas besoin d’upgrader à la minute ou aux heures et je me disais qu’un upgrade par jour générerait moins de traffic global (que je roulerait la nuit). Mais il ne faudrait pas que mon serveur passe la moitié de la journée à upgrader.   Est-ce que mon raisonnement est bon ou devrais-je en plus envisager des mises à jour aux minutes?

Merci encore pour ton aide vraiment appréciée !

Michel
Québec, Canada.

From: Christian Quest [mailto:cquest at openstreetmap.fr]
Sent: December 19, 2016 16:15
To: Discussions sur OSM en français
Subject: Re: [OSM-talk-fr] Combien long pour updater la planète?

Je n'ai jamais utilisé de SAN, et l'autre facteur important c'est la RAM pour le cache.
Il n'y a pas de miracle, de vrais disques rapides (SSD) et de la RAM... c'est ce qu'il faut pour une base monde si on veut faire du rendu qui tienne la route.
Le prochain serveur de tuiles d'OSM-FR a 4 disques SSD de 800Go et 128Go de RAM... et les optimisations sont toujours indispensables !
Postgres 9.6 est aussi un sacré bon en avant avec son fonctionnement en multithread sur les grosses requêtes.
Bref, il y a beaucoup d'éléments qui rentrent en ligne de compte:
- le hardware (CPU, RAM et stockage plus ou moins rapide avec plus ou moins de latence)
- le software: quels versions de chaque composant de la stack, quel paramétrage
- osm2pgsql ou imposm3 ? (plusieurs jours pour l'import, je pense que c'est osm2pgsql)
- quel style pour le fichier lua d'import... ça ralentit pas mal aussi
- beaucoup d'index ou juste ceux de base ?
etc...
Les temps d'import/update sont une chose mais les temps pour faire le rendu c'est au final encore plus important car c'est bien ça l'usage final, non ?

Le 19 décembre 2016 à 21:49, Pilon, Michel (SSC/SPC) <michel.pilon at canada.ca<mailto:michel.pilon at canada.ca>> a écrit :
Bonjour Christian,

Merci pour ta réponse.

Je sais que j’ai un problème d’I/O (disque SAN non local et non SSD) mais je voudrais savoir à quoi m’attendre réellement afin de déterminer si je regarde pour acquérir des disques locaux SSD.

Extrapoler une journée entière à partir d’update de 5 minutes induit une marge d’erreur qui peut être assez grande selon moi.

Est-ce que quelqu’un d’autres upgrade la planète quotidiennement? Combien de temps cela vous prend-il?

Bye,

Michel

From: Christian Quest [mailto:cquest at openstreetmap.fr<mailto:cquest at openstreetmap.fr>]
Sent: December 19, 2016 15:42
To: Discussions sur OSM en français
Subject: Re: [OSM-talk-fr] Combien long pour updater la planète?

Je ne fais pas de daily update sur les serveurs osm-fr, mais des updates toutes les 5mn et ils prennent environ 10s pour 300s soit un facteur de 1/30. En extrapolant sur 24h, ça devrait prendre moins de 1h/jour.
Tout dépend de la configuration hardware (et software) de ton serveur.

Le 19 décembre 2016 à 20:52, Pilon, Michel (SSC/SPC) <michel.pilon at canada.ca<mailto:michel.pilon at canada.ca>> a écrit :
Bonjour à tous,

Ceci est mon premier envoi à cette liste.

Corrigez-moi d’ailleurs si ma question devrait être envoyée à une autre liste de courriels.

Je viens d’installer OSM sur un de mes serveurs. Cela a pris plusieurs jours pour peupler la BD postgreSQL (sans surprise).

Pas contre je suis en train de tester l’upgrade journalier de la BD à partir de fichier diffs.

Cela a pris 9 heures pour mettre à jour la BD en date du 21 novembre passée (daily diff).

Je trouve cela très long et je voudrais, dans un premier temps, savoir combien de temps cela vous prend-il pour faire un « daily  update » de la planète?

Merci encore pour votre aide bien appréciée ☺

Michel
Canada.

_______________________________________________
Talk-fr mailing list
Talk-fr at openstreetmap.org<mailto:Talk-fr at openstreetmap.org>
https://lists.openstreetmap.org/listinfo/talk-fr

--
Christian Quest - OpenStreetMap France

_______________________________________________
Talk-fr mailing list
Talk-fr at openstreetmap.org<mailto:Talk-fr at openstreetmap.org>
https://lists.openstreetmap.org/listinfo/talk-fr

--
Christian Quest - OpenStreetMap France
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20161219/92257816/attachment.htm>