[OSM-talk-fr] Combien long pour updater la planète?

[Christian Quest]

Le 19 décembre 2016 à 22:30, Pilon, Michel (SSC/SPC) <michel.pilon at canada.ca
> a écrit :

> Un gros merci Christian pour ces informations fort pertinentes.
>
>
>
> Mon serveur est un Blade HP roulant 16 cores (AMD Opteron(TM) Processor
> 6220) avec 48 GB RAM.
>
>
>
> Je roule Ubuntu 14.04 avec postgresql 9.3 et PosGIS 2.1.2
>
>
>
> J’ai roulé pgtune sur mon serveur et les valeurs importantes m’indiquent :
>
> -        maintenance_work_mem = 1GB # pgtune wizard 2016-12-19
>
> -        effective_cache_size = 32GB # pgtune wizard 2016-12-19
>
> -        work_mem = 288MB # pgtune wizard 2016-12-19
>
> -        shared_buffers = 11GB # pgtune wizard 2016-12-19
>
> -        max_connections = 80 # pgtune wizard 2016-12-19
>
>
>


Si tu as la possibilité, passe en Ubuntu 16.04, postgres 9.6 et postgis
2.3... et avec osm2pgsql 0.92. Autant partir avec les versions actuelles
car ce genre de config ne se met pas à jour si facilement...

Le serveur de tuile principal d'osmfr (osm13) tourne sous Ubuntu 12.04,
postgres 9.3 et il est finalement plus simple d'en installer un nouveau que
de le mettre à jour surtout qu'il débite de la tuile 24h/24 !



> J’utilises le stack osmosis/osm2pgsql.
>
>
>
> Le style utilisé est openstreetmap-carto et j’ai créé les indexes
> recommandé pour ce style en plus de downloader les shapefiles.
>
>
>
> Mais effectivement, mon problème est les I/O.   Lorsque je roule iostat
> –xm 5  je vois les disques utilisés à 100%  Même chose pour le rendering
> qui n’est pas performant d’ailleurs…
>
>
>

Les I/O sont vraiment la partie critique de la stack, souvent plus que le
CPU car 16 coeurs à qui on n'arrive pas à amener les données assez vite
passeront leur temps en I/O wait...

Sur osm13 quand on a installé un SSD on a nettement vu la différence, tout
d'un coup les 12 coeurs devenaient utiles. Voir
http://munin.openstreetmap.fr/openstreetmap.fr/osm13.openstreetmap.fr/cpu.html
Il y a encore de iowait, mais les CPU sont quand même bien utilisés.

Le SSD est bien sollicité, mais pas saturé sauf lors de grosses mises à
jour de tuiles des premiers niveaux de zoom lors de la nuit:
http://munin.openstreetmap.fr/openstreetmap.fr/osm13.openstreetmap.fr/diskstats_utilization/sda.html



> Je me pose la question pour les updates je n’ai pas besoin d’upgrader à la
> minute ou aux heures et je me disais qu’un upgrade par jour générerait
> moins de traffic global (que je roulerait la nuit). Mais il ne faudrait pas
> que mon serveur passe la moitié de la journée à upgrader.   Est-ce que mon
> raisonnement est bon ou devrais-je en plus envisager des mises à jour aux
> minutes?
>
>
>

Difficile à dire, ça dépend aussi de l'usage de ta base.

Avec un update nocturne, tu peux profiter de moments où le serveur est
moins occupé pour faire ces updates.

Sur osm13, c'est un peu l'inverse, le script de mise à jour ne se
déclenchera pas si le serveur est trop chargé, dans ce cas la mise à jour
se fait un peu plus tard quand il retrouve son calme... mais en général il
n'est pas surchargé et ne prend pas souvent de retard:
http://munin.openstreetmap.fr/openstreetmap.fr/osm13.openstreetmap.fr/osm_replication_lag_osm2pgsql.html

-- 
Christian Quest - OpenStreetMap France
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20161219/806ae237/attachment.htm>