[OSM-talk-nl] Speedlayer: Dagelijkse updates - verbeterde receptuur - nu nog beter

[Roeland Douma]

Howdy,

Zoals jullie wel gemerkt zullen hebben wordt de speed-layer op 
tile.openstreetmap.nl elke dag opnieuw gerenderd. Dit gebeurde eerst door alle 
tiles reeds in de cache opnieuw te renderen. Dit kwam er op neer dat (als 5 
tiles parallel gerenderd worden) de server rond de 8 uur bezig was om deze 
tiles opnieuw te renderen.

Dit is natuurlijk niet de meest efficiente manier om de tiles up to date te 
houden daar te verwachten is dat op hoge zoom niveaus veel tiles ongewijzigd 
zullen blijven. 

Nu ben ik al enige tijd bezig om een "werkende" tile cleaner te schrijven. 
Maar het lijkt erop dat het me nu gelukt is. Ik gebruik de mapnik database om 
de oude lat/lon/bbox van nodes en wegen te vergaren waardoor de planet update 
een klein beetje vertraging oploopt deze vertraging is een vertraging van 
ongeveer 2 minuten dus het is allemaal goed te overzien. Er wordt nu een lijst 
gegenereerd met tiles die niet langer geldig zijn.

Hierna begint de planet import.

Tot slot worden de ongeldige tiles opnieuw gerenderd. Dit is vanmorgen getest 
n lijkt goed te werken. De sequentiele versie kost ongeveer 3 uur om te 
renderen. Dus de parrallel versie zal ongetwijfeld sneller zijn. Maar er 
moeten nog steeds ongeveer 11.000 tiles opnieuw worden gerenderd.

Let wel nu worden alle tiles met wijzigingen gerenderd. Dus niet enkel de gene 
die wij reeds in de cache hadden. Zo zouden we dus op den duur heel Nederland 
in de cache moeten krijgen met tiles van die dag.

Momenteel wordt enkel gekeken naar nodes en ways. Echter op de main 
stylesheets hebben wij toch geen relaties. Maar voor de openfietskaart is dit 
nog wel een vereiste (zodat we als het weer het toe laat allemaal met up-to-
date fietskaarten naar buiten kunnen).

Graag hoor ik van jullie of er tiles zijn die wel geupdate zouden moet zijn 
maar dat niet zijn etc.

--Roeland