[OSM-talk-nl] Speedlayer: Dagelijkse updates - verbeterde receptuur - nu nog beter

[Roeland Douma]

Daar het een linear probleem is gebruik ik geen daily diffs. Ik moet namelijk 
enkele keren door de hele lijst nodes/way heen lopen. Dus dat wordt erg snel 
erg groot. Ik lees dus hourly diffs in. Dit zijn de hourly diffs van de vorige 
dag + de eerste twee van "deze" dag (omdat planet dumps altijd een beetje 
overlappen).

Het antwoord is dus ja. Het werkt ook met hourly diffs. Het zou zelfs met 
minutely diffs kunnen werken.. Dus dat je per kwartier update (gewoon 15 
minutely diffs pakken).

Echter hiervoor hebben we een database nodig met de hele planet (anders kan je 
er niet netjes diffs op toepassen). Er wordt al druk naar een oplossing 
hiervoor "gezocht" ;)

--Roeland

On Sunday 25 January 2009 14:26:35 Lambertus wrote:
> Goed werk Roeland, als altijd :-)
> 
> Welke diffs gebruik je nu hiervoor? De daily denk ik? Kan dit ook gaan 
> werken met hourly diffs misschien?
> 
> Roeland Douma wrote:
> > Howdy,
> > 
> > Zoals jullie wel gemerkt zullen hebben wordt de speed-layer op 
> > tile.openstreetmap.nl elke dag opnieuw gerenderd. Dit gebeurde eerst door 
alle 
> > tiles reeds in de cache opnieuw te renderen. Dit kwam er op neer dat (als 
5 
> > tiles parallel gerenderd worden) de server rond de 8 uur bezig was om deze 
> > tiles opnieuw te renderen.
> > 
> > Dit is natuurlijk niet de meest efficiente manier om de tiles up to date 
te 
> > houden daar te verwachten is dat op hoge zoom niveaus veel tiles 
ongewijzigd 
> > zullen blijven. 
> > 
> > Nu ben ik al enige tijd bezig om een "werkende" tile cleaner te schrijven. 
> > Maar het lijkt erop dat het me nu gelukt is. Ik gebruik de mapnik database 
om 
> > de oude lat/lon/bbox van nodes en wegen te vergaren waardoor de planet 
update 
> > een klein beetje vertraging oploopt deze vertraging is een vertraging van 
> > ongeveer 2 minuten dus het is allemaal goed te overzien. Er wordt nu een 
lijst 
> > gegenereerd met tiles die niet langer geldig zijn.
> > 
> > Hierna begint de planet import.
> > 
> > Tot slot worden de ongeldige tiles opnieuw gerenderd. Dit is vanmorgen 
getest 
> > n lijkt goed te werken. De sequentiele versie kost ongeveer 3 uur om te 
> > renderen. Dus de parrallel versie zal ongetwijfeld sneller zijn. Maar er 
> > moeten nog steeds ongeveer 11.000 tiles opnieuw worden gerenderd.
> > 
> > Let wel nu worden alle tiles met wijzigingen gerenderd. Dus niet enkel de 
gene 
> > die wij reeds in de cache hadden. Zo zouden we dus op den duur heel 
Nederland 
> > in de cache moeten krijgen met tiles van die dag.
> > 
> > Momenteel wordt enkel gekeken naar nodes en ways. Echter op de main 
> > stylesheets hebben wij toch geen relaties. Maar voor de openfietskaart is 
dit 
> > nog wel een vereiste (zodat we als het weer het toe laat allemaal met up-
to-
> > date fietskaarten naar buiten kunnen).
> > 
> > Graag hoor ik van jullie of er tiles zijn die wel geupdate zouden moet 
zijn 
> > maar dat niet zijn etc.
> > 
> > --Roeland
> > 
> > 
> > _______________________________________________
> > Talk-nl mailing list
> > Talk-nl at openstreetmap.org
> > http://lists.openstreetmap.org/listinfo/talk-nl
> 
> 
> _______________________________________________
> Talk-nl mailing list
> Talk-nl at openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-nl
>