[Talk-de] Suche gute Strategie für Tirex (expire,dirty,Queue...)

[Wolfgang]

Hallo,
Am Freitag 22 Oktober 2010 19:32:15 schrieb Kolossos:
> Hallo, auf dem Wikimedia-OSM-Toolserver haben wir ja nun ordentlich Last,
>  wollen die OSM-Karten aber in noch mehr Sprachenversionen der WP einbauen,
>  damit wird es dann also ggf. irgendwann eng.
> 
> Also brauchen wir gute Einstellungen zum Aktualisieren der Karte in
>  Abhängigkeit des Zoom-levels, der Anfragen und der Länge der
>  Warteschlange. Das gilt insbesondere für Zoomlevel 9-14.
> 
> Ich habe da erstmal eine private Theorie zu dem Thema:
> *Man kann sagen, dass bei sinkendem Zoom-level die Wahrscheinlichkeit
>  sinkt, dass eine Änderung in den OSM-Daten überhaupt zu einer merklichen
>  Veränderung der gerenderten Kachel führt.
> *Andererseits steigt bei sinkendem Zoomlevel die Wahrscheinlichkeit pro
>  Zeitintervall, dass es in dem größer werdenden Gebiet zu Änderungen an den
>  Daten innerhalb einer Kachel kommt.
> 
> Ich wollte fragen, ob dazu schonmal ausführliche Analysen angestellt wurde,
>  vielleicht indem jemand die geänderten Pixel pro Kachel nach jeweils einer
>  Änderung realitätsnah ermittelt hat oder so?
> Mich würde einfach mal die qualitative Kurve der Wahrscheinlichkeiten über
>  die verschiedenen Zoomlevel interessieren.

Kernproblem bei einer solchen Untersuchung dürfte sein, dass die Veränderungen 
in der Karte und den Daten sehr unregelmäßig, sowohl zeitlich als auch 
regional, stattfinden. Außerdem werden sie sehr unterschiedlich bemerkt. Wenn 
irgendwo eine neues Autobahnstück eröffnet wird, ist das eine ziemlich 
prominente Veränderung, während ein neu eingetragener Stolperstein nur bei 
entsprechender Verlinkung und lokalem Wissen bemerkt wird.
 
> Da das alles sehr mit Wahrscheinlichkeiten durchdrungen ist, würde ich dann
>  auch soweit gehen, dass Anschieben eines Neurendering auch nur noch mit
>  einer bestimmten Wahrscheinlichkeit ( z.B. über kurze Zeitschlotts)
>  stattfinden zu lassen.
> 
> Dazu ist zu sagen, dass Aktualität der Karten in der Wikipedia eine recht
>  untergeordnete Rolle spielt, wir dort also am meisten sparen können, weil
>  der Leser es, im Gegensatz zum Mapper, nicht unbedingt merken wird, wenn
>  eine Karte 2 Wochen alt ist. Beim Zoomen und Panen sollte die Karte aber
>  möglichst konsistent sein. Ab wann lohnt sich ein regelmäßiges
>  dirty-setzen aller Tiles im Gegensatz zum expire-Prozess?

Ich halte es, wie du auch schon angeführt hast, für nicht so wichtig, eine 
sehr aktuelle Karte in einem Lexikon zu haben, denn die Karten sollen hier vor 
allem illustrieren. Wenn der Artikel eine Stadt behandelt, sollte eine 
Updatezeit von 2-3 Monaten genug sein. Wenn allerdings jemand einen Artikel 
über den Flughafen von Lima schreibt und dafür extra das Flugfeld gemappt hat 
(vielleicht weil er dort arbeitet), wäre es nicht so glücklich, wenn er 3 
Monate auf eine Karte warten muss.

Insofern würde ich empfehlen, einen automatischen Update zeitgesteuert im 
Abstand von 2-3 Monaten laufen zu lassen, wenn sich in der Kachel etwas 
verändert hat (Ozean, Wüste!). Zusätzlich sollte es für Autoren die 
Möglichkeit geben, bestimmte Kacheln zur Neuberechnung anzustoßen, wenn sie 
der Meinung sind, dass das notwendig ist. Um Missbrauch zu vermeiden, kann man 
ja zusätzlich ein Minimum-Intervall von 1 Tag festlegen. 

Eine eventuelle mathematische Auswertung würde ich nicht an irgendwelche Pixel 
hängen, denn es könnte auch passieren, dass im Renderer die Farbe für Wald um 
eine Stufe heller oder dunkler wird. Zusatzinfo = 0, aber die halbe Welt wird 
neu gerendert. Eine solche Auswertung sollte auf die Daten zugreifen. Es 
müsste eine Tabelle angelegt werden, in der Schwellwerte für Veränderungen 
verschiedener Objekte festgelegt werden, bei denen dann entsprechende 
Zoomlevel neu berechnet werden, begleitet von Minimal- und Maximalzeiten.

Das wäre so spontan meine Idee.

Gruß, Wolfgang