[Talk-de] Update zur Straßenlistenauswertung

Florian Lohoff f at zz.de
Mo Jul 12 15:21:55 UTC 2010


Hi,

kaum zurueck aus dem Urlaub ein kurzes Statusupdate. Das dingen hat sich
in den letzten Wochen mehrfach selber zerlegt z.b. wild gewordenen 
vacuumdb laeufe, seltsam veraenderte sql query optimizations bzw
komischer output des query planners der aus einem index scan ein seq scan
gemacht hat und u.a. auch vollen platten.

Das ganze scheint jetzt behoben und ich habe anstatt die auswertungen sortiert
nach relation id auszuwerten umgestellt auf sortiert nach Wiki URL. Da in der
Wiki URL ja der "isin" mit drin sein sollte werden also einzelne Gemeinden
eines Kreises direkt nacheinander bearbeitet so das moeglicherweise der cache
inhalt noch brauchbar ist. Dadurch alleine hat sich die prozessierzeit aller
Gemeinden von fast 10 auf 3 3/4 Stunden gesenkt.

Dabei ist mir aufgefallen das viele Gemeinden nur als "Dummy" eingetragen
werden d.h. viele bei  denen keine Liste existiert - Warum macht ihr sowas?

Ich habe mittlerweile einige codezeilen eingefuegt die verhindert das die
ueberhaupt ausgewertet werden - kostet alles nur sinnlose CPU zeit einen
relationsinhalt auszuwerten und gegen eine liste mit einer einzelnen Straße
namens "Dummy" auszuwerten. Wenn schon dann bitte die "Liste" ganz weg
lassen und nicht mit Schrott fuellen.

Ich wuerde ja die Verursacher anschreiben nur leider hinterlaesst nur ein
Bruchteil der User im comment einen osm username oder eine email
adresse ...

Ausserdem ist mir aufgefallen das insbesondere Niedersachsen in den Wiki
URLS nicht (Land-)Kreisen sortiert bzw ergaenzt ist. Dadurch funktioniert
natuerlich die Laufzeitoptimierung nicht.

So - nun die anderen Fehler mal durchsehen was sonst so in den letzten
Wochen noch so stehen geblieben ist.

Flo
-- 
Florian Lohoff                                                 f at zz.de
"Es ist ein grobes Missverständnis und eine Fehlwahrnehmung, dem Staat
im Internet Zensur- und Überwachungsabsichten zu unterstellen."
- - Bundesminister Dr. Wolfgang Schäuble -- 10. Juli in Berlin 
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 827 bytes
Beschreibung: Digital signature
URL         : <http://lists.openstreetmap.org/pipermail/talk-de/attachments/20100712/3ac2f81f/attachment.sig>


Mehr Informationen über die Mailingliste Talk-de