[Talk-de] Qualitaetskontrolle stochastisch

[Frederik Ramm]

Hallo,

On 06.07.2012 16:21, aighes wrote:
>> Genau. Wenn man das irgendwo auf Freds kleiner Runzelkarte
>> installiert, geht es nicht. Sowas muss dann gross auf einer Karte, die
>> sehr viele Leute sehen. Wie vorhin schon gesagt - allein zu wissen,
>> "diese Karte auf diesem Zoomlevel haben in den letzten 24 Stunden 157
>> Leute angeschaut, ohne auf "Daumen runter" zu klicken", waere schon
>> etwas wert.
>
> Diese Aussage ist aber an den Haaren herbeigezogen. Woher weißt du, wie
> jemand die Karte findet, wenn er nicht "abstimmt"?

Aus der Statistik. Es gibt eine gewisse Wahrscheinlichkeit, mit der 
jemand, der ein Problem sieht, auf den Daumen-runter-Button drueckt. 
Diese Wahrscheinlichkeit kann man ermitteln, und mit grosser Anzahl 
Betrachter kann man dann Schluesse herleiten wie "als wir diesen und 
jenen Bug in Frankfurt hatten, haben innerhalb von 24 Stunden 5% aller 
Betrachter auf 'Daumen runter' geklickt, daraus folgt, dass ein Teil der 
Welt, bei dem in den letzten 24 Stunden nur 0,5% aller Betrachter auf 
'Daumen runter' geklickt haben, mit grosser Wahrscheinlichkeit kein 
aehnlich schwerwiegendes Problem hat wie jener Bug in Frankfurt..."

Ich fuehle mich ein bisschen missverstanden, aber vielleicht bin ich 
selber schuld; ich haette vielleicht nicht von Qualitaetssicherung 
sondern von Qualitaetseinschaetzung reden sollen. Die meisten von Euch 
wollen ein QA-System, aus dem sie konkrete Handlungsanweisungen 
destillieren koennen. Mein System kann das nicht und soll das auch 
nicht. Aber wenn mich jemand fragt - und das kommt haeufig vor - "wie 
gut ist denn die OSM-Karte in Spanien?", und ich dann sagen kann: Von 
16837 Leuten, die die Karte im letzten Monat auf z14 oder hoeher gesehen 
haben, haben 812 die Karte gut gefunden und 123 schlecht; das ist ein 
schlechteres Verhaeltnis als in Frankreich, aber ein besseres als in 
Portugal", dann ist das eine handfeste Information - und sie geht auch 
auf kleineren Gebieten, ich kann damit auch vergleichende Aussagen 
zwischen dem Raum Frankfurt und dem Raum Giessen treffen oder so. Fuer 
Mapper kommt dabei nichts konkretes heraus, allenfalls eine grobe 
Einfaerbung der Karte, die andeutet, wo man vielleicht mal was machen 
muesste.

Es kann durchaus sein, dass Leute bloss am Stil maekeln wollen oder so, 
aber das levelt sich dann aus - der Anteil Leute, der am Stil maekelt, 
wird ueberall ungefaehr gleich sein, wenn also die Region A deutlich 
schlechter aussieht als die Region B, muss es an was andrem liegen.

> Das Problem ist halt, dass der Browser nicht nur ein Tile anziegt,
> sonder ein paar mehr. Wenn auf einem Tile nun ein Fehler ist, bekommen
> viele Tiles eine negative Bewertung, obwohl sie egtl. völlig ok sind.

Klar. Man wuerde in der Datenbank ja den Ausschnitt speichern; wenn man 
aber genug Daumen sammelt, kann man das schon eingrenzen. Mir geht es 
bei meinem Ansatz darum, die Huerde fuer eine Rueckmeldung so gering wie 
moeglich zu setzen. Vielleicht sollte man es nicht Bewertung nennen 
sondern "data mining" - ich guck mir die Logfiles an, zaehle die Anzahl 
der Daumen-runter, und bekomme dadurch eine Idee, wo es besonders 
schlimm aussieht.

> Wobei Fehler völlig undefiniert ist und alles sein kann.

Ja, deswegen habe ich auch nicht von Fehlern gesprochen (zumindest nicht 
absichtlich). Ein Benutzer, der einen Fehler genau identifizieren kann 
("dieser Briefkasten gehoert hier nicht hin"), der kann das vielleicht 
auch praeziser mitteilen. Ein Benutzer, der nur so ein Gefuehl hat 
("also als ich letztes Mal da war, waren die Briefkaesten glaub ich 
woanders..."), bei dem reicht es fuer einen Daumen-runter, aber nicht 
fuer eine konkrete Fehlermeldung. Dieses "Gefuehl" waere, wenn es 20 
Leute melden, aber schon ein Indikator.

> Das nächste "Problem" ist dann ja, dass wir vieles auch so schon wissen.
> Das in einem Großteil der Länder noch Unmengen an Straßen fehlen kann
> ich dir auch so sagen. Dafür muss mir keinen den Kartenausschnitt
> negativ Bewerten.

Selbst da koennte die Bewertung das Problem zu quantifizieren helfen. 
Dass in X noch massig Strassen fehlen, mag bekannt sein, aber dass es in 
Nord-X noch viel schlimmer aussieht als in Sued-X oder so, bei solchen 
Abstufungen koennte so ein Tool helfen.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frederik at remote.org  ##  N49°00'09" E008°23'33"