[Talk-dk] Hvis du anvender AWSbot-scriptene: STOP

[Mikkel Kirkgaard Nielsen]

Hej OSM'ere.

Vi havde en fin snak omkring AWSbot, og hvordan adressedata bliver
importeret fra DAR via DAWA i august 2016[1][2], hvor dele af de
anvendte værktøjerne også blev åbnet op[3] og dokumenteret[4] en smule.

Det lader dog til at vi har en kedelig situation med uhensigtsmæssig
opførsel af scriptene i forhold til de anvendte API'er. I hvert fald
rapporterer[5] en af Overpass API-udviklerne om  stor belastning på
Overpass-serverne[6] med mere end 20.000 forespørgsler pr. døgn, fra
noget der lugter meget af at være et af AWSbot-scriptene

Jeg har kontaktet Stephen Møller, som kører og administrerer den
egentlige import til OSM via OSM-brugeren AWSbot[7], og han har slukket
for noget af kørslen i morges, så forhåbentlig har vi allerede reduceret
belastningen.

Skulle der dog være nogen derude som selv har taget initiativ til at
køre scriptene periodisk, i et cron-job eller lignende, så vil jeg gerne
opfordre til at kørslen bliver midlertidigt lukket ned hurtigst muligt,
så den ikke er årsag til for meget ballade.


Jeg har selv faktuelt konstateret at det osmdata-add.php script der er
på Github[8] ved forespørgsel på postnummer 1533 på DAWA (som giver et
tomt svar) havner i en løkke som aldrig afslutter. Får det lov at køre
uovervåget, fortsætter det med at forsøge at hente data om dette
postnummer, først på Overpass, så på DAWA indtil det formentlig løber
tør for hukommelse eller ved en timeout på ~694 dage.

Jeg regner med ret hurtigt, måske i aften, at kunne lave en
nød-rettelse, så scriptene fortsætter på mere fornuftig vis, måske efter
et par retries, når denne situation opstår.
Om rettelserne kan komme på det oprindelige Github-repository ved jeg
ikke (mon ikke Stephen er administrator for det?), men ellers vil de
være i mit fork[9].

Hilsner,
-- 
Mikkel

PS: rent datamæssigt ser postnummer 1532+1533 ud til at være[10]
"Internationalt Postcenter" i Kastrup. Nogen der ved om dette er blevet
ændret/nedlagt for nyligt siden de ikke er i DAWA?

[1]
https://lists.openstreetmap.org/pipermail/talk-dk/2016-August/004683.html
[2] https://lists.openstreetmap.org/pipermail/talk-dk/2016-April/004595.html
[3] https://github.com/AWSbot
[4] http://www.openstreetmap.org/user/AWSbot
[5] https://github.com/AWSbot/PHPscript/issues/1#issue-251346914
[6] https://wiki.openstreetmap.org/wiki/Overpass_API
[7] https://lists.openstreetmap.org/pipermail/talk-dk/2016-April/004595.html
[8] https://github.com/AWSbot/PHPscript/blob/master/osmdata-add.php
[9] https://github.com/mikini/PHPscript
[10]
https://subscription.postnord.dk/webservices/export/07-11-2017-postnummer.xlsx

-------------- næste del --------------
En vedhæftet fil der ikke var tekst, er blevet fjernet...
Navn: signature.asc
Type: application/pgp-signature
Størrelse: 473 bytes
Beskrivelse: OpenPGP digital signature
URL: <http://lists.openstreetmap.org/pipermail/talk-dk/attachments/20171108/e235e55a/attachment-0001.sig>