[Talk-de] Exzessive Einzelrequests an die API

Frederik Ramm frederik at remote.org
Mi Jan 12 00:31:20 UTC 2011


Hallo,

    irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000 
einzelne /api/0.6/node/123-Requests an die OSM-API. Die Person kommt aus 
Deutschland, aus dem Arcor/Vodafone-DSL-Dialin-Netz. Die IPs werden 
immer gesperrt, das haelt dann, bis sie sich das naechste Mal einwaehlt.

Das ist aus mehreren Gruenden doof. Erstens belastet es die API gehoerig 
(die gruene Linie auf 
http://munin.openstreetmap.org/openstreetmap/www.openstreetmap/api_calls_num-week.png 
ist zu 90% diese eine Person), und man sollte einen so hohen Datenbedarf 
aus einem Dumpfile decken und nicht aus Live-Requests. Zweitens gibt es, 
selbst wenn man ausnahmsweise sowas von der API holen muss, sanftere 
Methoden, naemlich den /way/123/full-Aufruf fuer alle Nodes eines Ways, 
oder den /nodes?nodes?123,234,345,...-Aufruf fuer mehrere einzelne Nodes.

Ich sage deswegen Idiot, weil die Person garantiert inzwischen gemerkt 
haben muss, dass sie mit ihren Anfragen eine Sperrung verursacht, und 
trotzdem immer noch munter weitermacht, nach dem Motto "ha, ha, ich bin 
so ein cooler Hacker, ich waehle mich einfach neu ein und schon ist die 
IP-Sperre weg".

Meine Bitte an Euch: Falls irgendjemand was gehoert hat - irgendwer im 
Bekanntenkreis, am Stammtisch, aus dem Forum oder so, der irgendwas 
erzaehlt hat von einem coolen Skript, das er seit ein paar Tagen laufen 
laesst - fragt mal ganz vorsichtig nach, ob dieses Skript eventuell die 
API unsachgemaess bedienen koennte, und falls ja, nehmt Euch die Person 
mal gehoerig zur Brust.

Leider gibt es in der API derzeit kein automatisches Rate Limiting fuer 
solche Requests, das ist also noch alles Handarbeit fuer die Admins.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frederik at remote.org  ##  N49°00'09" E008°23'33"




Mehr Informationen über die Mailingliste Talk-de