[OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

[marc marc]

Le 21. 07. 17 à 16:34, François Lacombe a écrit :
> comment tu synchronises entre l'overpass api et la db locale ?
> On peut imaginer les choses les plus simples : tu vides ta base locale 
> et tu remplaces par le retour de l'overpass API
A mon avis cette façon de faire augmente la charge publique globale.
A chaque syncro (heures ou 5min), tu télécharges 2 millions d'objets 
depuis l'overpass api soit 24 voir 288 millions d'objets par jour !
Si tu as la possibilité de faire des stats, je serrai curieux de 
connaître le nombre d'objet osm consulté dans la db locale par jour...
A mon avis ta db locale consomme + de ressource publique pour se 
synchroniser qu'elle n'en économise en répondant en local.

>     Vu que les minutes diff existent et que Christian dit qu'on peux les
>     filtrer, ne serrais-ce pas plus efficace que l'overpass api français (ou
>     n'importe quel autre) exporte un minute-diff filtré ?
>     Ainsi dans la minute tu as les modifs avec 0 query les 99.99% du temps
>     où rien n'a été modifié sur les objets concernés.
> oui c'est vrai que c'est encore mieux, l'avantage des diff étant de ne 
> pas avoir à détecter les create/modify/delete puisque c'est déjà indiqué 
> dedans

L'avantage c'est surtout de passer d'une charge de 288 millions 
d'objets/jour à un filtre (qui peux-être mis en priorité ultra-basse sur 
le serveur) qui te transmettra uniquement les qlq (100 ?) modifs/jour
J'ignore la charge qu'implique le filtre mais il est toujours plus léger 
de filtrer des modifs plutôt qu'un query sur l'ensemble des objets.
A mon avis on est sur un gain de ressource publique d'un facteur d'un 
million au bas mot...

PS : l'overpass api n'est visiblement pas protégé contre les abus
parce que très amicalement dit, 288 millions d'objets par jour aurait du 
déclencher un "over-quota" depuis longtemps pour forcer l'analyse + en 
amont.