[OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?
marc marc
marc_marc_irc at hotmail.com
Ven 21 Juil 14:57:00 UTC 2017
Le 21. 07. 17 à 16:34, François Lacombe a écrit :
> comment tu synchronises entre l'overpass api et la db locale ?
> On peut imaginer les choses les plus simples : tu vides ta base locale
> et tu remplaces par le retour de l'overpass API
A mon avis cette façon de faire augmente la charge publique globale.
A chaque syncro (heures ou 5min), tu télécharges 2 millions d'objets
depuis l'overpass api soit 24 voir 288 millions d'objets par jour !
Si tu as la possibilité de faire des stats, je serrai curieux de
connaître le nombre d'objet osm consulté dans la db locale par jour...
A mon avis ta db locale consomme + de ressource publique pour se
synchroniser qu'elle n'en économise en répondant en local.
> Vu que les minutes diff existent et que Christian dit qu'on peux les
> filtrer, ne serrais-ce pas plus efficace que l'overpass api français (ou
> n'importe quel autre) exporte un minute-diff filtré ?
> Ainsi dans la minute tu as les modifs avec 0 query les 99.99% du temps
> où rien n'a été modifié sur les objets concernés.
> oui c'est vrai que c'est encore mieux, l'avantage des diff étant de ne
> pas avoir à détecter les create/modify/delete puisque c'est déjà indiqué
> dedans
L'avantage c'est surtout de passer d'une charge de 288 millions
d'objets/jour à un filtre (qui peux-être mis en priorité ultra-basse sur
le serveur) qui te transmettra uniquement les qlq (100 ?) modifs/jour
J'ignore la charge qu'implique le filtre mais il est toujours plus léger
de filtrer des modifs plutôt qu'un query sur l'ensemble des objets.
A mon avis on est sur un gain de ressource publique d'un facteur d'un
million au bas mot...
PS : l'overpass api n'est visiblement pas protégé contre les abus
parce que très amicalement dit, 288 millions d'objets par jour aurait du
déclencher un "over-quota" depuis longtemps pour forcer l'analyse + en
amont.
Plus d'informations sur la liste de diffusion Talk-fr