[OSM-talk-fr] Sécuriser Overpass API : quelles solutions ?

osm.sanspourriel at spamgourmet.com osm.sanspourriel at spamgourmet.com
Jeu 20 Juil 21:32:30 UTC 2017


Précisions et c'est une réponse à Marc qui me posait une question en MP.

C'est aussi un indice sur la réponse de François.

Actuellement c'est "uniquement" le out meta qui ne marche plus, out body 
et out skel marchent.

C'est c'est une requête CSV, soit tu mets ", ::count" en colonne et tu 
mets des out count; pour voir s'il trouve :

http://overpass-turbo.eu/s/qvq

32 mais pas de données.

http://overpass-turbo.eu/s/qvr

Tu as bien deux fois 32, mais des lignes vides car tu demandes des méta 
données extraite d'un ensemble qui ne les comprend pas.

Un retour d'une requête en json est plus explicite.

/Une erreur est survenue lors de l'exécution de la requête overpass ! 
Voici ce que l'API overpass a retourné :/

/runtime error: open64: 763 Unknown error 763 
/opt/osm-3s/v0.7.54/db/user_data.bin File_Blocks::read_block: Index 
inconsistent/

Un moteur de recherche te donne une réponse : le forum allemand d'osm: 
https://forum.openstreetmap.org/viewtopic.php?id=59136

Status : c'est par ici
https://wiki.openstreetmap.org/wiki/Overpass_API/status
L'alimentation de secours a planté et le disque a été corrompu.
Ce que n'attendait pas Roland Olbricht qui demande en attendant 
d'utiliser l'instance russe.
https://lists.openstreetmap.org/pipermail/talk/2017-July/078321.html
pis le fichier corrompu c'est celui des utilisateurs, d'où la plante 
spécifique sur le out meta.

wambacher précise :  To use another server instance e.g. add

{{data:overpass,server=http://overpass.osm.rambler.ru/cgi/interpreter/}}

to your query in Overpass Turbo.

Déjà par rapport à la solution de François je poserai les deux requêtes 
que si la première n'a pas marché.
Comme Roland lit le français je lui signale ce fil de discussion.
Démarrer une VM en cas de problème c'est juste trop tard.
Il faut donc plutôt une solution plus simple : quelques instances (ici 
2), surveillées (c'est le cas 
https://wiki.openstreetmap.org/wiki/Overpass_API/status) et un DNS 
dynamique (IP fail over pour OVH).
Tu aurais instance1 et instance2, en général instance1 pointe sur le 
serveur allemand et instance2 sur le serveur russe.
Si le serveur allemand plante (comme ici), on bascule instance1 sur le 
serveur russe.

C'est de l'infra sans doute plus simple à mettre en place.

Et pour nous utilisateurs on peut consulter la page status et changer de 
serveur si nécessaire.

Quand à remonter la VM, je crois qu'on va avec des TP Ansible pour faire ça.
Ce serait effectivement bien de pouvoir monter facilement un tel service.
Quitte à limiter pour l'instant la zone de données ?

Jean-Yvon

Le 20/07/2017 à 21:07, Florian LAINEZ - winnerflo at free.fr a écrit :
> Salut,
> Aujourd'hui on a eu -encore !- une interruption de service sur 
> l'overpass API. Cela a impacté l'appli Jungle Bus mais j'imagine tout 
> un tas d'autres services qui se basent dessus.
> J'ai l'impression que cela se produit souvent. Je constate dans mes 
> projets que ce service reste le maillon faible technique et impose de 
> mettre en place une pénible redondance.
>
> Est-ce que vous sauriez à quoi cela est dû ? Quelles en sont les 
> causes profondes ?
> Y aurait-il une solution que nous pourrions mettre en place pour venir 
> en soutien à nos amis les teutons qui gèrent le bouzin ?
> Est-ce plutôt un besoin de dev ou d’hébergement ?
> Bref, on résout le problème ? ;)
>
> -- 
>
> *Florian Lainez*
>
> @overflorian <http://twitter.com/overflorian>
>
>
> _______________________________________________
> Talk-fr mailing list
> Talk-fr at openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr

-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/talk-fr/attachments/20170720/97e23c7f/attachment.htm>


Plus d'informations sur la liste de diffusion Talk-fr