[OSM-dev-fr] Stats cache de tuiles OSM

[Christophe Merlet]

Bonjour,


Après quelques jours de fonctionnement du cache de tuiles OSM de Pau, je
suis en mesure de fournir quelques stats.


Je voulais pouvoir afficher des stats sur les tuiles consultés (hits,
urls et bande passante par niveau de zoom)
Je voulais savoir de quel pays proviennent les visiteurs et combien il y
en avait.
Je voulais savoir de quelles FAI proviennent les visiteurs.
Je voulais savoir de quelles AS (système autonome) proviennent les
visiteurs.


Les fichiers de Logs dépassent le Go et les 9 millions de lignes. Il
faut un outil assez rapide... tant qu'a faire ! Le serveur a tenu
jusqu'à 600 000 hits dans l'heure.


J'ai testé quelques solutions d'analyse de logs Squid et je n'en ai
trouvé qu'un seul capable de trier sur les AS : webalizer_asn
http://www.init7.com/webalizer_asn/readme_asn.php
Une version patchée de webalizer

Malheureusement cette solution est obsolète... j'y reviendrais...

Les résultats d'analyses avec webalizer_asn et webalizer :
http://nominatim.paulla.asso.fr/webalizer-asn/usage_201212.html
http://nominatim.paulla.asso.fr/webalizer/usage_201212.html

Je disais donc que webalizer_asn est obsolète. Init7 fournit un fichier
d'AS vieux de presque 2 ans généré par un collecteur BGP (Piranha) qui
n'a pas été mis à jour depuis plus de 7 ans :(
Résultat, 16% d'IP non résolu, et je ne sais combien d'attribué au
mauvais AS
De plus, Webalizer n'affiche pas directement le propriétaire de l'AS, il
faut cliquer sur un lien cassé pour l'obtenir.
Et il ne gère pas l'IPv6.

Webalizer lui même a d'autres problèmes : A partir du moment ou l'on
active la résolution DNS des adresses IP, les stats sur les Pays sont
farfelus car se basant sur le nom d'hôtes résolus et non plus sur GeoIP
ou GeoDB.
Résultat, on a 30% de .net, 5% de .com, etc. Ce qui n'a rien à voir avec
la localisation géographique des visiteurs.


Bref, si un codeur ne sait pas comment occuper ses vacances de Noël, je
lui propose de faire un joli patch pour la dernière version de Webalizer
permet de gérer les AS (IPv4 et éventuellement IPv6) avec les bases à
jour de Maxmind 
https://www.maxmind.com/en/asnum
Sachant que Webalizer utilise déjà GeoIP pour les pays,
http://dev.maxmind.com/geoip/geolite
On doit presque pouvoir dupliquer quelques bouts de code pour le
faire ;o) et s'inspirer fortement de webalizer_asn...

Et en profiter pour corriger le bug des stats par pays avec GeoDB/GeoIP
lorsque la résolution DNS est activé.

J'ai par ailleurs le sentiment que Webalizer peut être accéléré si il
travaille uniquement sur les IP et ne fait les résolutions IP->hostname
IP->GeoIP et IP->AS qu'à la fin.

Si vous connaissez un volontaire ?


	Librement,
-- 
Christophe Merlet (RedFox)
-------------- section suivante --------------
Une pièce jointe autre que texte a été nettoyée...
Nom: signature.asc
Type: application/pgp-signature
Taille: 198 octets
Desc: This is a digitally signed message part
URL: <http://lists.openstreetmap.org/pipermail/dev-fr/attachments/20121223/a7bcea7c/attachment.pgp>