[OSM-dev-fr] Besoin d'aide pour la partie téléchargement d'Osmose

[Jocelyn Jaubert]

Bonjour,

J'ai eu des remarques il y a peu me disant que Osmose téléchargeait les
extracts de Geofabrik en deux fois au lieu d'une seule:

  - une première fois en téléchargeant 12k
  - une deuxième fois en téléchargeant tout.

D'après ce fichier:
https://gitorious.org/osmose/backend/blobs/master/modules/download.py

C'est à cause de ce bout de code:

    # get remote file timestamp
    url_ts = urllib2.urlopen(url).headers.get("Last-Modified", 1)
    # compare timestamp
    if loc_ts == url_ts:
        logger.log(u"not newer")
        return False
    
    # donwload the file
    s, o = commands.getstatusoutput("wget -o /dev/null -O %s %s"%(file_dl, url))


Je pense qu'on peut re-écrire ce code en n'utilisant que des routines
python à la place du wget, mais ma connaissance python n'est pas
suffisante pour savoir quel est le module à utiliser. Peut-être qu'il
faudrait modifier les headers HTTP pour mettre directement la date du
fichier téléchargé, et utiliser le code de retour 304 pour décider si
il y a un nouveau fichier

Est-ce que quelqu'un pourrait me dire pour quoi il faudrait remplacer
le code ci-dessus (et éventuellement d'autres parties du fichier) ?


Merci,
Jocelyn