[OSM-dev-fr] Synchronisation d'une DB tierce avec OSM : diff vs Overpass

Jeu 14 Aou 16:08:43 UTC 2014

Ca me surprend qu'il faille aussi peu de d'espace disque sur vos SSD: vous
y stockez toutes les tables? ou alors c'est juste pour certains tablespaces
les plus critiques en performance?

Le SSD est un luxe nécessaire pour supporter beaucoup d'accès concurrents
et des temps de réponse acceptables. Mais c'est aussi un prix et je
comprend que dans une config serveur, les SSD sont plus chers que les SSD
de nos PC persos à domicile.

Même sur mon PC portable j'ai deux SSD de 256 Go (les disques durs sont sur
un NAS externe en RAID), mon principal PC de bureau a aussi deux SSD de 512
Go et un RAID5 à 6 disques durs de 1To chacun (avec backup sur le NAS), il
me sert pour y mettre des VM pour plusieurs OS de travail, développement ou
test, mais je passe la majeure partie du temps sur mon PC portable. Ca ne
m'a pourtant pas coûté une fortune (seulement je n'ai pas les moyens de me
payer un hébergement de serveur dans un datacenter avec ce type de
configuration, et mon matériel n'est pas destiné non plus à tourner
24/24-7/7 et servir à des tas d'utilisateurs de tous pays)...

Je n'ai aucune idée de la place demandée en plus pour les outils de
conversion et d'analyse ou si certaines tables non nécessaires aux index de
recherche sont en fait sur disque(s) dur(s), comme doivent l'être aussi
sans doute les logs des scripts, les archives téléchargées, les fichiers
intermiédiaires lus essentiellement séquentiellement et des images de
sauvegarde de vos VM, les pages et scripts webs, les espaces de
développement et de tests utilisés par un seul développeur, les files
d'attente de mails.

Le 14 août 2014 11:22, Christian Quest <cquest at openstreetmap.fr> a écrit :

> Là on a deux SSD de 480 et 512 Go, mais les bases qui sont dessus pour
> tile et layers les remplissent... d'où quelques acrobaties régulières pour
> gagner de la place en attendant de passer à 960 ou 1To.
>
> Un SSD de 960Go avait été mis sur tile (osm13) mais avait posé quelques
> problèmes très peu de temps après son installation. Incompatibilité avec
> l'autre SSD PCI express ? Mystère... je l'ai récupéré il y a peu, installé
> et testé dans un autre serveur à la maison et tout semble ok.
>
> On va revoir tout ça à la rentrée... à suivre prochainement !
>
>
>
> Le 14 août 2014 00:45, François Lacombe <
> francois.lacombe at telecom-bretagne.eu> a écrit :
>
> Ok Christian merci pour ces infos.
>>
>> De combien de moyens/disques auriez-vous besoin ?
>>
>> Have fun pour l'update !
>>
>> *François Lacombe*
>>
>> francois dot lacombe At telecom-bretagne dot eu
>> http://www.infos-reseaux.com
>>
>>
>> Le 13 août 2014 23:40, Christian Quest <cquest at openstreetmap.fr> a écrit
>> :
>>
>> Et non, il n'y a pas encore eu de mise à jour sur nos serveurs car la
>>> 0.7.50 avait encore quelques bugs il y a peu. De plus, la nouvelle version
>>> avec les historiques prends beaucoup plus de place... on va donc mettre à
>>> jour dans un avenir proche une fois qu'on aura aussi mis à niveau les
>>> serveurs avec des SSD...
>>>
>>>
>>> Le 13 août 2014 19:17, François Lacombe <
>>> francois.lacombe at telecom-bretagne.eu> a écrit :
>>>
>>> Bonjour,
>>>>
>>>> Par rapport à ce sujet et à la version 0.7.50 de l'OAPI, est-ce que
>>>> http://api.openstreetmap.fr/oapi/ est bien à jour ?
>>>>  Il ne comprends visiblement pas les éléments "adiff" dans la requête.
>>>>
>>>> Ce cas échant, pas de problème je peux me rabattre vers l'API principal.
>>>>
>>>>
>>>> Bonne fin de journée.
>>>>
>>>> *François Lacombe*
>>>>
>>>> francois dot lacombe At telecom-bretagne dot eu
>>>> http://www.infos-reseaux.com
>>>>
>>>>
>>>> Le 31 juillet 2014 22:53, François Lacombe <
>>>> francois.lacombe at telecom-bretagne.eu> a écrit :
>>>>
>>>> Christian, j'ai failli appeler les pompiers.
>>>>>
>>>>> Merci, ca semble être parfaitement ce que je recherche, je vais de ce
>>>>> pas regarder la vidéo :)
>>>>>
>>>>> A+
>>>>>
>>>>>
>>>>> *François Lacombe*
>>>>>
>>>>> francois dot lacombe At telecom-bretagne dot eu
>>>>> http://www.infos-reseaux.com
>>>>>
>>>>>
>>>>> Le 31 juillet 2014 16:11, Christian Quest <cquest at openstreetmap.fr> a
>>>>> écrit :
>>>>>
>>>>> François... attention, tu va avoir un choc.
>>>>>>
>>>>>> Overpass depuis la version 0.7.50 propose un accès complet à
>>>>>> l'historique... avec la production de diff entre 2 dates que tu peux
>>>>>> choisir ainsi que les emprises et types d'objet de ton choix.
>>>>>>
>>>>>> Elle est pas belle la vie ?
>>>>>>
>>>>>> Je te recommande de regarder la vidéo de la présentation de Roland au
>>>>>> hackday du dernier SOTM-EU: http://stateofthemap.eu/en/slots/37
>>>>>>
>>>>>>
>>>>>>
>>>>>> Le 31 juillet 2014 16:06, François Lacombe <
>>>>>> francois.lacombe at telecom-bretagne.eu> a écrit :
>>>>>>
>>>>>>> Bonjour,
>>>>>>>
>>>>>>> Je récupère actuellement plusieurs types de features depuis OSM dans
>>>>>>> une base perso pour faire une petite expérience et la remarque suivante est
>>>>>>> tombée rapidement :
>>>>>>>
>>>>>>> Si les données d'OSM ont valeur d'exclusivité lorsque celles-ci sont
>>>>>>> disponibles (hypothèse de départ, pas forcément vérifiée tout le temps),
>>>>>>> alors lorsqu'un objet qui était présent sur OSM disparait, il a été
>>>>>>> redessiné ou n'existe plus le terrain.
>>>>>>> Il faut donc le supprimer de ma base pour respecter l'hypothèse.
>>>>>>>
>>>>>>> Sauf que je récupère les données qui m’intéressent quotidiennement
>>>>>>> avec Overpass (en spécifiant une date d'édition en conséquence) sans voir
>>>>>>> passer les suppressions.
>>>>>>> Cela donne lieu à différent problèmes :
>>>>>>> - Les objets détruits sur le terrain persistent de mon côté
>>>>>>> - Les objets détruits puis redessinés sont en "double" chez moi.
>>>>>>>
>>>>>>> Il vaudrait donc mieux travailler avec des diff, sauf que seuls
>>>>>>> certains objets m’intéressent et que les diffs présenteraient beaucoup trop
>>>>>>> de bruit à l'entrée de mon workflow.
>>>>>>>
>>>>>>> Une idée de mix entre diff et Overpass ? :)
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> *François Lacombe*
>>>>>>>
>>>>>>> francois dot lacombe At telecom-bretagne dot eu
>>>>>>> http://www.infos-reseaux.com
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> dev-fr mailing list
>>>>>>> dev-fr at openstreetmap.org
>>>>>>> https://lists.openstreetmap.org/listinfo/dev-fr
>>>>>>>
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Christian Quest - OpenStreetMap France
>>>>>>
>>>>>> _______________________________________________
>>>>>> dev-fr mailing list
>>>>>> dev-fr at openstreetmap.org
>>>>>> https://lists.openstreetmap.org/listinfo/dev-fr
>>>>>>
>>>>>>
>>>>>
>>>>
>>>> _______________________________________________
>>>> dev-fr mailing list
>>>> dev-fr at openstreetmap.org
>>>> https://lists.openstreetmap.org/listinfo/dev-fr
>>>>
>>>>
>>>
>>>
>>> --
>>> Christian Quest - OpenStreetMap France
>>>
>>> _______________________________________________
>>> dev-fr mailing list
>>> dev-fr at openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/dev-fr
>>>
>>>
>>
>> _______________________________________________
>> dev-fr mailing list
>> dev-fr at openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/dev-fr
>>
>>
>
>
> --
> Christian Quest - OpenStreetMap France
>
> _______________________________________________
> dev-fr mailing list
> dev-fr at openstreetmap.org
> https://lists.openstreetmap.org/listinfo/dev-fr
>
>
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://lists.openstreetmap.org/pipermail/dev-fr/attachments/20140814/f3a26da9/attachment.html>