Je ressors ce vieux sujet de la naphtaline, car Peter Körner vient d'annoncer du nouveau concernant les besoins en mémoire vive lors de l'import des extraits historiques, qui devenaient vite démesurés :<div><a href="http://lists.openstreetmap.org/pipermail/dev/2013-February/026598.html">http://lists.openstreetmap.org/pipermail/dev/2013-February/026598.html</a></div>
<blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div><pre style="white-space:pre-wrap"><span style="background-color:rgb(255,255,255)"><font face="arial, helvetica, sans-serif" color="#993399"><i>"Maybe even germany.osh.pbf or france.osh.pbf would work out with 6 GB or 8 GB.
</i></font></span><i style="color:rgb(153,51,153);font-family:arial,helvetica,sans-serif;background-color:rgb(255,255,255)">I'd love to hear feedback about this."</i></pre></div></blockquote><div><div>Quelqu'un a les ressources ou serait prêt à tenter l'aventure sur un bout de serveur osm_fr ?</div>
<div>à la clef, moultes animations et statistiques sur l'évolution d'OSM en France (métropolitaine)</div><div><br></div><div class="gmail_quote">Le 16 octobre 2012 10:37, Ab_fab <span dir="ltr"><<a href="mailto:gamma.gts@gmail.com" target="_blank">gamma.gts@gmail.com</a>></span> a écrit :<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">J'ai reposé la question sur dev hier, et Peter Körner m'a répondu en privé. <div>Cela confirme le souci actuel concernant l'utilisation de la mémoire avec de gros extraits historiques. Mais rien n'est perdu pour qui veut (et surtout peut) s'attaquer au souci :<div>
<br></div><div><i><font color="#993399"><span style="font-size:13px;font-family:arial,sans-serif">Hi</span><br style="font-size:13px;font-family:arial,sans-serif">
<br style="font-size:13px;font-family:arial,sans-serif"><span style="font-size:13px;font-family:arial,sans-serif">Well, osm-history-renderer is - after all - a proof of concept. It's impossible atm. to import a full country without having tons of RAM.</span><br style="font-size:13px;font-family:arial,sans-serif">
<br style="font-size:13px;font-family:arial,sans-serif"><span style="font-size:13px;font-family:arial,sans-serif">If you are interested in optimizing the memory usage I could provide you with plans about a memory layout frederik ramm and I once talked about; I never came around to implement it, while the necessary interfaces are already in place.</span><br style="font-size:13px;font-family:arial,sans-serif">
<br style="font-size:13px;font-family:arial,sans-serif"><span style="font-size:13px;font-family:arial,sans-serif">Regards,</span><br style="font-size:13px;font-family:arial,sans-serif">
<span style="font-size:13px;font-family:arial,sans-serif">Peter</span></font></i></div><div><br><div class="gmail_quote">Le 12 juillet 2012 11:25, Aurélien FILEZ <span dir="ltr"><<a href="mailto:kinju59@gmail.com" target="_blank">kinju59@gmail.com</a>></span> a écrit :<div>
<div class="h5"><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Bonjour,<div><br></div><div>J'ai téléchargé le fichier france.osh.pbf, qui date de juin il me semble, et n'ai pas fait de découpage, étant donné que je recherche à sortir des statistiques sur l'ensemble de la France.</div>
<div><br></div><div>Puis j'ai tenté de l'importer comme suit :</div><div><br></div><div><span style="color:rgb(34,34,34);font-size:13px;font-family:arial,sans-serif">osm-history-importer france.osh.pbf</span></div>
<div><font color="#222222" face="arial, sans-serif"><br></font></div><div><font color="#222222" face="arial, sans-serif">Au fur et à mesure de la lecture, la mémoire se remplit, jusqu'à ne plus pouvoir allouer quoi que ce soit.</font></div>
<div><font color="#222222" face="arial, sans-serif"><br></font></div><div><font color="#222222" face="arial, sans-serif">Est-ce qu'il y aurait un mode qui irait écrire directement en base, sans garder tant d'information en mémoire ?</font></div>
<div><div>
<div><br><div class="gmail_quote">2012/7/12 Arnaud Vandecasteele <span dir="ltr"><<a href="mailto:arnaud.sig@gmail.com" target="_blank">arnaud.sig@gmail.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Cela dépend de quel process tu aprles :<br><br> - osm-history-splitter découpe la zone que tu désires<br><br> - osm-history-importer importe les données en base<br><br> - et osm-history-renderer génère les animations<br>
<br>Concernant les perfs.<br>Pour ma part, j'ai un petit serveur qui tourne sur Ubuntu 12.04 avec 2Go de Ram.<br>Chaque processus me prend 98% du CPU. Donc à ne pas faire sur un serveur en prod.<br><br>Ensuite la taille dépend essentiellement du nombre d'images générées (en fonction du pas de temps) et de la dimension celles-ci. Difficile à dire donc.<span><font color="#888888"><br>
<br>Arnaud</font></span><div><div><br><br><br><div class="gmail_quote">2012/7/12 Aurélien FILEZ <span dir="ltr"><<a href="mailto:kinju59@gmail.com" target="_blank">kinju59@gmail.com</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Sur mon ubuntu server, de 8Go de RAM alors qu'il n'y a que ça qui tourne, ça me met encore une erreur par manque de mémoire.<div><br></div><div>Ça n'écrit pas dans la BDD au fur et à mesure de la lecture ?<div>
<div><br><br>
<div class="gmail_quote">2012/7/12 Ab_fab <span dir="ltr"><<a href="mailto:gamma.gts@gmail.com" target="_blank">gamma.gts@gmail.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Cool,<div><br></div><div>Tu nous tiens au courant des choses que tu as mis en pratique avec ?</div><div>Et sinon, quels sont les besoins en mémoire de cet import, au final ? </div><div>et l'espace disque nécessaire ?<br>
(Mêmes questions pour Arnaud)<br><br>Le 12 juillet 2012 10:18, Aurélien FILEZ <span dir="ltr"><<a href="mailto:kinju59@gmail.com" target="_blank">kinju59@gmail.com</a>></span> a écrit :<div><div><br><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Non en fait j'étais en session a distance et ça ne m'avais pas renvoyé le message d'erreur. Une fois sur le pc physique, j'ai vu un problème de mémoire.<div><br></div><div>Alors j'ai redémarré le serveur, et relancer le truc, tout seul, ça tourne ;)<div>
<div><br>
<br><div class="gmail_quote">2012/7/12 Ab_fab <span dir="ltr"><<a href="mailto:gamma.gts@gmail.com" target="_blank">gamma.gts@gmail.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
As-tu bien donné à la bdd que tu as créée le même nom que le nom de l'utilisateur unix ?<div><br></div><div>Selon le tuto :</div><div><br></div><div><i>"<span style="line-height:22px;color:rgb(51,51,51);font-size:14px;font-family:Helvetica,arial,freesans,clean,sans-serif">next we'll get that data into the database. Oh wait: which database? </span></i></div>
<div><i><span style="line-height:22px;color:rgb(51,51,51);font-size:14px;font-family:Helvetica,arial,freesans,clean,sans-serif">We'll first have to setup our postgres database. It's best if you use your user-database (that's database-name = your unix username)"</span></i></div>
<div><br></div><div>Je crois que j'avais du recommencer à cause de cette "subtilité"</div><div><br></div><div>On continue l'investigation sur dev-fr ?</div><div><br><div class="gmail_quote">Le 11 juillet 2012 19:07, Aurélien FILEZ <span dir="ltr"><<a href="mailto:kinju59@gmail.com" target="_blank">kinju59@gmail.com</a>></span> a écrit :<div>
<div><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Après avoir exécuté "osm-history-importer france.osh.pbf", j'obtiens des tables hist_point, hist_line et hist_polygon vides (0 rows)<div>
<div><br><br><div class="gmail_quote">2012/7/11 Christian Quest <span dir="ltr"><<a href="mailto:cquest@openstreetmap.fr" target="_blank">cquest@openstreetmap.fr</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Mis sous forme de graphique c'est plus parlant (document<br>
LibreOffice)... <a href="http://dl.free.fr/pUraG0Fan" target="_blank">http://dl.free.fr/pUraG0Fan</a><br>
<br>
On voit que le réseau autoroutier a été complet dès 2009, que les<br>
voies rapides n'évoluent plus beaucoup depuis 2010, que le réseau<br>
primaire est stable depuis 2011.<br>
<br>
<br>
Le 11 juillet 2012 15:48, Christian Quest <<a href="mailto:cquest@openstreetmap.fr" target="_blank">cquest@openstreetmap.fr</a>> a écrit :<br>
<div>> Pour des stats il y a aussi ceci: <a href="http://length.osm4people.org/" target="_blank">http://length.osm4people.org/</a><br>
><br>
> Et pour la France : <a href="http://length.osm4people.org/france.html" target="_blank">http://length.osm4people.org/france.html</a><br>
> On y apprend qu'en novembre 2006, il y avait 2846km de routes et qu'en<br>
> mars dernier on en était à plus d'1 million de km. En 2011, plus de<br>
> 300.000km de routes on été ajoutés.<br>
><br>
<br>
</div><div><div>--<br>
Christian Quest - OpenStreetMap France - <a href="http://openstreetmap.fr/u/cquest" target="_blank">http://openstreetmap.fr/u/cquest</a><br>
<br>
_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
</div></div></blockquote></div><br>
</div></div><br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div></div></div><br><br clear="all"><div><div><br></div>-- <br><a href="http://wiki.openstreetmap.org/wiki/User:Ab_fab" target="_blank">ab_fab</a><br>"Il n'y a pas de pas perdus"<br>
</div></div>
<br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div><br></div></div></div>
<br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><a href="http://wiki.openstreetmap.org/wiki/User:Ab_fab" target="_blank">ab_fab</a><br>"Il n'y a pas de pas perdus"<br>
</div></div></div>
<br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div><br></div></div></div>
<br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br></div></div><div><div>--------------------------------------------------------------------<br>Arnaud Van De Casteele<br>Mines Paris Tech - CRC<br>
Sophia-Antipolis<br>0698 24 25 29<br>SIG - WebMapping - Spatial Ontology - GeoCollaboration<br>
<br>Web Site<br><a href="http://perso.crc.mines-paristech.fr/%7Earnaud.van_de_casteele/" target="_blank">http://perso.crc.mines-paristech.fr/~arnaud.van_de_casteele/</a><br><a href="http://geotribu.net/" target="_blank">http://geotribu.net/</a><br>
<a href="http://www.i2c.eu/" target="_blank">http://www.i2c.eu/</a><br>
</div></div><br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div><br></div>
</div></div><br>_______________________________________________<br>
Talk-fr mailing list<br>
<a href="mailto:Talk-fr@openstreetmap.org" target="_blank">Talk-fr@openstreetmap.org</a><br>
<a href="http://lists.openstreetmap.org/listinfo/talk-fr" target="_blank">http://lists.openstreetmap.org/listinfo/talk-fr</a><br>
<br></blockquote></div></div></div><div><div class="h5"><br><br clear="all"><div><br></div>-- <br><a href="http://wiki.openstreetmap.org/wiki/User:Ab_fab" target="_blank">ab_fab</a><br>"Il n'y a pas de pas perdus"<br>
</div></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr"><a href="http://wiki.openstreetmap.org/wiki/User:Ab_fab" target="_blank">ab_fab</a><br>"Il n'y a pas de pas perdus", Nadja</div>
</div>