<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr">
<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">
<p style="margin-top:0;margin-bottom:0">It is possible that your problem is something other than memory, but I have no way of knowing.</p>
<p style="margin-top:0;margin-bottom:0"><br>
</p>
<p style="margin-top:0;margin-bottom:0">I believe the usual advice is to use a service like Amazon Web Service (AWS) where you can use a machine with more memory for the amount of time it takes to prepare the maps. I imagine it would be pretty reasonable in
 price.</p>
</div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Didier Doumerc <doumerc.d@adimep.com><br>
<b>Sent:</b> Friday, August 10, 2018 3:34:42 AM<br>
<b>To:</b> Mailing list to discuss Project OSRM<br>
<b>Subject:</b> Re: [OSRM-talk] Updating a map</font>
<div> </div>
</div>
<meta content="text/html; charset=iso-8859-1">
<base href="">
<div style="word-wrap:break-word">I have only 12 GB of RAM but when I installed the previous file version, it was ok with only 4 GB or RAM.
<div><br>
</div>
<div>Is there anyway way to successfully prepare the files ? Perhaps by downloading them ready yet ?</div>
<div><br>
</div>
<div>Thanks for your answer.</div>
<div><br>
</div>
<div>Didier </div>
<div><br>
<div>
<div>Le jeu.09/08/18 à 18:15, Sayer, Bryan a écrit :</div>
<br class="x_Apple-interchange-newline">
<blockquote type="cite"><span class="x_Apple-style-span" style="border-collapse:separate; font-family:Helvetica; font-style:normal; font-variant:normal; font-weight:normal; letter-spacing:normal; line-height:normal; orphans:2; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; font-size:medium">
<div dir="ltr">
<div id="x_divtagdefaultwrapper" dir="ltr" style="font-size:12pt; color:rgb(0,0,0); font-family:Calibri,Helvetica,sans-serif">
<div style="margin-top:0px; margin-bottom:0px">When I had that problem it was due to lack of memory. For the United States, I had to have 64 GB of memory prepare, though I was doing it through a Stata interface, not directly.</div>
</div>
<hr tabindex="-1" style="display:inline-block; width:1331px">
<div id="x_divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" color="#000000" style="font-size:11pt"><b>From:</b><span class="x_Apple-converted-space"> </span>Didier Doumerc <<a href="mailto:doumerc.d@adimep.com">doumerc.d@adimep.com</a>><br>
<b>Sent:</b><span class="x_Apple-converted-space"> </span>Thursday, August 9, 2018 11:53:39 AM<br>
<b>To:</b><span class="x_Apple-converted-space"> </span><a href="mailto:osrm-talk@openstreetmap.org">osrm-talk@openstreetmap.org</a><br>
<b>Subject:</b><span class="x_Apple-converted-space"> </span>[OSRM-talk] Updating a map</font>
<div> </div>
</div>
<div style="word-wrap:break-word">Hi,
<div><br>
</div>
<div>I need help for updating the map file. Here is what I get when I run osrm-prepare france-latest.osrm. It stops at 90%</div>
<div><br>
</div>
<div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Input file: france-latest.osrm</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Profile: profile.lua</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Threads: 8</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Loading edge-expanded graph representation</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Opening france-latest.osrm.ebg</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Reading 25874228 edges from the edge based graph</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Done reading edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-MSG] STXXL v1.4.1 (prerelease/Release)</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-ERRMSG] Warning: no config file found.</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-ERRMSG] Using default disk configuration.</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-MSG] Disk '/var/tmp/stxxl' is allocated, space: 1000 MiB, I/O implementation: syscall autogrow delete_on_exit queue=0 devid=0</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
merged 51783408 edges out of 103496912</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
contractor finished initalization</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
initializing elimination PQ ...ok</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
preprocessing 13952773 nodes .... 10% . 20% . 30% . 40% . 50% . 60% . [flush 9336408 nodes]  70% . 80% . 90% .</div>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div>Before, I run osrm-extract france-latest/osm.pbf</div>
<div><br>
</div>
<div><br>
</div>
<div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Input file: france-latest.osm.pbf</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Profile: profile.lua</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Threads: 8</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Using script profile.lua</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-MSG] STXXL v1.4.1 (prerelease/Release)</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-ERRMSG] Warning: no config file found.</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-ERRMSG] Using default disk configuration.</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-MSG] Disk '/var/tmp/stxxl' is allocated, space: 1000 MiB, I/O implementation: syscall autogrow delete_on_exit queue=0 devid=0</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Parsing in progress..</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] input file generated by osmium/1.8.0</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] timestamp: 2018-08-05T20:00:03Z</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Using turn restrictions</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Found 3 exceptions to turn restrictions:</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   motorcar</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   motor_vehicle</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   vehicle</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Parsing finished after 914.304 seconds</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Raw input contains 387758183 nodes, 57191546 ways, and 521319 relations, and 0 unknown entities</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting used nodes        ... ok, after 8.97724s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Erasing duplicate nodes   ... ok, after 5.16838s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting all nodes         ... ok, after 270.95s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Building node id map      ... ok, after 146.325s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] setting number of nodes   ... ok</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Confirming/Writing used nodes     ... ok, after 84.6342s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Processed 36442184 nodes</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting edges by start    ... ok, after 46.7546s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Setting start coords      ... ok, after 188.624s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting edges by target   ... ok, after 47.2029s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Computing edge weights    ... ok, after 201.467s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting edges by renumbered start ... ok, after 47.6069s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Writing used egdes       ... ok, after 33.4863s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] setting number of edges   ... ok</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Processed 37971544 edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting used ways         ... ok, after 3.42604s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting 34351 restriction. by from... ok, after 0.078667s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Fixing restriction starts ... ok, after 1.32651s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Sorting restrictions. by to  ... ok, after 0.048604s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Fixing restriction ends   ... ok, after 1.28459s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] usable restrictions: 31935</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] writing street name index ... ok, after 0.159635s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] extraction finished after 2046.13s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Generating edge-expanded graph representation</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]  - 31935 restrictions.</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Importing n = 36442184 nodes </div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]  - 17000 bollard nodes, 41647 traffic lights</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]  and 37971544 edges </div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Graph loaded ok and has 37971544 edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
. 10% . 20% . 30% . 40% . 50% . 60% . 70% . 80% . 90% . 100%</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Node compression ratio: 0.166043</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Edge compression ratio: 0.19941</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
. 10% . 20% . 30% . 40% . 50% . 60% . 70% . 80% . 90% . 100%</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Generated 37961020 nodes in edge-expanded graph</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] generating edge-expanded edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
. 10% . 20% . 30% . 40% . 50% . 60% . 70% . 80% . 90% . 100%</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Generated 37961020 edge based nodes</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Node-based graph contains 13952773 edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Edge-expanded graph ...</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   contains 25874228 edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   skips 26910 turns, defined by 31859 restrictions</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   skips 11264858 U turns</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info]   skips 18504 turns over barriers</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Timing statistics for edge-expanded graph:</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Renumbering edges: 0.239598s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Generating nodes: 10.5262s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Generating edges: 44.5756s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] building r-tree ...</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] large component [6711]=13836854</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] SCC run took: 1.89227s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] constructing r-tree of 37961020 edge elements build on-top of 36442184 coordinates</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] finished r-tree construction in 23.796 seconds</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] writing node map ...</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[extractor] Writing edge-based-graph egdes       ... ok, after 3.98042s</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Processed 25874228 edges</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] Expansion  : 274152 nodes/sec and 104966 edges/sec</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[info] To prepare the data for routing, run: ./osrm-prepare france-latest.osrm</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco; min-height:14px">
<br>
</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
[STXXL-ERRMSG] Removing disk file: /var/tmp/stxxl</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
logout</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
Saving session...</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
...copying shared history...</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
...saving history...truncating history files...</div>
<div style="margin-top:0px; margin-right:0px; margin-bottom:0px; margin-left:0px; font:normal normal normal 10px/normal Monaco">
...completed.</div>
</div>
<div><br>
</div>
<div><br>
</div>
<div>Thanks for your help.</div>
<div><br>
</div>
<div>Kind regards.</div>
<div><br>
</div>
<div>Didier</div>
</div>
<br>
****WARNING**** This information may be confidential. It is intended only for the addressee(s) identified above. If you are not the addressee(s), or an employee or agent of the addressee(s), please note that any dissemination, distribution, or copying of this
 communication is strictly prohibited. If you have received this information in error, please destroy the information and notify the sender of the error. Thank you. _______________________________________________<br>
OSRM-talk mailing list<br>
<a href="mailto:OSRM-talk@openstreetmap.org">OSRM-talk@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/osrm-talk">https://lists.openstreetmap.org/listinfo/osrm-talk</a><br>
</div>
</span></blockquote>
</div>
<br>
</div>
</div>
<br>
****WARNING**** This information may be confidential. It is intended only for the addressee(s) identified above. If you are not the addressee(s), or an employee or agent of the addressee(s), please note that any dissemination, distribution, or copying of this
 communication is strictly prohibited. If you have received this information in error, please destroy the information and notify the sender of the error. Thank you.
</body>
</html>