Great idea!<br><br><div><span class="gmail_quote">On 1/14/07, <b class="gmail_sendername">Nick Hill</b> <<a href="mailto:nick@nickhill.co.uk">nick@nickhill.co.uk</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

Let's hold back on dropping the coastline at least for today; given the database<br>is so slow, perhaps people wouldn't mind me taking it offline to try database<br>partitioning, at least for nodes and GPS points. I may take it offline at around

<br>  15:00 GMT.<br><br><br><br>Ray Booysen wrote:<br>> On that note, as the coastline import is pretty much automatic, should<br>> we delete the coastlines for africa until we can move to the tile based<br>> index.  Its not very important to have the coastline import currently

<br>> and that should aleviate the issues for the time being.  I've spoken to<br>> the other Africa coastline importer (Firefishy) and he agrees that we<br>> should do this.  Between the two of us, large portions of the east and

> west of Africa have been done, but both of these can be re-imported at a > later date. > > Also, our imports finished right at the beginnning of January and we > have stopped imports until these other issues can be sorted out first.

<br>><br>> Comments? :)<br>><br>> Thanks<br>> Ray<br>><br>> On 1/14/07, *Nick Hill* <<a href="mailto:nick@nickhill.co.uk">nick@nickhill.co.uk</a><br>> <mailto:<a href="mailto:nick@nickhill.co.uk">

nick@nickhill.co.uk</a>>> wrote:<br>><br>>     Looking at the disc usage for the db, 10% of the hard disc was<br>>     filled with data<br>>     between 29th Dec and 5th Jan. This represents 4Gb of data, including

<br>>     indexes,<br>>     which represents a 25% increase in the total OSM data set.<br>><br>>     I have taken a look at the Africa coastline. It is very detailed,<br>>     and looks like<br>>     it even details mangrove swamps etc. So it is not beyond possibility

>     this >     increase in data set is caused by African coastline. > >     This could cause a substantial hit for queries hitting Europe. Our >     database >     currently narrows the index down on either lat or lon, not both.

<br>>     Therefore,<br>>     look-ups for Europe may require brute force searches to remove the<br>>     African<br>>     coastline from the indexed dataset. That would impact performance<br>>     until we move

<br>>     to a tile based index.<br>><br>><br>><br>><br>><br>><br>><br>>     Nick Hill wrote:<br>>      > It is still worrying me how the database load has shot up on 30th<br>>     December. This

<br>>      > inevitably causing slowness.<br>>      ><br>>      > When did the Africa coastline import run from/to?<br>>      > How many points were involved?<br>>      > Was there any publicity of OSM on that day which could have led

<br>>     to a significant<br>>      > increase in users? Would this result in this profile of usage ?<br>>     (I think not but<br>>      > prepared to debate it).<br>>      ><br>>      > Steve, did you make any changes to the API or DB set-up around

<br>>     that time?<br>>      ><br>>      ><br>>      ><br>>      ><br>>      > Andy Robinson wrote:<br>>      ><br>>      >> I thought it was probably the Africa Coastline stuff too. We had

<br>>     nearly half<br>>      >> a million node writes a day going in earlier in the week, but as<br>>     you point<br>>      >> out that situation has declined now. The only other thing that<br>

>     springs to<br>>      >> mind is Steve's mapnick db rendering. I'm assuming that's coming<br>>     off the db<br>>      >> direct rather than using the last planet. If this is the case I

<br>>     presume then<br>>      >> it will take a while for the first run of tiles to be completed,<br>>     after that<br>>      >> the load should drop of course.<br>>      ><br>>      > _______________________________________________

<br>>      > talk mailing list<br>>      > <a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a> <mailto:<a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a>><br>>      > 

<a href="http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk">http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk</a><br>>      ><br>><br>>     _______________________________________________

<br>>     talk mailing list<br>>     <a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a> <mailto:<a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a>><br>>     <a href="http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk">

http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk</a><br>><br>><br>><br>><br>> --<br>> Ray Booysen<br>> <a href="mailto:raybooysen@rjb.za.net">raybooysen@rjb.za.net</a> <mailto:<a href="mailto:raybooysen@rjb.za.net">

raybooysen@rjb.za.net</a>><br>><br>><br>> ------------------------------------------------------------------------<br>><br>> _______________________________________________<br>> talk mailing list<br>> 

<a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a><br>> <a href="http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk">http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk</a><br></blockquote>

</div><br><br clear="all"><br>-- <br>Ray Booysen<br><a href="mailto:raybooysen@rjb.za.net">raybooysen@rjb.za.net</a>