On that note, as the coastline import is pretty much automatic, should we delete the coastlines for africa until we can move to the tile based index.  Its not very important to have the coastline import currently and that should aleviate the issues for the time being.  I've spoken to the other Africa coastline importer (Firefishy) and he agrees that we should do this.  Between the two of us, large portions of the east and west of Africa have been done, but both of these can be re-imported at a later date.

<br><br>Also, our imports finished right at the beginnning of January and we have stopped imports until these other issues can be sorted out first.<br><br>Comments? :)<br><br>Thanks<br>Ray<br><br><div><span class="gmail_quote">

On 1/14/07, <b class="gmail_sendername">Nick Hill</b> <<a href="mailto:nick@nickhill.co.uk">nick@nickhill.co.uk</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

Looking at the disc usage for the db, 10% of the hard disc was filled with data between 29th Dec and 5th Jan. This represents 4Gb of data, including indexes, which represents a 25% increase in the total OSM data set.

I have taken a look at the Africa coastline. It is very detailed, and looks like it even details mangrove swamps etc. So it is not beyond possibility this increase in data set is caused by African coastline.

<br><br>This could cause a substantial hit for queries hitting Europe. Our database<br>currently narrows the index down on either lat or lon, not both. Therefore,<br>look-ups for Europe may require brute force searches to remove the African

<br>coastline from the indexed dataset. That would impact performance until we move<br>to a tile based index.<br><br><br><br><br><br><br><br>Nick Hill wrote:<br>> It is still worrying me how the database load has shot up on 30th December. This

<br>> inevitably causing slowness.<br>><br>> When did the Africa coastline import run from/to?<br>> How many points were involved?<br>> Was there any publicity of OSM on that day which could have led to a significant

<br>> increase in users? Would this result in this profile of usage ? (I think not but<br>> prepared to debate it).<br>><br>> Steve, did you make any changes to the API or DB set-up around that time?<br>><br>

><br>><br>><br>> Andy Robinson wrote:<br>><br>>> I thought it was probably the Africa Coastline stuff too. We had nearly half<br>>> a million node writes a day going in earlier in the week, but as you point

<br>>> out that situation has declined now. The only other thing that springs to<br>>> mind is Steve's mapnick db rendering. I'm assuming that's coming off the db<br>>> direct rather than using the last planet. If this is the case I presume then

<br>>> it will take a while for the first run of tiles to be completed, after that<br>>> the load should drop of course.<br>><br>> _______________________________________________<br>> talk mailing list

<br>> <a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a><br>> <a href="http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk">http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk</a><br>

><br><br>_______________________________________________<br>talk mailing list<br><a href="mailto:talk@openstreetmap.org">talk@openstreetmap.org</a><br><a href="http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk">

http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk</a><br></blockquote></div><br><br clear="all"><br>-- <br>Ray Booysen<br><a href="mailto:raybooysen@rjb.za.net">raybooysen@rjb.za.net</a>