On Fri, Sep 4, 2009 at 12:44 PM, Lars Ahlzen <span dir="ltr"><<a href="mailto:lars@ahlzen.com">lars@ahlzen.com</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

There's also the size of the data sets. The entire hi-res NHD and NED<br>
would probably be many, many TB. Unpacking, preparing and indexing that<br>
data requires plenty of additional disk space as well. One would<br>
probably have to re-work the scripts to work on smaller areas at a time,<br>
as well as invest in some sizable drives. The tiles themselves for CO<br>
are about 12 GB and 20 GB for MA, so I'd need a web host that's willing<br>
to host a TB or so of images. :)<br></blockquote><div><br>The hi-res NHD data set fits on 4.5 DVDs. They sent me a set of NHD data last year around this time for free (they're very nice folks!). I was considering asking nicely for another set, but I was going to try and build a faster computer to handle it, first.<br>
<br>I don't know about the NED data, but I imagine it would be a similar size for the US continental area.<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

Finally, Colorado alone took the better part of a week on my quad-core<br>
rendering server. And this excludes all importing and preprocessing of<br>
the data. Extrapolate for 48 more states..."<br></blockquote><div><br>This sounds like an interesting experiment worth running on Amazon's EC2 cloud. Their x-large machines run at $1/hour, but sure would chomp on this data quickly!<br>
<br>I would be willing to try (and pay for) it if Lars went through a did an updated setup doc.<br><br>Because the layers are rendered separately, the less-frequently-changing tiles (like NED and for a while the NHD) could be done once for the entire country to save on rendering costs.<br>
</div></div>