On Tue, May 5, 2009 at 5:54 PM, Brett Henderson <span dir="ltr"><<a href="mailto:brett@bretth.com">brett@bretth.com</a>></span> wrote:<div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
The second problem is that I don't always want all records in the<br>
queue.  I'd still like to be able to break up records into time<br>
intervals rather than grabbing everything available in the order it was<br>
logged.  However this mightn't be an issue in the central database, it's<br>
more of an issue in the distribution database.  So the main retrieval<br>
daemon could just grab everything (or bound it by an object count limit)<br>
and dump into the distribution database where time-based chunks could be<br>
extracted.</blockquote><div><br>Forgive me for injecting into this conversation part-way through, but would it make sense to offer an HTTP stream of the complete contents of all changesets as they are closed and applied to the database? <br>
</div></div><br>To reduce load on the server, the stream could be proxied or mirrored to other machines.<br>