<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Thu, Sep 15, 2016 at 4:53 PM, Stefan Keller <span dir="ltr"><<a href="mailto:sfkeller@gmail.com" target="_blank">sfkeller@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I'm setting up a Kafka publish-subscribe messaging system delivering<br>
minutely diffs.<br>
<br>
AFAIK augmented diffs are rather an experimental feature and I'd like<br>
to avoid the latency time and blackouts of overpass which runs in same<br>
server. So I'm concentrating on the main OSM API.<br></blockquote><div><br></div><div>I've also experimented with this sort of thing and ran into similar hiccups as you.</div><div><br></div><div>Also, if you want to further reduce latency don't forget about the streaming replication service:</div><div><a href="http://wiki.openstreetmap.org/wiki/Osmosis/Replication#Streaming_Replication_Wire_Protocol">http://wiki.openstreetmap.org/wiki/Osmosis/Replication#Streaming_Replication_Wire_Protocol</a><br></div><div><br></div><div>Last I checked it wasn't running, and I think TomH would be hard pressed to get it to work again, but if you end up building something that would be useful for a wide array of people it might be worth revisiting that.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Now, osmChange XML like<br>
<a href="http://www.osm.org/api/0.6/changeset/42143238/download" rel="noreferrer" target="_blank">http://www.osm.org/api/0.6/<wbr>changeset/42143238/download</a> obviously does<br>
not include all info (e.g. tags) from ref nodes/ways/relations.<br>
<br>
I'm not looking for specific info but I'd like to get at least all<br>
data about nodes/ways/relations which are created/modified/deleted in<br>
a changeset.<br>
<br>
Is it OK to do API lookups like this<br>
<a href="https://www.osm.org/api/0.6/nodes?nodes=59906080,4400821613" rel="noreferrer" target="_blank">https://www.osm.org/api/0.6/<wbr>nodes?nodes=59906080,<wbr>4400821613</a> even for<br>
minutely diffs? Any alternatives? </blockquote><div><br></div><div>This is where I stopped working on this idea. I ended up making *lots* of requests to the API server to fill in missing data and I didn't think it would be very nice to my fellow mappers if I scaled that up and made it run 24/7.<br></div><div><br></div><div>At this point I started experimenting with ways of maintaining a full history database to help make these sorts of lookups more performant, but then ran out of time to work on this project.</div><div><br></div><div>I think a more interesting path forward for this kind of problem is to resurrect the aforementioned streaming replication protocol and modify it to include changeset and "augmented diff"-style information. My intuition says that making smart SQL queries against a read replica database rather than adding API load might be more efficient and useful for lots of consumers. I'm happy to be proven wrong, though.</div></div></div></div>