<p></p>
<h3 dir="auto">Problem</h3>
<p dir="auto">We want to enhance the OSM profile pages to include more engaging and informative features, similar to <a href="https://hdyc.neis-one.org/" rel="nofollow">HDYC</a>. The goal is to display user contribution summaries, activity patterns, and insights into changesets. However, we're unsure about the best approach to efficiently query and integrate this data, especially within the constraints of the existing OSM infrastructure.</p>
<p dir="auto">Key challenges include:</p>
<ol dir="auto">
<li><strong>Data Import</strong>:
<ul dir="auto">
<li>Changesets in the planet OSM files contain user data, but tools like Osmosis and Osmium cannot directly link users to contributions in a database.</li>
<li>Full history dumps provide the necessary data but are massive (~223 GB compressed, ~3.7 TB uncompressed) and complex to process.</li>
</ul>
</li>
<li><strong>Performance</strong>:
<ul dir="auto">
<li>We’re uncertain how querying user contribution data at scale would impact performance.</li>
</ul>
</li>
<li><strong>Integration</strong>:
<ul dir="auto">
<li>Ideally, we want to avoid additional overhead or external systems, preferring a solution within the existing OSM infrastructure.</li>
</ul>
</li>
</ol>
<h3 dir="auto">Description</h3>
<p dir="auto">To achieve this, we’re considering several approaches, but we need guidance on:</p>
<ul dir="auto">
<li>Whether anyone has implemented similar features before and has insights to share.</li>
<li>The feasibility of querying contribution data directly versus preprocessing it into a database.</li>
<li>How to efficiently test and benchmark the performance of querying user contribution data.</li>
<li>Whether a solution can be integrated into the existing OSM infrastructure or if a separate system is necessary.</li>
</ul>
<h4 dir="auto">Questions</h4>
<ol dir="auto">
<li>Has anyone worked on similar enhancements or features for OSM profile pages? If so, what approach did you take?</li>
<li>Are there recommended workflows or tools (e.g., Osmium, osm-history-renderer) for importing and querying user contribution data efficiently?</li>
<li>How can we test and compare the performance of different approaches without committing to a full-scale import?</li>
<li>Is it possible to leverage existing infrastructure to handle these queries, or would setting up a separate processing system be unavoidable?</li>
</ol>
<p dir="auto">We welcome any advice, insights, or references to similar projects to help us move forward. <a class="user-mention notranslate" data-hovercard-type="user" data-hovercard-url="/users/gravitystorm/hovercard" data-octo-click="hovercard-link-click" data-octo-dimensions="link_type:self" href="https://github.com/gravitystorm">@gravitystorm</a> <a class="user-mention notranslate" data-hovercard-type="user" data-hovercard-url="/users/tomhughes/hovercard" data-octo-click="hovercard-link-click" data-octo-dimensions="link_type:self" href="https://github.com/tomhughes">@tomhughes</a> <a class="user-mention notranslate" data-hovercard-type="user" data-hovercard-url="/users/AntonKhorev/hovercard" data-octo-click="hovercard-link-click" data-octo-dimensions="link_type:self" href="https://github.com/AntonKhorev">@AntonKhorev</a> <a class="user-mention notranslate" data-hovercard-type="user" data-hovercard-url="/users/pa5cal/hovercard" data-octo-click="hovercard-link-click" data-octo-dimensions="link_type:self" href="https://github.com/pa5cal">@pa5cal</a></p>
<h3 dir="auto">Screenshots</h3>
<p dir="auto"><em>No response</em></p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">—<br />Reply to this email directly, <a href="https://github.com/openstreetmap/openstreetmap-website/issues/5356">view it on GitHub</a>, or <a href="https://github.com/notifications/unsubscribe-auth/AAK2OLLS5BVZXHXYKDQOG7L2CM6CJAVCNFSM6AAAAABSOHZRSCVHI2DSMVQWIX3LMV43ASLTON2WKOZSGY4TCMJSHA2TSNA">unsubscribe</a>.<br />You are receiving this because you are subscribed to this thread.<img src="https://github.com/notifications/beacon/AAK2OLPCR3GSGV22BLQJKZL2CM6CJA5CNFSM6AAAAABSOHZRSCWGG33NNVSW45C7OR4XAZNFJFZXG5LFVJRW63LNMVXHIX3JMTHKAZ25CI.gif" height="1" width="1" alt="" /><span style="color: transparent; font-size: 0; display: none; visibility: hidden; overflow: hidden; opacity: 0; width: 0; height: 0; max-width: 0; max-height: 0; mso-hide: all">Message ID: <span><openstreetmap/openstreetmap-website/issues/5356</span><span>@</span><span>github</span><span>.</span><span>com></span></span></p>
<script type="application/ld+json">[
{
"@context": "http://schema.org",
"@type": "EmailMessage",
"potentialAction": {
"@type": "ViewAction",
"target": "https://github.com/openstreetmap/openstreetmap-website/issues/5356",
"url": "https://github.com/openstreetmap/openstreetmap-website/issues/5356",
"name": "View Issue"
},
"description": "View this Issue on GitHub",
"publisher": {
"@type": "Organization",
"name": "GitHub",
"url": "https://github.com"
}
}
]</script>