<div dir="ltr"><font color="#000000">Hi,</font><div><font color="#000000"><br></font></div><div><font color="#000000">I'd like to flag an issue with our core software development process.</font></div><div><font color="#000000"><br></font></div><div><font color="#000000"><a href="http://openstreetmap.org">openstreetmap.org</a> is a complex system of many different servers being currently maintained by operations working group. Server hardware are being regularly taken care of, even though OWG consists of volunteers.<br><br>If we look at <a href="https://github.com/openstreetmap">https://github.com/openstreetmap</a> we can see that project consists of many parts from software point of view. Some of them are maintained (notably JOSM, iD and openstreetmap-carto), but that's not the case for the rest. Let's have a look at what happened since June:<br><br></font></div><div><font color="#000000">openstreetmap-website, the rails application powering most of <a href="http://osm.org">osm.org</a> -</font></div><div><font color="#000000"> 81 commits by Tom Hughes, mostly being security and policy tweaks;</font></div><div><font color="#000000"> 19 commits by Bryan Housel, mostly being iD editor version bump;</font></div><div><font color="#000000"> 18 commits by Andy Allan, mostly being refactorings.<br>277 open issues, 34 non-merged pull requests.</font></div><div><font color="#000000"><a href="https://github.com/openstreetmap/openstreetmap-website/graphs/contributors?from=2017-06-01&to=2017-12-04&type=c">https://github.com/openstreetmap/openstreetmap-website/graphs/contributors?from=2017-06-01&to=2017-12-04&type=c</a> <br><br>cgimap, c++ application powering /map call -</font></div><div><font color="#000000">no commits. </font></div><div><font color="#000000"><a href="https://github.com/openstreetmap/cgimap/graphs/contributors?from=2017-06-01&to=2017-12-04&type=c">https://github.com/openstreetmap/cgimap/graphs/contributors?from=2017-06-01&to=2017-12-04&type=c</a> <br><br></font></div><div><font color="#000000">Both projects have major performance issues known for a year, with a prototype fix:</font></div><div><font color="#000000"><a href="https://github.com/Komzpa/fastmap">https://github.com/Komzpa/fastmap</a>. There is also an issue with replication diffs being implemented on top of unsuitable postgres mechanism that may cause data loss in diffs and resurrection of old data: <a href="https://github.com/openstreetmap/operations/issues/154">https://github.com/openstreetmap/operations/issues/154</a> <br><br>mod_tile/renderd, c toolchain powering our tile servers:</font></div><div><font color="#000000">no commits. 77 issues raised. 19 pull requests waiting to be merged.</font></div><div><font color="#000000">has an issue of under-utilizing rendering server capacity.</font></div><div><font color="#000000">There is big comment on what needs to be improved by apmon:</font></div><div><font color="#000000"><a href="https://github.com/openstreetmap/mod_tile/pull/152#issuecomment-348805403">https://github.com/openstreetmap/mod_tile/pull/152#issuecomment-348805403</a> <br><br>osm2pgsql, c(++) application powering our tile servers:<br>10 commits. 84 issues. 8 pull requests open.</font></div><div><font color="#000000"><a href="https://github.com/openstreetmap/osm2pgsql/graphs/contributors?from=2017-06-01&to=2017-12-04&type=c">https://github.com/openstreetmap/osm2pgsql/graphs/contributors?from=2017-06-01&to=2017-12-04&type=c</a> <br><br></font></div><div><font color="#000000">Lack of resources to fix core issues is sometimes leading to workarounds that prevent growth:</font></div><div><font color="#000000"><br></font></div><div><font color="#000000"> - issues with scalability of rendering cluster led to bans and blocks of different web sites using openstreetmap's tiles;</font></div><div><font color="#000000"><br></font></div><div><font color="#000000"> - issue with API database scalability was worked around as "limit changeset size to less objects" instead of fixing the underlying API slowness and timing out issue. Discussions just blocked after merge: <a href="https://github.com/openstreetmap/openstreetmap-website/pull/1259">https://github.com/openstreetmap/openstreetmap-website/pull/1259</a> </font></div><div><font color="#000000"><br></font></div><div><font color="#000000">OSMF was created as an organization to support the OpenStreetMap project and not shape the community. I think that this is precisely where OSM needs support and ask OSMF board to provide a way for us all to get out of the situation.</font></div></div>