<div dir="ltr"><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Great ideas everyone.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">I agree that fixing the easy stuff first makes a lot of sense.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Abbreviated street names are causing big problems. They need to be fixed in OSM  on  highways (name)  and on building addresses  (addr:street)</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Mechanically correcting abbreviated OSM street names (addr:street) will resolve house numbers (addr:housenumber) on those streets.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">There are 561 street names in the OSM Building Problem Address file (problem_bld_addr.shp).</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Over 100 of them involve changing St & St. to Street, Rd & Rd. to Road, Ln to Lane, Dr to Drive, Cir to Circle, Hwy to Highway, etc</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">I've completed expanding Ave to Avenue and St to Street using overpass script</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default"><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">[out:xml]/*fixed by auto repair*/[timeout:125];</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4"><br></font></div><div class="gmail_default"><br></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">area(3600061315)->.searchArea; //Massachusetts</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4"><br></font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">// gather results</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">(</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">  // query part for: “"addr:street"~/ Ave$/”</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4"> node["addr:street"~" Ave$"](area.searchArea);</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4"> node["addr:street"~" Rd$"](area.searchArea);</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4"> way[highway]["name"~" Ave$"](area.searchArea);</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4"> way[highway]["name"~" Rd$"](area.searchArea);</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">);</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">// print results</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">out meta;/*fixed by auto repair*/</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">>;</font></div><div class="gmail_default"><font face="trebuchet ms, sans-serif" size="4">out meta qt;/*fixed by auto repair*/</font></div></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><span style="font-family:arial,helvetica,sans-serif">Alan</span><br></div><br></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Aug 6, 2018 at 10:37 PM Greg Troxel <<a href="mailto:gdt@lexort.com" target="_blank">gdt@lexort.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="gmail_quote">On August 7, 2018 1:40:07 AM UTC, Yury Yatsynovich <<a href="mailto:yury.yatsynovich@gmail.com" target="_blank">yury.yatsynovich@gmail.com</a>> wrote:<blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div dir="ltr"><div dir="auto">Greg,<br></div><div>I've added csv-files with OSMID for buildings (<a href="https://mega.nz/#!S1UVUQYQ!gcnqpley11s7T1ltty1gvw61oJwEjAusBtD9KVZW8EI" target="_blank">https://mega.nz/#!S1UVUQYQ!gcnqpley11s7T1ltty1gvw61oJwEjAusBtD9KVZW8EI</a>) and points (<a href="https://mega.nz/#!flMH0S4R!tkUMCQiUPkm527-SAfA92UiQ_Hb_N64CiXNcvc0ijaQ" target="_blank">https://mega.nz/#!flMH0S4R!tkUMCQiUPkm527-SAfA92UiQ_Hb_N64CiXNcvc0ijaQ</a>) for which addr:street and actual nearby streets do not match. Again, the problems might be with either the street names or the values of addr:street of the points/buildigns.<br></div><div>These points/building can be loaded directly into JOSM using their OSMID (File - Download object - Object ID), or even in <a href="http://openstreetmap.org" target="_blank">openstreetmap.org</a> (<a href="http://openstreetmap.org/node/*OSMID*" target="_blank">openstreetmap.org/node/*OSMID*</a>)<br></div><div>As for MassGIS points, they are in shp-file, so opening them would anyways require some GIS software (JOSM, QGIS or anything else).<br></div><div></div><div><br></div><div>Alan,<br></div><div dir="auto"><div dir="auto">I've also split the results for MassGIS addresses into counties-towns (folder with the resulting shp-files: <a href="https://mega.nz/#F!ToFnGI6C!jcjnjc3753w4DcfaSLLAJg" target="_blank">https://mega.nz/#F!ToFnGI6C!jcjnjc3753w4DcfaSLLAJg</a>), so that anyone interested can go over one's own town and, besides, it would be easier to keep track of corrections.<br></div><div dir="auto">To avoid duplicating efforts, maybe, we can create a shared spreadsheet with a list of towns (350) and anyone who is working on/corrected a corresponding county-town can enter a note in a cell next to it? For instance: <a href="https://docs.google.com/spreadsheets/d/1BRMv2iwsg7ZMUiVwtP9JUD5xO8s98ucfVY_1F3DJDfc/edit?usp=sharing" target="_blank">https://docs.google.com/spreadsheets/d/1BRMv2iwsg7ZMUiVwtP9JUD5xO8s98ucfVY_1F3DJDfc/edit?usp=sharing</a><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Aug 6, 2018, 1:15 PM Alan & Ruth Bragg <<a href="mailto:alan.ruth.bragg@gmail.com" target="_blank">alan.ruth.bragg@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Yuri,</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">The 435 lines of your "simple code" certainly produced some great information.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"> I zipped and downloaded <a href="https://photos.app.goo.gl/zYVLBoZCftwaDe9j9" rel="noreferrer" target="_blank">Middlesex, buildings and points</a></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">It's interesting to me that all the files for each set must be downloaded in order for JOSM to open the shape file. <br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">I opened all 3 shape files and am reviewing the data, stepping through the layers using the carto overlay to orientate myself.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Bedford is pretty clean and I recognize that the OSM database you used is from a few days ago. I can see errors where I have recently corrected OSM. Simple things like the spelling of a road name.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Do you have a suggestion how I can flag the data that are not really a problem so we won't have to review it again when another bump is created? </div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">We're also going to need a way to not step on each others work.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">I'll take care of all the Bedford data.</div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div><div dir="ltr" class="m_3186123202934843916m_-7837158767000129869gmail-m_2124073835095693200m_910952053568953240m_-472856215483308332gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div><font size="4" face="arial, helvetica, sans-serif">Alan</font></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Aug 6, 2018 at 9:29 AM Yury Yatsynovich <<a href="mailto:yury.yatsynovich@gmail.com" rel="noreferrer" target="_blank">yury.yatsynovich@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Greetings!<div><br>I've recently written a simple code (see lines 107-202 in <a href="https://github.com/yyatsyn/MassGIS-address-import/blob/master/import_addresses_work_in_progress.py" rel="noreferrer" target="_blank">https://github.com/yyatsyn/MassGIS-address-import/blob/master/import_addresses_work_in_progress.py</a>) that looks for nearest 7 streets for each address point (or each building with address information) and marks this point/building as problematic if neither of names of the 7 streets match the addr:street tag value for the point/building. <br>I've done this check for points/buildings that are already in OSM as well as those that are in MassGIS database of addresses. <div><br></div><div>The resulting shape files are stored in <a href="https://mega.nz/#F!75M1CAAJ!8r63YpTy3HIACDcAUO4c2g" rel="noreferrer" target="_blank">https://mega.nz/#F!75M1CAAJ!8r63YpTy3HIACDcAUO4c2g</a> (make sure you download all files with the same names to be able to open the corresponding .shp-file): </div><div>-- problem_pnt_addr.shp and problem_bld_addr.shp -- have points/building that are already in OSM</div><div>-- *COUNTY*_problem_mgis.shp -- have points from MassGIS (split by counties).<br><br>Most of problems with MassGIS are from relatively small mismatches in street names (e.g. MassGIS has addresses with "MEDOUIE CREEK ROAD", while in OSM it is just "MEDOUIE CREEK" or "HELLER WAY" vs "HELLERS WAY" or "TENNESSEE AVENUE" vs "TENNESSE AVENUE"). </div><div><br></div><div><div>I guess, I may also add some fuzzy matching mechanism to the code (so that "TENNESSEE AVENUE" and "TENNESSE AVENUE" would be considered the same) in order to separate those MassGIS addresses that are definitely located in the wrong places (those MassGIS points for which addr:street is not even somewhat similar to the names of nearby OSM streets) from points that are next to a street with a mis-spelled name.</div><div></div><br>If there are mismatches in names of streets in OSM and MassGIS, how do we figure out which source is right? <br><br>As far as I know, some OSM apps (<a href="http://MAPS.ME" rel="noreferrer" target="_blank">MAPS.ME</a>, 7 ways) need addr:street and name of the highway to match exactly in order to convert and properly search over the address data. So, before we continue with importing, shall we correct all mismatches in the existing points/buildings with addr:street and misspelled streets?<br><br></div><div>Best,</div><div>-- <br><div class="m_3186123202934843916m_-7837158767000129869gmail-m_2124073835095693200m_910952053568953240m_-472856215483308332m_-6218890628217021985gmail_signature">Yury Yatsynovich</div>
</div></div></div>
</blockquote></div>
</blockquote></div>
</div>
</blockquote></div><br clear="all">It seems like the MAD data comes from the towns and if we find errors there is an address authority per town.  For my town its the Town Clerk, somebody I know.   But streets in my town with discrepancies I can easily visit. </div></blockquote></div>