<div dir="ltr">Hi Jason,<br>great job!<br>I've been going through towns in Berkshire, correcting errors in OSM and writing down the OBJECTID of MassGIS points that might be considered as errors to the Google Docs spreadsheet that I've created and shared earlier: <br><a href="https://docs.google.com/spreadsheets/d/1BRMv2iwsg7ZMUiVwtP9JUD5xO8s98ucfVY_1F3DJDfc/edit?usp=sharing">https://docs.google.com/spreadsheets/d/1BRMv2iwsg7ZMUiVwtP9JUD5xO8s98ucfVY_1F3DJDfc/edit?usp=sharing</a><br>Later it will be easier to collect all such points by their ID and exclude them from the imported MassGIS data.</div><br><div class="gmail_quote"><div dir="ltr">On Sat, Aug 11, 2018 at 9:01 PM Jason Remillard <<a href="mailto:remillard.jason@gmail.com">remillard.jason@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi,</div><div><br></div><div>155 points in Littleton. <br></div><div><br></div><div>The 3 SANDAS POINT points don't match the road name but seem correct.<br></div><div>The 8 CRORY LANE addresses are wrong. There is no Crory lane, the points are over conservation land. <br></div><div>The 1 LONGFELLOW DRIVE address is on conservation land, it is wrong. <br></div><div>The WHITE HORSE ROAD address seems to be correct, yet doesn't match any roads.</div><div>The 2 WESTVIEW ROAD addresses seem to not be developed yet, paper addresses. <br></div><div>The COTTAGE WAY addresses seem to be correct, but the road wasn't developed. <br></div><div><div>The BOATHOUSE WAY addresses seem to be correct, but the road wasn't developed. <br></div><div><br></div></div><div>The rest of the points were errors in OSM, mostly missing roads and roads that had the wrong name. <br></div><div><br></div><div>Except for VINT LANE (too new), the other points should be fixed in OSM.  <br></div><div><br></div><div>Jason<br></div><div><br></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Aug 10, 2018 at 12:05 PM Yury Yatsynovich <<a href="mailto:yury.yatsynovich@gmail.com" target="_blank">yury.yatsynovich@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Greetings!<br clear="all"><div>I've modified my code so that now it does some fuzzy matches between OSM streets and MassGIS addresses and marks as problematic only those MassGIS point that do not pass this fuzzy match.</div><div><br></div><div>Details on the steps implemented for fuzzy matches:<br></div><div>1) the code expands abbreviations in OSM streets' names like "Str", "Ln", etc. to "Street", "Lane", etc.</div><div>2) the status parts at the end of the streets' names (like "Street", "Road", "Lane") are dropped. So "Sunset Street" and "Sunset Drive" turn into just "Sunset"<br></div><div>3) the code converts OSM and MassGIS street names to upper case.</div><div>4) the code removes symbols like ".", "'", "," and blanks <br></div><div>5) the code considers similar strings (up to 90% similarity) as the same<br></div><div><br></div><div>E.g., if OSM has "New Miller's Street", while MassGIS has nearby address points with "NEW MILLER ROAD", the above mentioned steps will convert the streets' names into "NEWMILLERS" and "NEWMILLER" and consider them as the same. For more details, please, see <a href="https://github.com/yyatsyn/MassGIS-address-import/blob/master/import_addresses_fuzzy_match_names_work_in_progress.py" target="_blank">https://github.com/yyatsyn/MassGIS-address-import/blob/master/import_addresses_fuzzy_match_names_work_in_progress.py</a>.<br><br></div><div>The resulting files are in the folder: <a href="https://mega.nz/#F!79Ny3KKL!JemAt7yZKSUctrza8QU4Tg" target="_blank">https://mega.nz/#F!79Ny3KKL!JemAt7yZKSUctrza8QU4Tg</a><br><br></div><div>The fuzzy match shows that there are not that many severe problems: around 300 points and 400 buildings with addresses in OSM need some attention (comparing to 1 and 2K when using exact matches for streets' names), as well as, maybe, 5-10 streets per town are found to need corrections after being compared to MassGIS (mostly those are the streets without names or with some extra words like "Main Street Extension" or "East Main Street" vs "Main Street"). <br></div><div><br></div><div>I would suggest that we add/correct names of the streets (350 towns, 5-10 streets in each town -- sounds doable for manual edits), re-run the fuzzy matching code again and whatever MassGIS points are marked as problematic after that -- will be inspected individually.<br></div><div><br></div><div>Any feedback is more than welcome!<br></div><div>-- <br><div dir="ltr" class="m_-3028628273906090366gmail-m_8575807268673258646gmail-m_8992192648853569459m_161237198633173621gmail_signature">Yury Yatsynovich</div></div></div>
_______________________________________________<br>
Talk-us-massachusetts mailing list<br>
<a href="mailto:Talk-us-massachusetts@openstreetmap.org" target="_blank">Talk-us-massachusetts@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/talk-us-massachusetts" rel="noreferrer" target="_blank">https://lists.openstreetmap.org/listinfo/talk-us-massachusetts</a><br>
</blockquote></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">Yury Yatsynovich</div>