<div>Perhaps discrepancies that require manual verification could generate a map note to remind someone to check on it?</div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"><br></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"><br></div></div><div><br></div><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div> On August 6, 2018 10:37 PM, Greg Troxel <gdt@lexort.com> wrote:<br></div><div> <br></div><blockquote type="cite" class="protonmail_quote"><div class="gmail_quote"><div>On August 7, 2018 1:40:07 AM UTC, Yury Yatsynovich <yury.yatsynovich@gmail.com> wrote:<br></div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;"><div dir="ltr"><div dir="auto">Greg,<br></div><div>I've added csv-files with OSMID for buildings (<a href="https://mega.nz/#!S1UVUQYQ!gcnqpley11s7T1ltty1gvw61oJwEjAusBtD9KVZW8EI">https://mega.nz/#!S1UVUQYQ!gcnqpley11s7T1ltty1gvw61oJwEjAusBtD9KVZW8EI</a>) and points (<a href="https://mega.nz/#!flMH0S4R!tkUMCQiUPkm527-SAfA92UiQ_Hb_N64CiXNcvc0ijaQ">https://mega.nz/#!flMH0S4R!tkUMCQiUPkm527-SAfA92UiQ_Hb_N64CiXNcvc0ijaQ</a>) for which addr:street and actual nearby streets do not match. Again, the problems might be with either the street names or the values of addr:street of the points/buildigns.<br></div><div>These points/building can be loaded directly into JOSM using their OSMID (File - Download object - Object ID), or even in <a href="http://openstreetmap.org">openstreetmap.org</a> (<a href="http://openstreetmap.org/node/*OSMID*">openstreetmap.org/node/*OSMID*</a>)<br></div><div>As for MassGIS points, they are in shp-file, so opening them would anyways require some GIS software (JOSM, QGIS or anything else).<br></div><div><br></div><div><br></div><div>Alan,<br></div><div dir="auto"><div dir="auto">I've also split the results for MassGIS addresses into counties-towns (folder with the resulting shp-files: <a href="https://mega.nz/#F!ToFnGI6C!jcjnjc3753w4DcfaSLLAJg">https://mega.nz/#F!ToFnGI6C!jcjnjc3753w4DcfaSLLAJg</a>), so that anyone interested can go over one's own town and, besides, it would be easier to keep track of corrections.<br></div><div dir="auto">To avoid duplicating efforts, maybe, we can create a shared spreadsheet with a list of towns (350) and anyone who is working on/corrected a corresponding county-town can enter a note in a cell next to it? For instance: <a href="https://docs.google.com/spreadsheets/d/1BRMv2iwsg7ZMUiVwtP9JUD5xO8s98ucfVY_1F3DJDfc/edit?usp=sharing">https://docs.google.com/spreadsheets/d/1BRMv2iwsg7ZMUiVwtP9JUD5xO8s98ucfVY_1F3DJDfc/edit?usp=sharing</a><br></div></div><div><br></div><div class="gmail_quote"><div dir="ltr">On Mon, Aug 6, 2018, 1:15 PM Alan & Ruth Bragg <<a href="mailto:alan.ruth.bragg@gmail.com" target="_blank">alan.ruth.bragg@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Yuri,<br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">The 435 lines of your "simple code" certainly produced some great information.<br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"> I zipped and downloaded <a href="https://photos.app.goo.gl/zYVLBoZCftwaDe9j9" rel="noreferrer" target="_blank">Middlesex, buildings and points</a><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">It's interesting to me that all the files for each set must be downloaded in order for JOSM to open the shape file. <br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">I opened all 3 shape files and am reviewing the data, stepping through the layers using the carto overlay to orientate myself.<br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Bedford is pretty clean and I recognize that the OSM database you used is from a few days ago. I can see errors where I have recently corrected OSM. Simple things like the spelling of a road name.<br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">Do you have a suggestion how I can flag the data that are not really a problem so we won't have to review it again when another bump is created? <br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">We're also going to need a way to not step on each others work.<br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large">I'll take care of all the Bedford data.<br></div><div class="gmail_default" style="font-family:"trebuchet ms",sans-serif;font-size:large"><br></div><div><div dir="ltr" class="gmail-m_2124073835095693200m_910952053568953240m_-472856215483308332gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div><span style="font-family:arial, helvetica, sans-serif" class="font"><span style="font-size:18px" class="size">Alan</span></span><br></div></div></div></div></div></div></div><div><br></div></div><div><br></div><div class="gmail_quote"><div dir="ltr">On Mon, Aug 6, 2018 at 9:29 AM Yury Yatsynovich <<a href="mailto:yury.yatsynovich@gmail.com" rel="noreferrer" target="_blank">yury.yatsynovich@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Greetings!<br></div><div><div><br></div><div>I've recently written a simple code (see lines 107-202 in <a href="https://github.com/yyatsyn/MassGIS-address-import/blob/master/import_addresses_work_in_progress.py" rel="noreferrer" target="_blank">https://github.com/yyatsyn/Mas<wbr>sGIS-address-import/blob/maste<wbr>r/import_addresses_work_in_<wbr>progress.py</a>) that looks for nearest 7 streets for each address point (or each building with address information) and marks this point/building as problematic if neither of names of the 7 streets match the addr:street tag value for the point/building. <br></div><div>I've done this check for points/buildings that are already in OSM as well as those that are in MassGIS database of addresses. <br></div><div><br></div><div>The resulting shape files are stored in <a href="https://mega.nz/#F!75M1CAAJ!8r63YpTy3HIACDcAUO4c2g" rel="noreferrer" target="_blank">https://mega.nz/#F!75M1CAAJ<wbr>!8r63YpTy3HIACDcAUO4c2g</a> (make sure you download all files with the same names to be able to open the corresponding .shp-file): <br></div><div>-- problem_pnt_addr.shp and problem_bld_addr.shp -- have points/building that are already in OSM<br></div><div><div>-- *COUNTY*_problem_mgis.shp -- have points from MassGIS (split by counties).<br></div><div><br></div><div>Most of problems with MassGIS are from relatively small mismatches in street names (e.g. MassGIS has addresses with "MEDOUIE CREEK ROAD", while in OSM it is just "MEDOUIE CREEK" or "HELLER WAY" vs "HELLERS WAY" or "TENNESSEE AVENUE" vs "TENNESSE AVENUE"). <br></div></div><div><br></div><div><div>I guess, I may also add some fuzzy matching mechanism to the code (so that "TENNESSEE AVENUE" and "TENNESSE AVENUE" would be considered the same) in order to separate those MassGIS addresses that are definitely located in the wrong places (those MassGIS points for which addr:street is not even somewhat similar to the names of nearby OSM streets) from points that are next to a street with a mis-spelled name.<br></div><div><br></div><div><br></div><div>If there are mismatches in names of streets in OSM and MassGIS, how do we figure out which source is right? <br></div><div><br></div><div>As far as I know, some OSM apps (<a href="http://MAPS.ME" rel="noreferrer" target="_blank">MAPS.ME</a>, 7 ways) need addr:street and name of the highway to match exactly in order to convert and properly search over the address data. So, before we continue with importing, shall we correct all mismatches in the existing points/buildings with addr:street and misspelled streets?<br></div><div><br></div></div><div>Best,<br></div><div><div>-- <br></div><div class="gmail-m_2124073835095693200m_910952053568953240m_-472856215483308332m_-6218890628217021985gmail_signature">Yury Yatsynovich<br></div></div></div></div></blockquote></div></blockquote></div></div></blockquote></div><div><br></div><div>It seems like the MAD data comes from the towns and if we find errors there is an address authority per town.  For my town its the Town Clerk, somebody I know.   But streets in my town with discrepancies I can easily visit. <br></div></blockquote><div><br></div>