<html><body><div style="color:#000; background-color:#fff; font-family:HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif;font-size:10pt">Hi Robert,<br><br>We can look at various ways to improve the quality of damage evaluation from Imagery. More precise instructions, tutorials and adapted tools could contribute to this. And it would be interesting to look at what already exist. A JOSM plugin could give the possibility to play with the contrast and other characteristics of an image, to compare two images side by side.<br><br>We have to admit that there are limits to damage evaluation with Satellite Imagery, establish these limits and see what else could be done to improve damage evaluation.  Journalists and some humanitarian NGO's experienced UAV civil drones for the Haiyan Typhoon. Aerial and UAV's will probably play a greater role in the next activations, providing more flexibility for mapping in crisis contexts such as
 Haiyan.<br><br>To progress with the methodology, I think that we should also look at what the others are doing. I think that it would be the responsability of OCHA to carry a study that analyze this problem more globally, looking also at the various coordination aspects of such an intervention (ie. imagery, methodology, systematic coverage of the zone, distribution of work among the various groups). This would surely help the humanitarian community to progress. While various studies concentrated over Tacloban, their were zones west of Tacloban with no imagery available, either pre or post-disaster.<br><br>For those interested to look further, below are various links to Haiyan Assessment maps from various organisations.<br><div><br><span></span></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;"><span>This
 UNOSAT live map shows the various assessments reports made for Haiyan. <br></span></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;">https://unosatgis.cern.ch/webmap/UNOSAT_LIVE/Operative/?config=config_TC_20131108_PHL.xml<br><span></span></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;"><span><br></span></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;"><span>We see that USGS reports with defining very large zones only while Copernicus reports by house blocks. Detailed Copernicus maps show that similarly to OSM they
 traced individual buildings first, using Pleiade Imagery.  But the diagnostic are made for larger zones The Pleiade Imagery theys used is similar in quality to the DigitalGlobe/HIU one used by OSM. And when we compare the assessments with OSM, we see that the Copernicus group was face with the same problems as OSM identifying damaged buildings. <br></span></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;">http://emergency.copernicus.eu/mapping/list-of-components/EMSR058/ALL/EMSR058_02TACLOBANCITY</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica
 Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;">I started to prepare an online map for  comparison of the Pleidade and DigitalGlobe Post-Disaster Imageries with the Corephil Uav Civil Drone imagery in Tacloban. Slide the map from the Corephil Imagery on the left, and the three windows will update simultaneously.  It is a lot easier to evaluate from the Drone imagery then from the Satellite ones where imagery is often gray and inprecise.</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;">http://pierzen.dev.openstreetmap.org/hot/leaflet/Tacloban-post-disaster-imagery-compare.html<br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color:
 transparent; font-style: normal;"><br><span></span></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: HelveticaNeue,Helvetica Neue,Helvetica,Arial,Lucida Grande,sans-serif; background-color: transparent; font-style: normal;"><span>The Disaster Charter publishes also various assessment maps with the possibility to download the shp files.</span></div>http://www.disasterscharter.org/web/charter/activation_details?p_r_p_1415474252_assetId=ACT-466<br><br> <br><div><span style="font-style:italic;color:rgb(0, 0, 191);font-weight:bold;">Pierre <br></span><br></div>  <div style="font-family: HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif; font-size: 10pt;"> <div style="font-family: HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif; font-size: 12pt;"> <div dir="ltr"> <hr size="1">  <font face="Arial" size="2"> <b><span style="font-weight:bold;">De :</span></b> "Banick, Robert"
 <Robert.Banick@redcross.org><br> <b><span style="font-weight: bold;">À :</span></b> Dan S <danstowell+osm@gmail.com> <br><b><span style="font-weight: bold;">Cc :</span></b> Clay impact <clay.westrope@impact-initiatives.org>; "hot@openstreetmap.org" <hot@openstreetmap.org> <br> <b><span style="font-weight: bold;">Envoyé le :</span></b> Mardi 18 février 2014 10h42<br> <b><span style="font-weight: bold;">Objet :</span></b> Re: [HOT] Interim Report: Typhoon Haiyan (Yolanda) Damage Assessment<br> </font> </div> <div class="y_msg_container"><br>Hi Dan,<br clear="none"><br clear="none">Thanks for this! We were disappointed to find the same thing -- the<br clear="none">correlation is just not there. I think we need to focus heavily on the<br clear="none">improvements in our recommendation section so we can nudge these numbers<br clear="none">towards something more reasonable, because at present it's just not good.<br
 clear="none"><br clear="none">Best,<br clear="none">Robert<br clear="none"><br clear="none">Robert Banick | Field GIS Coordinator | International Services | Ì<br clear="none">American Red Cross <<a shape="rect" href="http://www.redcross.org/" target="_blank">http://www.redcross.org/</a>><br clear="none">2025 E Street NW, Washington, DC 20006<br clear="none">Tel 202-303-5017 | Cell 202-805-3679 | Skype robert.banick<br clear="none"><br clear="none"><br clear="none"><br clear="none"><br clear="none"><div class="yqt9708039129" id="yqtfd01310"><br clear="none">On 2/16/14 4:47 PM, "Dan S" <danstowell+<a shape="rect" ymailto="mailto:osm@gmail.com" href="mailto:osm@gmail.com">osm@gmail.com</a>> wrote:<br clear="none"><br clear="none">>Hi Robert,<br clear="none">><br clear="none">>Thanks for pointing me to the raw data. I've run a crosstabulation<br clear="none">>(matching up objects by their osm ID) and it seems to look like this:<br
 clear="none">><br clear="none">>                no    damaged    destroyed<br clear="none">>no            85               82           63<br clear="none">>partial    170             119          111<br clear="none">>major     173             160         196<br clear="none">>total         88               31           70<br clear="none">><br clear="none">>This is rather disappointing - there is some correlation between the<br clear="none">>two types of annotation but a lot of noise. For example the osm 'no'<br clear="none">>category seems to be more likely to be _any_ of the
 other categories<br clear="none">>in your observations rather than 'no'!<br clear="none">><br clear="none">>I quantified the predictability of one from the other (using mutual<br clear="none">>information) and it confirms this, comes out rather low. My analysis<br clear="none">>code is at <a shape="rect" href="https://gist.github.com/danstowell/9040956" target="_blank">https://gist.github.com/danstowell/9040956 </a>- just a quick<br clear="none">>evening script, check it before relying on it...<br clear="none">><br clear="none">>Best<br clear="none">>Dan<br clear="none">><br clear="none">><br clear="none">>2014-02-14 14:53 GMT+00:00 Banick, Robert <<a shape="rect" ymailto="mailto:Robert.Banick@redcross.org" href="mailto:Robert.Banick@redcross.org">Robert.Banick@redcross.org</a>>:<br clear="none">>> Hi Dan,<br clear="none">>><br clear="none">>> There's a "download raw data" button on the side of
 the website at<br clear="none">>> americanredcross.github.io/OSM-Assessment. Feel free to download and<br clear="none">>>play<br clear="none">>> with the data further -- and do contribute back anything new you find.<br clear="none">>> We're running more intensive stats analysis on the data now and will be<br clear="none">>> working that into the final report.<br clear="none">>><br clear="none">>> Cheers,<br clear="none">>> Robert<br clear="none">>><br clear="none">>> Robert Banick | Field GIS Coordinator | International Services | Ì<br clear="none">>> American Red Cross <<a shape="rect" href="http://www.redcross.org/" target="_blank">http://www.redcross.org/</a>><br clear="none">>> 2025 E Street NW, Washington, DC 20006<br clear="none">>> Tel 202-303-5017 | Cell 202-805-3679 | Skype robert.banick<br clear="none">>><br clear="none">>><br
 clear="none">>><br clear="none">>><br clear="none">>><br clear="none">>> On 2/14/14 4:18 AM, "Dan S" <danstowell+<a shape="rect" ymailto="mailto:osm@gmail.com" href="mailto:osm@gmail.com">osm@gmail.com</a>> wrote:<br clear="none">>><br clear="none">>>>Hi Robert,<br clear="none">>>><br clear="none">>>>Thanks for this. It's great to have some concrete analysis of what we<br clear="none">>>>did, and the extent to which it's accurate.<br clear="none">>>><br clear="none">>>>Is there a full cross-tabulation available of the numbers for<br clear="none">>>>building-osm-status vs building-true-status? In the report there's a<br clear="none">>>>table of over/underrepresentation, and some other stats, but it<br clear="none">>>>doesn't give me a complete summary of whether our errors were in the<br clear="none">>>>form of "bias" (e.g.
 consistently labelling things worse or better<br clear="none">>>>than they are) or "variance" (e.g. the labelling tends to be a bit<br clear="none">>>>random). I'd be really grateful if you could provide the full<br clear="none">>>>cross-table.<br clear="none">>>><br clear="none">>>>Dan<br clear="none">>>><br clear="none">>>><br clear="none">>>>2014-02-12 14:22 GMT+00:00 Banick, Robert <<a shape="rect" ymailto="mailto:Robert.Banick@redcross.org" href="mailto:Robert.Banick@redcross.org">Robert.Banick@redcross.org</a>>:<br clear="none">>>>> Dear HOT Communuity,<br clear="none">>>>><br clear="none">>>>><br clear="none">>>>><br clear="none">>>>> The American Red Cross and the REACH Initiative are pleased to present<br clear="none">>>>>an<br clear="none">>>>> interim assessment report on the
 validity of the building damages<br clear="none">>>>>assessed<br clear="none">>>>> through OpenStreetMap in the weeks following Typhoon Haiyan. You can<br clear="none">>>>>find a<br clear="none">>>>> print copy attached and a more interactive website version at the<br clear="none">>>>>above<br clear="none">>>>> link.<br clear="none">>>>><br clear="none">>>>><br clear="none">>>>> The results were unfortunately negative and underline real limitations<br clear="none">>>>>in<br clear="none">>>>> OpenStreetMap's ability to capture these results in the present.<br clear="none">>>>> Neverthless, this report identifies strong promise in the OSM model of<br clear="none">>>>> crowdsourcing and highlights the investments needed to make that<br clear="none">>>>>potential<br
 clear="none">>>>> possible.  It's our sincere hope that funders, NGO partners and most<br clear="none">>>>> especially the OpenStreetMap community will rally around these<br clear="none">>>>>investments<br clear="none">>>>> so that OSM can play an even stronger and more operationally useful<br clear="none">>>>>role in<br clear="none">>>>> future disaster responses.<br clear="none">>>>><br clear="none">>>>><br clear="none">>>>> We are indebted to the US Agency for International Development's<br clear="none">>>>>Office<br clear="none">>>>>of<br clear="none">>>>> Foreign Disaster Assistance (OFDA) for funding this assessment and<br clear="none">>>>>look<br clear="none">>>>> forward to future partnerships to improve the utility of open data and<br clear="none">>>>>
 OpenStreetMap in particular for disaster response.<br clear="none">>>>><br clear="none">>>>><br clear="none">>>>><br clear="none">>>>> With all the best,<br clear="none">>>>><br clear="none">>>>> Robert Banick, Dale Kunce and Clay Westrope<br clear="none">>>>><br clear="none">>>>> American Red Cross & REACH Initiative<br clear="none">>>>><br clear="none">>>>><br clear="none">>>>> Robert Banick | Field GIS Coordinator | International Services | Ì<br clear="none">>>>>American<br clear="none">>>>> Red Cross<br clear="none">>>>><br clear="none">>>>> 2025 E Street NW, Washington, DC 20006\<br clear="none">>>>><br clear="none">>>>><br clear="none">>>>> _______________________________________________<br clear="none">>>>> HOT
 mailing list<br clear="none">>>>> <a shape="rect" ymailto="mailto:HOT@openstreetmap.org" href="mailto:HOT@openstreetmap.org">HOT@openstreetmap.org</a><br clear="none">>>>> <a shape="rect" href="https://lists.openstreetmap.org/listinfo/hot" target="_blank">https://lists.openstreetmap.org/listinfo/hot</a><br clear="none">>>>><br clear="none">>><br clear="none"><br clear="none"><br clear="none">_______________________________________________<br clear="none">HOT mailing list<br clear="none"><a shape="rect" ymailto="mailto:HOT@openstreetmap.org" href="mailto:HOT@openstreetmap.org">HOT@openstreetmap.org</a><br clear="none"><a shape="rect" href="https://lists.openstreetmap.org/listinfo/hot" target="_blank">https://lists.openstreetmap.org/listinfo/hot</a></div><br><br></div> </div> </div>  </div></body></html>