<div dir="ltr">Hi all,<div><br></div><div>Yes, this is the worst time. Almost the whole tech team is sole focusing on that emergency.</div><div><br></div><div>We had earlier today some problems with a maintenance procedure that went out of control. And at the moment we are facing the following issues on the Tasking Manager that has been brought back:</div><div><br></div><div>- Locking of tasks is not working and throws an error message. </div><div>- Login is failing for some, not for others</div><div>- Activities of late yesterday, such as projects that have been created, might be lost in the database, as we had to use a backup from yesterday.</div><div><br></div><div>We are working on solving it soon. And will report here and in our other channels (slack, <a href="http://twitter.com/hotosm_tech">twitter.com/hotosm_tech</a> and <a href="http://status.hotosm.org">status.hotosm.org</a>) more information.<br></div><div><br></div><div>In the meantime we can only offer alternative instances such as:</div><div><br></div><div>* <a href="http://tm3.openstreetmap.id">tm3.openstreetmap.id</a></div><div>* <a href="http://tasks-assisted.hotosm.org">tasks-assisted.hotosm.org</a></div><div>* <a href="http://tasks.teachosm.org">tasks.teachosm.org</a></div><div><br></div><div>Please excuse the inconvenience and we will post any updates as soon as possible.</div><div><br></div><div>So far an update from the infrastructure experts on what happened earlier today:</div><div><br></div><div>> <b>Summary:</b><br>> Tasking Manager is now back and working. Unfortunately, many email addresses were lost and therefore some users who login will be asked for their email addresses again. Projects are intact and unaffected</div><div>><br>> <b>So what happened?</b><br>> During the scheduled maintenance to upgrade Tasking Manager instance, one of our automated scripts deleted our database. This is not unexpected. But the backup we made before deletion was deleted along with the database. In a nutshell, we lost the production database completely, including automated backups. We however had a separate offline backup that was taken manually yesterday. But we had stripped email addresses from this database backup for privacy reasons. We had to restore email addresses from another offline backup from 10 days ago to fix it. We are now closely monitoring the DB and the application for any problems.</div><div>><br>> <b>What can you expect in the future?</b><br>> We learned many valuable lessons from this including our approach to data backups, performance and stability. All our experiences from the outages of recent past have made us think about how to overhaul our approach to optimize our infrastructure. We will work to implement processes to mitigate performance, deployment and stability problems over the next few weeks.  We are also working on a detailed RCA with technical details of the outage.<br>We understand that this would have caused quite a bit of frustration and we apologize for that. You can expect things to improve in the next few weeks. As always, you can follow us on Twitter  (<a href="https://twitter.com/hotosm_tech">https://twitter.com/hotosm_tech</a>) or Slack for updates in addition to our status page at (<a href="https://status.hotosm.org">https://status.hotosm.org</a>).<br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Nov 13, 2019 at 12:01 PM Jorieke Vyncke <<a href="mailto:jorieke.vyncke@gmail.com">jorieke.vyncke@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi all, <div>Yes, please HOT, can you do everything to keep the TM online and stable today / this week? </div><div>It's GISday today and there are more than 30 mapathons worldwide and 100+ this week for OSMgeoweek. Mapathons are happening in Uganda, Nigeria, Amsterdam, Sydney, Rio, etc.</div><div>At the moment I tell people to go to <a href="http://tasks.teachosm.org" target="_blank">tasks.teachosm.org</a> and MapSwipe, if the HOT TM is not working. </div><div>Best regards, </div><div>Jorieke</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Op wo 13 nov. 2019 om 11:51 schreef Pete Masters via HOT <<a href="mailto:hot@openstreetmap.org" target="_blank">hot@openstreetmap.org</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I'm sure you are all aware, but just in case... this is geo week and there are more than 70 mapathons planned for this week. Maybe updates from the tech team need to be posted across channels on this as it is critical infrastructure for all of these events and people might not be connected to slack / list / facebook etc...</div><div><br></div><div>Cheers,</div><div><br></div><div>Pete<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Nov 13, 2019 at 11:38 AM Micheal Yani <<a href="mailto:michealyani78@gmail.com" target="_blank">michealyani78@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">  Hello Tech team, we  just want to let you know that the tasking manager isn't stable yet, It has has worked for 2 hrs and now is on and off.   <br></div>
_______________________________________________<br>
HOT mailing list<br>
<a href="mailto:HOT@openstreetmap.org" target="_blank">HOT@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/hot" rel="noreferrer" target="_blank">https://lists.openstreetmap.org/listinfo/hot</a><br>
</blockquote></div>
_______________________________________________<br>
HOT mailing list<br>
<a href="mailto:HOT@openstreetmap.org" target="_blank">HOT@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/hot" rel="noreferrer" target="_blank">https://lists.openstreetmap.org/listinfo/hot</a><br>
</blockquote></div>
_______________________________________________<br>
HOT mailing list<br>
<a href="mailto:HOT@openstreetmap.org" target="_blank">HOT@openstreetmap.org</a><br>
<a href="https://lists.openstreetmap.org/listinfo/hot" rel="noreferrer" target="_blank">https://lists.openstreetmap.org/listinfo/hot</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr" style="color:rgb(136,136,136)"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><font color="#666666"><b>Felix Delattre<br></b></font></div><div><font color="#666666">Technical Project Manager<br></font></div><div><font color="#666666"><a href="mailto:felix.delattre@hotosm.org" target="_blank">felix.delattre<font color="#1155cc">@hotosm.org</font></a></font></div><div><br></div><div>--</div><div><div style="font-size:12.8px;font-family:arial,sans-serif"><b style="font-size:12.8px"><font color="#cc0000">Humanitarian OpenStreetMap Team</font></b><br></div><div style="font-size:12.8px;font-family:arial,sans-serif"><b><font size="1" color="#666666">Using OpenStreetMap for Humanitarian Response & Economic Development</font></b></div><div style="font-size:12.8px;font-family:arial,sans-serif"><a href="http://hotosm.org/" style="color:rgb(17,85,204);font-size:x-small" target="_blank">web</a><span style="font-size:x-small"> | </span><a href="https://twitter.com/hotosm" style="color:rgb(17,85,204);font-size:x-small" target="_blank">twitter</a><span style="font-size:x-small"> | </span><a href="https://www.facebook.com/hotosm" style="color:rgb(17,85,204);font-size:x-small" target="_blank">facebook</a><span style="font-size:x-small"> | </span><a href="https://donate.hotosm.org/" style="color:rgb(17,85,204);font-size:x-small" target="_blank">donate</a></div></div></div></div></div></div></div></div></div></div>