<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jun 14, 2017 at 1:58 AM, Carsten Book <span dir="ltr"><<a href="mailto:cbook@mozilla.com" target="_blank">cbook@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi,</div><div><br></div><div>we had the case that a new testsuite was enabled and one test of that suite resulted in a new perma orange failure. Its a tier-2 testsuite but of course also tier 2 cause additional work for sheriffs.</div><div><br></div><div>The Problem on new Testsuite is that Sheriffs are in a lot of cases not informed about that new testsuite (so we need to find out who to contact etc) and also it affects Developers because they might be confused why their try run is showing a orange result they don't even know of (and waste time in finding out if that test is red/orange because of their change).</div><div><br></div><div>So i propose:</div><div><br></div><div>People should email with an intent to implement when adding a new platform/suite, and that email should contain links to docs/wiki/... and the persons (in a super optimal case more than one just for timezone coverage if sheriffs have question) we can contact in case of questions.</div><div><br></div><div>this would benefit in :</div><div><br></div><div>1) sheriffs will know who to speak to if it's failing or needs to be hidden - so we can assign bugs or even ping people directly on irc<br></div><div>2) developers know what this new test is when they break it on their try push and so save time and resources if the failure is known and sheriffs or others can point to a bug/newsgroup mail <br></div><div>3) discussions can be had about any overlap the new tests have with other suites or say deciding what platforms it should run on etc</div><div><br></div><div>I guess this would help Sheriffs and Developers. I initially was thinking about about a changelog on treeherder for such changes but that have the disadvantage that this would not include all the information we need to contact someone etc <br></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div><div>I hope that this proposal make sense.</div></div></blockquote></div></div><div class="gmail_extra"><br></div><div class="gmail_extra">There are requirements for the tiers already laid out that have not been linked in this thread:<br><div class="gmail_quote"><br></div><div class="gmail_quote"><a href="https://wiki.mozilla.org/Sheriffing/Job_Visibility_Policy">https://wiki.mozilla.org/Sheriffing/Job_Visibility_Policy</a></div><div class="gmail_quote"><br></div><div class="gmail_quote">I found the requirements clear but onerous.<br></div><div class="gmail_quote"><br></div><div class="gmail_quote">I am actively pushing a set of testsuites across the tier 2 to tier 1 boundary as we speak (for those interested in what's involved, see [1]).  I was planning to get a sheriff's review of all the various pieces (documentation, failure messages, etc) by flagging an individual sheriff, but it would be better to have an intent-to-change-tier email for broader discussion.</div><div class="gmail_quote"><br></div><div class="gmail_quote">Nick<br></div><div class="gmail_quote"><br></div><div class="gmail_quote">[1] <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1372075">https://bugzilla.mozilla.org/show_bug.cgi?id=1372075</a> and especially <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1370539#c3">https://bugzilla.mozilla.org/show_bug.cgi?id=1370539#c3</a><br></div></div></div>