<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Hello,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">There have been many improvements to <a href="https://developer.mozilla.org/en-US/docs/Mozilla/QA/Browser_screenshots">mozscreenshots</a> in the last few months, many of which reduce friction, so I thought I would share. For those who don't know, mozscreenshots is a tool to capture the browser UI for regression testing and visual verification across operating systems and isn't related to <a href="https://screenshots.firefox.com/">Firefox Screenshots</a>.<br></div><ul><li>You no longer need to specify an environment variable for try pushes, by default all the same images as a mozilla-central push will be captured. This means that most users of the tool will no longer need to lookup --setenv/--env syntax for the MOZSCREENSHOTS_SETS environment variable but you can still override what is captured with it if you'd like to capture something non-standard.<br></li><li>The job has been <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1411825">renamed from mochitest-browser-screenshots-e10s to browser-screenshots-e10s</a> so that it doesn't run by default with `-u mochitests` try syntax. It also doesn't run anymore for `-u all`.<br></li><li>There is a new BMO Component for bugs related to the code in mozilla-central: <a href="https://bugzilla.mozilla.org/buglist.cgi?product=Testing&component=mozscreenshots&resolution=---&list_id=13673265">Testing::mozscreenshots</a><br></li><li>Image downloads from automation are 40x faster[1] which means comparisons between m-c and try will be much faster. There was a slowdown after the switch to TaskCluster which has now been mitigated by doing downloads in parallel.<br></li><li>The <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1411811">old "M(ss)" buildbot jobs have been removed</a> (awaiting to be deployed) which will reduce confusion about which jobs to schedule with the "Add New Jobs" TreeHerder UI.<br></li><li>For many months alerts on m-c changes are sent to the <a class="external external-icon" href="https://www.mozilla.org/en-US/about/forums/#dev-ui-alerts">mozilla.dev.ui-alerts</a> list. The alerts aren't ready to be relied upon due to flakiness (often related to gfx glitches or race conditions) and because it doesn't alert when an ss job fails in automation for an infra issue. Thank you to Johann Hofmann for doing the bulk of the work triaging alerts.<br></li><li>The <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1329262">primaryUI combinations now include the newer dark and light themes</a> that were originally added for developer edition. This should help catch regressions on m-c specific to this non-default mode. This needed to wait until the ss jobs moved fully to TaskCluster due to buildbot DB column size limits.<br></li></ul><div>Two other notes<br></div><ul><li>Many months ago comparisons on m-c moved from only Nightlies to every m-c push in order to help narrow down regression ranges and decrease the time for alerts.<br></li><li>Students from Michigan State University, mentored by Jared Wein and Mike Conley, are currently working on other improvements that they'll be sharing more about in the coming weeks. I'm looking forward to the improvements!</li></ul><div>I've updated the <a href="https://developer.mozilla.org/en-US/docs/Mozilla/QA/Browser_screenshots">MDN documentation page</a> to reflect these changes. That page has a links to a lot of related resources. Let me know if you have any questions.</div><div><br></div><div>Thanks,<br>Matthew N. (:MattN)<br></div><div><br></div><div>[1] From over two minutes to about 6 seconds for one platform.<br></div></div></div>