<div dir="ltr"><div>Thanks Brian! Knowing which tests to scrutinize is a common hang-up for engineers attempting to evaluate the performance impact of their work. It's great to preserve this kind of hard-learned knowledge in-tree, and I'd encourage others to add similar presets for their areas of expertise.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 23, 2019 at 3:29 PM Brian Grinstead <<a href="mailto:bgrinstead@mozilla.com">bgrinstead@mozilla.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">While working on changes that primarily affect the browser chrome, it can be overkill to run the entirety of our perf test suites. Based on experience from testing performance for projects like XBL replacement and browser.xhtml I’ve created a new preset (in Bug 1546471) to target just the tests most likely to be affected by this type of patch. This helps conserve infrastructure resources and gives a faster turnaround time for results.<br>
<br>
It can be run with:<br>
`./mach try --preset perf-chrome`<br>
<br>
Here’s my typical workflow for doing comparisons, which works with both artifact and non-artifact builds (although both pushes should use the same "artifactiness"):<br>
1) With no commits applied, do: `./mach try --preset perf-chrome`<br>
2) Apply commits and do:  `./mach try --preset perf-chrome`<br>
3) Take the revs from (1) and (2), and either enter them into <a href="https://treeherder.mozilla.org/perf.html#/comparechooser" rel="noreferrer" target="_blank">https://treeherder.mozilla.org/perf.html#/comparechooser</a> or plug them directly into a URL like: <a href="https://treeherder.mozilla.org/perf.html#/compare?originalProject=try&originalRevision=1050d882a0eb4c1ba90d4ca278e9917c3ca995b2&newProject=try&newRevision=d491837c3204fbe90b329f7d3ecdf1fe2bf6f219&showOnlyImportant=1" rel="noreferrer" target="_blank">https://treeherder.mozilla.org/perf.html#/compare?originalProject=try&originalRevision=1050d882a0eb4c1ba90d4ca278e9917c3ca995b2&newProject=try&newRevision=d491837c3204fbe90b329f7d3ecdf1fe2bf6f219&showOnlyImportant=1</a>.<br>
<br>
Brian<br>
_______________________________________________<br>
firefox-dev mailing list<br>
<a href="mailto:firefox-dev@mozilla.org" target="_blank">firefox-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/listinfo/firefox-dev</a><br>
</blockquote></div>