<div dir="ltr">Hi all,<br><br>tldr: we have a new perf test tool, let me know if you would be interested in adding <br>performance tests with it in your components. Once a performance test is added in the <br>tree, it can be used locally or on try by anyone, or in the CI in coordination with the perf team.<br><br>We've been working for a while on `mach perftest` [1] a test runner specialized<br>in running performance tests, to collect metrics and eventually analyze them <br>in perfherder to catch performance regressions. It's already used in a numbers of tests for <br>measuring page loads, user journeys, startup times, and other lower level things. <br><br>perftest is basically a wrapper around other tests runners, and tries to provide<br>a single entry point for developers that want to run performance tests<br>of all kinds.<br><br>It currently supports:<br><br>- browsertime [2], an excellent Selenium based tool that can be used to run perf tests against <br>  most flavors of Firefox and Chrome. <br><div>- xpcshell - yes, pick any xpcshell script we have, add a few metadata and metrics, and you have a perftest. <br></div><div>  See for instance this http3 test: <a href="https://searchfox.org/mozilla-central/source/netwerk/test/unit/test_http3_perf.js">https://searchfox.org/mozilla-central/source/netwerk/test/unit/test_http3_perf.js</a></div>- we would be happy to support more runners (anything that can be executed from the shell is eligible)<br><br>perf tests can be added anywhere in the tree and can be executed locally and on try <br>via the --push-to-try option. If a perf test is looking like a good candidate for running on every<br><div>commit on m-c  (or once /  day) and provide graphs in perfherder, the perf team can decide to integrate <br></div><div>it in the list of tests we run that way.</div><br>If you are interested in adding one, whether it's a selenium-based script with a full browser,<br>or an xpcshell script, I'd be more than happy to guide you to build it. <br><br><div>Perftest runs locally on windows/linux/macOs/android devices and in the CI on the same desktop <br></div><div>platforms + g5 and pixel2 phones on bitbar.</div><br>Notice that this tool is successfully used daily by our team, but is still young, so I expect people<br>to have a few bugs here and there, related to new execution environments. <br><br>=> let me know if you would be interested in adding performance tests with it in your components !<br><br>Cheers<br>Tarek @ perfteam<br><br>[1] <a href="https://firefox-source-docs.mozilla.org/testing/perfdocs/mozperftest.html">https://firefox-source-docs.mozilla.org/testing/perfdocs/mozperftest.html</a><br>[2]  <a href="https://www.sitespeed.io/documentation/browsertime/">https://www.sitespeed.io/documentation/browsertime/</a></div>