<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Years ago mstange created some <a href="https://github.com/mstange/analyze-tryserver-profiles">scripts to create a "comparison" profile</a> (see <code>create_comparison_profile.py)</code> which I've used successfully. I believe I saw Markus say that it broke with changes to our tooling so we lost that ability along the way. I also think it would be great if that could be properly supported as it really helps to show what actually changed performance-wise.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Matthew<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jul 7, 2017 at 2:31 PM, Brian Grinstead <span dir="ltr"><<a href="mailto:bgrinstead@mozilla.com" target="_blank">bgrinstead@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
> On Jul 7, 2017, at 8:47 AM, Mike Conley <<a href="mailto:mconley@mozilla.com">mconley@mozilla.com</a>> wrote:<br>
</span><span class="">> If we can get before and after profiles, assuming the regression has a<br>
> high enough signal in the profiles and appears semi-deterministically,<br>
> is to have some method of taking a difference between the before and<br>
> after profiles to show you the new or changed samples in the regressor,<br>
> compared to the baseline.<br>
<br>
</span>That would be a great feature. I think it’s very hard to usefully visualize differences for two arbitrary profiles, but if the two profiles are similar enough and we could take advantage of user timings maybe we could make something that’d work. There’s an issue on file for perf.html to extract an API for analyzing profiles at <a href="https://github.com/devtools-html/perf.html/issues/416" rel="noreferrer" target="_blank">https://github.com/devtools-<wbr>html/perf.html/issues/416</a> - so something could be tailored for talos on top of that.<br>
<div class="HOEnZb"><div class="h5">______________________________<wbr>_________________<br>
firefox-dev mailing list<br>
<a href="mailto:firefox-dev@mozilla.org">firefox-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/<wbr>listinfo/firefox-dev</a><br>
</div></div></blockquote></div><br></div>