<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Jun 23, 2017 at 4:19 AM, Chris Peterson <span dir="ltr"><<a href="mailto:cpeterson@mozilla.com" target="_blank">cpeterson@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div bgcolor="#FFFFFF"><span class="gmail-">
    <br>
    <br>
    <div class="gmail-m_-5027831994878384003moz-cite-prefix">On 6/23/17 12:17 AM, Ehsan Akhgari
      wrote:<br>
    </div>
    <blockquote type="cite">
      <p>But to speak of a more direct measurement of performance, let's
        look at our progress on <a href="https://github.com/WebKit/webkit/tree/master/PerformanceTests/Speedometer" target="_blank">Speedometer V2</a>.  Today, I measured
        our progress so far on this benchmark by comparing Firefox 53,
        54, 55.0b3 (latest beta as of this writing) and the latest
        Nightly, all x64 builds, on the <a href="https://www.amazon.com/dp/B01K1IO3QW" target="_blank">reference hardware</a>.  This is the
        result (numbers are the reported benchmark score, higher is
        better):</p>
      <p><img class="gmail-m_-5027831994878384003gmail-size-medium" src="https://i.imgur.com/roAO6RS.png" alt="Speedometer
          improvements" style="margin-right: 0px;" width="496" height="336"></p>
    </blockquote>
    <br></span>
    How do these Speedometer V2 scores map to the results on AWFY? AWFY
    shows many Speedometer sub-tests, but no score in the range of
    70.21. AWFY machine #36 is the reference hardware.<br>
    <br>
<a class="gmail-m_-5027831994878384003moz-txt-link-freetext" href="https://arewefastyet.com/#machine=36&view=breakdown&suite=speedometer-misc" target="_blank">https://arewefastyet.com/#<wbr>machine=36&view=breakdown&<wbr>suite=speedometer-misc</a><br>
  </div>

</blockquote></div><br></div><div class="gmail_extra">Armen has been investigating the difference.  The Speedometer benchmark is extremely sensitive to anything else that is going on on the machine at the time you are running the tests, see for example <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1373396#c3">https://bugzilla.mozilla.org/show_bug.cgi?id=1373396#c3</a> where he discovered that turning off the "Shut off display after 15 minutes" setting improves our benchmark score by about 10 points or so!  I think there are other investigations ongoing to dig into the remaining difference as well.</div><div class="gmail_extra"><br></div><div class="gmail_extra">(Also note that there is a speed difference on Speedometer between Nightly and Beta, where Nightly with the same code will be a bit slower than Beta since some Nightly specific features do show up in Speedometer profiles currently, for example things like bug 1375568 are currently Nightly only, and there are also debugging checks like <<a href="https://searchfox.org/mozilla-central/rev/3291398f10dcbe192fb52e74974b172616c018aa/ipc/chromium/src/base/pickle.h#26">https://searchfox.org/mozilla-central/rev/3291398f10dcbe192fb52e74974b172616c018aa/ipc/chromium/src/base/pickle.h#26</a>> that show up a bit in profiles as well.  I think that explains why 55.0b3 is scoring so high comparing to 56.0a1 there.)<br clear="all"></div><div class="gmail_extra"><br></div><div class="gmail_extra">Cheers,<br></div><div class="gmail_extra">-- <br><div class="gmail_signature"><div dir="ltr">Ehsan<br></div></div>
</div></div>