<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">good question, jared.<div class=""><br class=""></div><div class="">The bars are for a weekly resolution and they don’t change much from week to week.  I was comparing the data from the most recent week.  </div><div class=""><br class=""></div><div class="">These two graphs compare AS on <a href="about:home" class="">about:home</a> vs. AS on <a href="about:newtab" class="">about:newtab</a> in 57.</div><div class=""><br class=""></div><div class="">We were a bit surprised that we see such a difference between these surfaces.  Maybe the differences are enough to actually differentiate the UX on these two different Firefox pages.  It’s definitely worth running more experiments.</div><div class=""><br class=""></div><div class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Dec 5, 2017, at 4:18 PM, Jared Wein <<a href="mailto:jaws@mozilla.com" class="">jaws@mozilla.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><div class="">Wow, that video shows great improvement! Nice job!</div><div class=""><br class=""></div><div class="">As to the engagement gains, what numbers are you comparing? For example, "Highlights (from 1.6% to 2.6%, a +62% gain)". The charts start on November 12 and Quantum was released on November 14th. Are these engagement gains seen between v57 and v58 users?<br class=""></div><div class=""><br class=""></div><div class="">Thanks,<br class=""></div><div class="">Jared<br class=""></div><div class="gmail_extra"><br class=""><div class="gmail_quote">On Tue, Dec 5, 2017 at 3:52 PM, Tim Spurway <span dir="ltr" class=""><<a href="mailto:tspurway@mozilla.com" target="_blank" class="">tspurway@mozilla.com</a>></span> wrote:<br class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; display: inline; float: none;" class="">Hey Folks,</span><div class="gmail_quote"><div dir="ltr" class=""><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">Activity Stream was released as the default<span class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-converted-space"> </span><a class="">about:newtab</a> and<span class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-converted-space"> </span><a class="">about<wbr class="">:home</a> experience for Firefox Quantum just about three weeks ago.  The team is proud to report that Activity Stream is performing well in release!</div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">Here’s a cool graph from the <a href="https://sql.telemetry.mozilla.org/dashboard/activity-stream-system-addon-metrics-summary_1?p_channel=release&p_granularity=week" target="_blank" class="">Activity Stream main dashboard</a>:</div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><span id="cid:ii_160277e42dcf0f70"><image.png></span></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">This is the engagement rates of the various Activity Stream sections/components for both<span class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-converted-space"> </span><a class="">about:home</a> and<span class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-converted-space"> </span><a class="">about:newt<wbr class="">ab</a>.  Note that Activity Stream is an almost identical experience on both pages.  The first thing you notice about this data is that people are using the Home and Newtab pages very differently  -  more people interact with Activity Stream on <a class="">about:home</a> (49%) than on<span class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-converted-space"> </span><a class="">about:newtab</a> (34%).  </div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">The engagement gains on<span class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-converted-space"> </span><a class="">about:home</a> appear to be spread across the board:  Top Sites (from 20% to 28%, a +40% gain), Search (from 11% to 17%, a +37% gain), Highlights (from 1.6% to 2.6%, a +62% gain) and Pocket (from 0.13% to 0.34%, a 161% gain).  The explanation for this difference could be that people use the Newtab page mostly to go somewhere they already have in mind, whereas they use the Home page  to discover new things or to go to places they have been to before.  </div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">This is just one of the insights we have gained since launch.  We are using results like this to help improve the browsing experience for our users.</div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><b class=""><u class="">Performance / Perceived Performance</u></b></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><b class=""><u class=""><br class=""></u></b></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">In the lead up to Firefox Quantum, we worked closely with the Quantum Flow team to understand what role Activity Stream played in <a href="https://health.graphics/quantum" target="_blank" class="">core performance targets</a>.  We were eager to make sure we weren’t regressing any existing metrics and focused hard on the specific case of <a href="https://github.com/mozilla/activity-stream/issues?utf8=%E2%9C%93&q=label:Startup+" target="_blank" class="">improving/optimizing browser startup</a>.  </div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">In the 58 cycle, we have had a lot of conversations with Dominik and Florian about the study of the ‘perceived’ performance of systems like Activity Stream.  We identified the key events in the starting of Activity Stream and set to work improving the important browser start-up metric.  We found video A/B comparison tools to be invaluable for this work.</div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class="">The link below is a video comparing Browser Startup of Firefox 57 and 58.  Note that to focus on just looking at Activity Stream, we do not include the entire startup sequence of the browser.  We have synchronized the two videos to start at the ‘first paint’ event of the overall Firefox startup sequence.</div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><a href="https://drive.google.com/a/mozilla.com/file/d/1-ZyNfr9ib82s_1gMLUOYFCe6WSmU-ot8/view?usp=sharing" target="_blank" class=""><span id="cid:ii_16027828ddd66118"><image.png></span><br class=""></a></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><div style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;" class=""><br class=""></div><br class="m_-8416161355936002691m_-4288110892479051281m_2415390821703924216gmail-Apple-interchange-newline"></div>
</div><div class="">That's pretty cool.  Notice how we 'get something on screen' early, which is a big perceived win, but also crushes the overall perf numbers from the previous version.  <br class=""></div><div class=""><br class=""></div><div class="">We are going to keep this work up.  Our #1 priority over the next few releases is improved performance and stability.</div><div class=""><br class=""></div><div class="">cheers,</div><div class="">tim<br class=""></div></div>
<br class="">______________________________<wbr class="">_________________<br class="">
firefox-dev mailing list<br class="">
<a href="mailto:firefox-dev@mozilla.org" target="_blank" class="">firefox-dev@mozilla.org</a><br class="">
<a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank" class="">https://mail.mozilla.org/listi<wbr class="">nfo/firefox-dev</a><br class="">
<br class=""></blockquote></div><br class=""></div></div>
</div></blockquote></div><br class=""></div></body></html>