<div dir="ltr">Maybe I misunderstood. I was asking if you had a summary of findings relative to Firefox as it ships today. That is, when Activity Stream ships in Release, what kinds of improvements in user retention/engagement are we expecting to see from that?<br><div><div><div class="gmail_extra"><br></div><div class="gmail_extra">Justin<br><br></div><div class="gmail_extra"><div class="gmail_quote">On Mon, Feb 13, 2017 at 6:10 PM, Tim Spurway <span dir="ltr"><<a href="mailto:tspurway@mozilla.com" target="_blank">tspurway@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">Hey Justin,<div><br></div><div>We have done a bunch of experiments (10 to date) that A/B test single features we are trying to introduce.  Here is an example of one of them that we are running right now:</div><div><br></div><div><a href="https://sql.telemetry.mozilla.org/dashboard/activity-stream-a-b-testing-deduped-combined-frecency" target="_blank">https://sql.telemetry.mozilla.<wbr>org/dashboard/activity-stream-<wbr>a-b-testing-deduped-combined-<wbr>frecency</a></div><div><br></div><div>We are trying to figure out how to get better engagement on our “top sites” (frecent) tiles.  We tried a tweak to the algorithm to better ‘de-dupe’ the top site results.   The experiment is showing better positive engagement, so we have decided to run with the new ‘de-duped’ algorithm.  <br><div><br></div><div>If you look at the 'Dashboards > Activity Stream A/B Testing' menu in re:dash, you can see all of the dashboards for our experiments.  I am the first to admit that our experiment documentation is a bit lacking, and it’s something we are working on improving this quarter as our results are being analyzed outside of our immediate product dev circle.</div><div><div class="h5"><div><br></div><div><br><div><blockquote type="cite"><div>On Feb 13, 2017, at 6:08 PM, Justin Dolske <<a href="mailto:dolske@mozilla.com" target="_blank">dolske@mozilla.com</a>> wrote:</div><br class="m_3092161644506299170Apple-interchange-newline"><div><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Feb 13, 2017 at 6:57 AM, Tim Spurway <span dir="ltr"><<a href="mailto:tspurway@mozilla.com" target="_blank">tspurway@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">[...]<br>
Activity Stream has been developed using a series of A/B test based experiments, both on an opt-in Test Pilot and an opt-out production Shield audience.  Our methodology is to continue optimizing the user experience along the user engagement and user retention dimensions.  The <a>about:newtab</a> and <a>about:home</a> pages that land in Firefox will be measurably more engaging than the existing experience.<br>
<br></blockquote><div><br></div><div>Because I'm curious but haven't been paying attention: is there anything that summarizes the findings so far? (e.g. an X% increase in new user retention, Y% increase in Firefox usage hours, or whatever?)<br><br></div><div>Justin <br></div></div><br></div></div>
</div></blockquote></div><br></div></div></div></div></div></blockquote></div><br></div></div></div></div>