<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">I can clarify this one, Jenn!<div class=""><br class=""></div><div class="">Hi Ritu, </div><div class=""><br class=""></div><div class="">We will be preffing AS ON for 100% of the population in release 57 Desktop by default.  100% rollout.</div><div class=""><br class=""></div><div class="">We will run two studies, starting immediately after release:</div><div class=""><br class=""></div><div class=""><div class="">1)  1% Global Fx Desktop ALL USERS pref off AS to study general affect of AS on overall retention</div><div class="">2)  1% Global NEW USERS pref off AS to study how AS affects new user retention</div></div><div class=""><br class=""></div><div class="">cheers,</div><div class="">tim</div><div class=""><br class=""></div><div class=""><div><blockquote type="cite" class=""><div class="">On Nov 7, 2017, at 2:40 PM, Ritu Kothari <<a href="mailto:rkothari@mozilla.com" class="">rkothari@mozilla.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><br class=""><div class="gmail_extra"><br class=""><div class="gmail_quote">On Tue, Nov 7, 2017 at 6:03 AM, Jenn Chaulk <span dir="ltr" class=""><<a href="mailto:jchaulk@mozilla.com" target="_blank" class="">jchaulk@mozilla.com</a>></span> wrote:<br class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class="">Hello,<br class=""><br class=""></div>Since the last update on October 26th, the Activity Stream team has been working to finalize a solid contingency plan for FX57, and also analyzing (with the help of other experts across the org) the data available from past studies, as well as the 57 Beta Shield Study on Activity Stream Retention that is currently in flight.  <br class=""><br class=""></div>Yesterday the confirmed details of that contingency plan, as well as the findings from the above mentioned data gathering and analysis were presented to management for review.  The presentation can be reviewed here -  <a href="https://docs.google.com/presentation/d/1ynPPRRtwALM8zbNxZRTAyoFFFt2UvBZfd_ANVLCEYuc/edit#slide=id.p" target="_blank" class="">Activity Stream: 57 Go/No-Go Decision</a>.<br class=""><br class=""></div><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""></div>In
summary, we had previously seen evidence in 56 Release indicating a drop 
in retention for Activity Stream users vs the legacy new tab experience.  Further analysis of the 56 data has suggested that these results are actually coming from missing data in the experiment 
dataset, rather than from an actual drop in retention.  (<b class="">Note </b>- the cause of this missing data is still unclear.) Also, we were unable to reproduce such a retention drop while running a similar study in 57 Beta, indicating that Activity Stream does not actually have any negative impact on user retention in FX57.<br class=""><br class=""></div>Upon conclusion of the presentation the recommendation from management was to proceed as follows:<br class=""></div></div></div></div></div></div><ul class=""><li class=""><b class="">Proceed as per original plan: Activity Stream will be rolled out to 99% of the FX57 population upon release.  A 1% control group will remain on the legacy experience.</b></li></ul></div></div></div></div></div></div></blockquote><div class="">Thanks for your email Jenn. In the past, when we've had a GO decision on features and it is a pref controlled feature, we typically go live with the pref turned ON from the moment we launch i.e. 100% rollout. In this case, are we planning to go-live with the pref for AS set to ON and planning to run a SHIELD study that turns AS off for 1% of release population?</div><div class=""><br class=""></div><div class=""></div><div class="">Thanks,</div><div class="">Ritu<br class=""></div><div class=""> <br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class=""><div class=""><div class=""><div class=""><div class=""><div class="">The team will continue to meet regularly and review early data from release, to monitor for any issues or abnormalities.  If any major issues do occur the team may adjust the release parameters for FX57 (i.e., pull back to a smaller population percentage) as the situation dictates.</div></div></div><br class=""></div>Best Regards,<br class=""></div>Jenn<span class="HOEnZb"><font color="#888888" class=""><br clear="all" class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><div class=""><br class="">-- <br class=""><div class="m_-3894516843988501108m_2056738483097333047gmail_signature"><div dir="ltr" class=""><br class="">Jennifer A. Chaulk - PMP<br class="">Engineering Program Manager<br class="">Mozilla Corporation<br class="">Work: <a href="tel:(416)%20848-3114" value="+14168483114" target="_blank" class="">1.416.848.3114 x 3029</a><br class="">Mobile: <a href="tel:(519)%20277-0365" value="+15192770365" target="_blank" class="">519.277.0365</a><br class="">Email: <a href="mailto:jchaulk@mozilla.com" target="_blank" class="">jchaulk@mozilla.com</a><br class="">IRC: jchaulk<br class=""></div></div>
</div></div></div></div></div></div></div></div></div></div></div></div></font></span></div><span class="HOEnZb"><font color="#888888" class=""><div class=""><br class="webkit-block-placeholder"></div>

-- <br class="">
You received this message because you are subscribed to the Google Groups "epm-status" group.<br class="">
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:epm-status+unsubscribe@mozilla.com" target="_blank" class="">epm-status+unsubscribe@<wbr class="">mozilla.com</a>.<br class="">
To post to this group, send email to <a href="mailto:epm-status@mozilla.com" target="_blank" class="">epm-status@mozilla.com</a>.<br class="">
To view this discussion on the web visit <a href="https://groups.google.com/a/mozilla.com/d/msgid/epm-status/CAOxuPHExAVpnGKXfbNWrRJdMGoJe6CUYiev04tB8Bcp8Lv%3DSrw%40mail.gmail.com?utm_medium=email&utm_source=footer" target="_blank" class="">https://groups.google.com/a/<wbr class="">mozilla.com/d/msgid/epm-<wbr class="">status/<wbr class="">CAOxuPHExAVpnGKXfbNWrRJdMGoJe6<wbr class="">CUYiev04tB8Bcp8Lv%3DSrw%<wbr class="">40mail.gmail.com</a>.<br class="">
</font></span></blockquote></div><br class=""></div></div><div class=""><br class="webkit-block-placeholder"></div>

-- <br class="">
You received this message because you are subscribed to the Google Groups "Activity Stream Team" group.<br class="">
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:activity-stream+unsubscribe@mozilla.com" class="">activity-stream+unsubscribe@mozilla.com</a>.<br class="">
To post to this group, send email to <a href="mailto:activity-stream@mozilla.com" class="">activity-stream@mozilla.com</a>.<br class="">
To view this discussion on the web visit <a href="https://groups.google.com/a/mozilla.com/d/msgid/activity-stream/CAERYvbY7%2B20S9VZkoWZq4GNep4nh4sMVr4B5zJ0ddvEX-CM6Rw%40mail.gmail.com?utm_medium=email&utm_source=footer" class="">https://groups.google.com/a/mozilla.com/d/msgid/activity-stream/CAERYvbY7%2B20S9VZkoWZq4GNep4nh4sMVr4B5zJ0ddvEX-CM6Rw%40mail.gmail.com</a>.<br class="">
</div></blockquote></div><br class=""></div></body></html>