<div dir="ltr">Not yet, but it's a feature we will probably want to implement. I should file a bug.<div><br></div><div>Done: <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1201653">https://bugzilla.mozilla.org/show_bug.cgi?id=1201653</a></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 3, 2015 at 2:47 PM, Axel Hecht <span dir="ltr"><<a href="mailto:l10n@mozilla.com" target="_blank">l10n@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Can testers self-select which part of the experiment they're seeing?<br>
<br>
I'm thinking about l10n testers in particular, but also in general.<span class="HOEnZb"><font color="#888888"><br>
<br>
Axel</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
On 9/3/15 8:16 PM, Mark Finkle wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
We have decided to start running A/B Testing [1] in Firefox for Android.<br>
These experiments are intended to optimize specific outcomes, as well as,<br>
inform our long-term design decisions. We want to create the best Firefox<br>
experience we can, and these experiments will help.<br>
<br>
The system will also allow us to throttle the release of features, called<br>
staged rollout, so we can monitor new features in a controlled manner<br>
across a large userbase and a fragmented device ecosystem. If we need to<br>
rollback a feature for some reason, we'd have the ability to do that.<br>
<br>
Technical details:<br>
* Switchboard is used to control experiment segmenting and staged rollout.<br>
* Telemetry is used to collect metrics about an experiment.<br>
* FHR is used to track active experiments so we can correlate to<br>
application usage.<br>
<br>
== What is Switchboard? ==<br>
<br>
Switchboard is an open source SDK for doing A/B testing and staged rollouts<br>
[2][3]. It connects to a server component, which maintains a list of active<br>
experiments.<br>
<br>
The SDK does create a UUID, which is stored on the device. The UUID is sent<br>
to the server, which uses it to "bucket" the client, but the UUID is never<br>
stored on the server. In fact, the server does not store any data. The<br>
server we are using is being hosted by Mozilla.<br>
<br>
We decided to start using Switchboard because it's simple, open source,<br>
saves no data and can be hosted by Mozilla. Thanks to the KeepSafe folks<br>
for releasing Switchboard.<br>
<br>
== Planning Experiments ==<br>
<br>
The Mobile Product and UX teams are the primary drivers for creating<br>
experiments, but as is common on the Mobile team, ideas can come from<br>
anywhere. We have been working with the Mozilla Growth team, getting a<br>
better understanding of how to design the experiments and analyze the<br>
metrics. UX researchers will also have input into the experiments.<br>
<br>
Once Product and UX complete the experiment design, Development would land<br>
code in Firefox to implement the desired variations of the experiment.<br>
Development would also land code in the Switchboard server to control the<br>
configuration of the experiment: Is it active? How are the variations<br>
distributed across the user population?<br>
<br>
Since we use Telemetry to collect metrics on the experiments, the Beta<br>
channel is likely our best time period to run experiments. Telemetry is on<br>
by default on Nightly, Aurora and Beta; and Beta is the largest userbase of<br>
those three channels.<br>
<br>
Once we decide which variation of the experiment is the "winner", we'll<br>
change the Switchboard server configuration for the experiment so that 100%<br>
of the userbase will flow through the winning variation.<br>
<br>
Yes, a small percentage of the Release channel has Telemetry enabled, but<br>
it might be too small to be useful for experimentation. Time will tell.<br>
<br>
Note: Switchboard itself will be enabled on all channels. It collects no<br>
data and gives us a "code-free" way of staging rollouts. It much less risky<br>
and time consuming than uplifting patches that need to land on branches at<br>
specific times.<br>
<br>
== What's Happening Now? ==<br>
<br>
Switchboard has already landed in Nightly [4] and is currently behind a<br>
Nightly build flag. Once we feel comfortable, we'll let it ride the trains.<br>
Our first experiment will likely be testing a new onboarding experience [5].<br>
<br>
[1] <a href="https://en.wikipedia.org/wiki/A/B_testing" rel="noreferrer" target="_blank">https://en.wikipedia.org/wiki/A/B_testing</a><br>
[2] <a href="https://github.com/KeepSafe/Switchboard" rel="noreferrer" target="_blank">https://github.com/KeepSafe/Switchboard</a><br>
[3]<br>
<a href="http://keepsafe-engineering.tumblr.com/post/28437940369/easy-mobile-ab-testing" rel="noreferrer" target="_blank">http://keepsafe-engineering.tumblr.com/post/28437940369/easy-mobile-ab-testing</a><br>
[4] <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1196897" rel="noreferrer" target="_blank">https://bugzilla.mozilla.org/show_bug.cgi?id=1196897</a><br>
[5] <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1199859" rel="noreferrer" target="_blank">https://bugzilla.mozilla.org/show_bug.cgi?id=1199859</a><br>
<br>
</blockquote>
<br>
</div></div></blockquote></div><br></div>