<div dir="ltr">I like this Ryan!<br><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 31, 2015 at 10:53 AM, Ryan Feeley <span dir="ltr"><<a href="mailto:rfeeley@mozilla.com" target="_blank">rfeeley@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div>Hi team: Here are some ideas for success metrics. I would love to get feedback on the ideas and then turn them into actionable bugs and eventually a dashboard. What can we know?</div><div><b><br></b></div><div><b>Happiness</b><i> – Measures of user attitudes, often collected via survey. For example: satisfaction, perceived ease of use, and net-promoter score.</i></div><div><div><ul><li>We want users to only remove the logins they intend to remove.</li><ul><li>They don’t add a login back right after they remove it. Don't click Undo.</li></ul><li>We want users to be less frustrated by duplicate passwords.</li><ul><li>Users have fewer duplicate entries for sites.</li></ul></ul></div></div></div></blockquote><div>This could be generalized to "We want users to be less frustrated by stuff they don't expect in their saved logins". This could be duplicate entries, missing usernames, wrong usernames, etc.<br></div><div><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><div><b>Engagemen</b><b>t</b> – <i>Level of user involvement, typically measured via behavioral proxies such as frequency, intensity, or depth of interaction over some time period. Examples might include the number of visits per user per week or the number of photos uploaded per user per day.</i></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><div><ul><li>Showing the key icon more often as a door hanger icon means users will manage their logins more.</li><ul><li>Counts of clicking on key icon, viewing passwords, editing passwords, copying usernames and passwords</li></ul><li>Showing a link to the Saved Logins at the bottom of the auto-complete login will lead to increased engagement.</li><ul><li>Clicking on Saved Passwords row, viewing passwords, editing passwords, copying usernames and passwords</li></ul><li>Showing the key icon when on a login form means users will be able to access needed credentials.</li><ul><li>Clicking on the blue key icon, retrieve saved logins, click copy username/password, and use login button</li></ul></ul></div></div></div></blockquote><div>What about basic fills and successful captures?<br></div><div><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><b>Adoption </b>– <i>New users of a product or feature. For example: the number of accounts created in the last seven days or the percentage of Gmail users who use labels.</i></div><div><div><ul><li>We want people to sense that our password manager is secure and trustworthy.</li><ul><li>Users don’t install 3rd party password managers</li><li>Users check (or leave checked) to remember passwords for sites</li></ul><li>We believe the new door hanger design will lead to increased engagement.</li><ul><li>Saving more passwords, editing more passwords, never remembering more passwords</li></ul></ul></div></div><div><b>Retention – </b><i>The rate at which existing users are returning. For example: how many of the active users from a given time period are still present in some later time period? You may be more interested in failure to retain, commonly known as “churn.”</i></div><div><ul><li>Users trust Firefox to remember their password.</li><ul><li>Users check (or leave checked) to remember passwords for sites</li><ul><li><a href="http://telemetry.mozilla.org/#filter=nightly/39/PWMGR_SAVING_ENABLED/saved_session/Firefox&aggregates=multiselect-all!Submissions&evoOver=Builds&locked=true&sanitize=false&renderhistogram=Graph" target="_blank">http://telemetry.mozilla.org/#filter=nightly%2F39%2FPWMGR_SAVING_ENABLED%2Fsaved_session%2FFirefox&aggregates=multiselect-all!Submissions&evoOver=Builds&locked=true&sanitize=false&renderhistogram=Graph</a></li></ul></ul></ul><div><br></div><div><b>Task Success</b> – <i>This includes traditional behavioral metrics of user experience, such as efficiency (e.g. time to complete a task), effectiveness (e.g. percent of tasks completed), and error rate. This category is most applicable to areas of your product that are very task-focused, such as search or an upload flow.</i></div><div><ul><li>We want users to find logins as needed so they can authenticate to websites with little effort.</li><ul><li>After user clicks Use Login they don’t immediately interact with the saved logins in another way.</li><li>Users are faster than users who are not saving passwords.</li></ul><li>Users will save fewer incorrect logins because they are more readable and editable.</li><ul><li>Fewer password resets on the web.</li><li>Resetting password less often.</li></ul></ul></div><span class="HOEnZb"><font color="#888888"><div><br><div>
<div><div>Ryan Feeley</div><div>UX, Cloud Services</div><div>Mozilla UX</div><div>IRC: rfeeley</div></div>

</div>
<br></div></font></span></div></div><br>_______________________________________________<br>
Passwords-dev mailing list<br>
<a href="mailto:Passwords-dev@mozilla.org">Passwords-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/passwords-dev" target="_blank">https://mail.mozilla.org/listinfo/passwords-dev</a><br>
<br></blockquote></div><br></div></div></div>