<div dir="ltr"><div><div><div><div><div>In the "Percentage of Weekly Active Users that Crashed" chart, how much work is it to break that down in two dimensions:<br><br></div><div>* Vertically, stack "one crash", "two crashes", "more than two crashes"<br></div>* Separate out/focus on heavy users, according to whatever definition 
bcolloran is using. So explicitly for our target heavy-user growth 
market, see how many of those are crashing once/more than once per week.<br><br></div>I don't quite understand "Percentage of First Crashes Recorded". How far back is "ever" in this? e.g. if somebody crashed two years ago and then again this week, how would that show up? This feels like the kind of graph which has unintentional consequences: people using the browser more will probably crash more and make the line go up, even though that's not necessarily an indication of a problem.<br><br>"Percentage of New Profiles that Crashed" is one of the key baselines I was looking for, and I'm super-excited that we finally have it! I have some questions about the method. You are aggregating this by calendar week; does this mean both "users who are new within this week" and "users who crashed within this week"? Here's my concern:<br><br></div>User starts using Firefox on Friday.<br></div>User has a crash on Tuesday.<br></div>According to my expected definition, this would be a crash in the user's first week and so would count against this graph. But if you're just aggregating by week, I'm not sure whether this is counted.<br><div><div><div><div><div><br></div><div>"Hours Between Crashes" seems like a typical MTBF chart but I'm confused because the graph limits itself to users who have crashed more than once. What is the timeframe over which we're measuring these things? e.g. if there are users who never crash, or only crash once a year, wouldn't we want to include that in this kind of chart? Or how should I read this chart as a manager. We want to end up with more users never crashing, which seems like it would then make this chart appear worse instead of better.<br></div><div><br></div><div>The "Count of Hours Between Crashes per User" graph is scary! Is this really per *user* or per *crash*. For example:<br><br></div><div>User A crashes has never crashed before, and crashes 3 times in one hour. Does this show up as one crash with infinite uptime and two crashes with 0-hour uptime?<br></div><div>How does a user show up who didn't crash at all this week?<br></div><div><br></div><div>Also, how much resolution do these datasets have? e.g. if somebody has 2 content crashes per day, they would be recorded in one subsession (main ping), and I don't think we currently have internal timing data to distinguish those. Would those be counted as happening in the same hour, even though they could be anywhere from 0-23 hours apart? Do you think that affects the overall quality of this data? There is a similar question about the per-hour distribution graph below.<br></div><div><br></div><div>--BDS<br><br></div></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 28, 2017 at 2:23 PM, Saptarshi Guha <span dir="ltr"><<a href="mailto:sguha@mozilla.com" target="_blank">sguha@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default"><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">Happy to present the crashgraphs dashboard. A high level dashboard that captures</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">- average profile crash rate (average across profiles crash rates)</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">- % of profiles crashing in the last week</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">- time between crashes for profiles that have another crash in their history</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"> (history is lifetime!)</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">- hours and days between crashes (for profiles with 2+ crashes). Lower is *bad*</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">We capture two things i've been looking for</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">- a profile level view of crash (% of profiles experiencing a crash)</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">- a software engineering level view of crash (hours used across crashes)</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">This is high level so not as detailed as arwwestableyet.</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><span style="font-size:12.8px">Many thanks to Andre Duarte and Connor Ameres for working and designing this.</span><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">Your comments welcome!</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default"><font face="monospace, monospace"><span style="font-size:12.8px"><a href="https://people-mozilla.org/~sguha/crashgraphs/" target="_blank">https://people-mozilla.org/~<wbr>sguha/crashgraphs/</a></span></font><br></div><div class="gmail_default"><font face="monospace, monospace"><span style="font-size:12.8px"><br></span></font></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">Regard</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">saptarsi</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px">Appendix</div><div class="gmail_default" style="font-family:monospace,monospace;font-size:12.8px"><div class="gmail_default" style="font-size:12.8px"><br></div><div class="gmail_default" style="font-size:12.8px">Also since we use main_summary, we cannot eliminate shutdown crashes. That would be a nice metric to include in main_summary itself.</div><div class="gmail_default" style="font-size:12.8px"><br></div><div class="gmail_default" style="font-size:12.8px">That said, on average  shutdown crashes is a fairly constant fraction of total content crashes [1] (the latter measured in main_summary). That is on average. For a given profile with 5 content crashes(as per main_summary), it's tough to say how many are shutdown crashes</div><div class="gmail_default" style="font-size:12.8px"><br></div><div class="gmail_default" style="font-size:12.8px">[1] <a href="https://docs.google.com/document/d/1jzcEPI4NLlar102kS1WBv1cgnxDULYQNl4VawmQEr5c/edit#heading=h.imxtnojofajm" target="_blank">https://docs.google.com/do<wbr>cument/d/1jzcEPI4NLlar102kS1WB<wbr>v1cgnxDULYQNl4VawmQEr5c/edit#<wbr>heading=h.imxtnojofajm</a></div></div></div></div>
<br>______________________________<wbr>_________________<br>
fhr-dev mailing list<br>
<a href="mailto:fhr-dev@mozilla.org">fhr-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/fhr-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/<wbr>listinfo/fhr-dev</a><br>
<br></blockquote></div><br></div>