<div dir="ltr"><div class="gmail_default"><div class="gmail_default"><font face="monospace, monospace">Let me fix the messaging of this post :). Some time back, in the end of</font></div><div class="gmail_default"><font face="monospace, monospace">2016, I had an email conversation with bsmedberg, harald kirshner, and</font></div><div class="gmail_default"><font face="monospace, monospace">john jensen pushing for</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">1) profile based measures e.g. what % of profiles crashed? How much</font></div><div class="gmail_default"><font face="monospace, monospace">of crashes is contributed by what percent of profiles? I have not found</font></div><div class="gmail_default"><font face="monospace, monospace">an answer to this on any mozilla dashboard</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">2) A different way to compute rates. Consider a each profiles Firefox</font></div><div class="gmail_default"><font face="monospace, monospace">stability as a time series process where events are crashes. Compute the</font></div><div class="gmail_default"><font face="monospace, monospace">crash rate for each profile and then average that. This has an easy</font></div><div class="gmail_default"><font face="monospace, monospace">interpretation: an average crash rate of say 10 per profile per 1000</font></div><div class="gmail_default"><font face="monospace, monospace">hours is the a value you'd see of a typical profile. This is different</font></div><div class="gmail_default"><font face="monospace, monospace">from the rates typically plotted in say [^1] where the rate is total</font></div><div class="gmail_default"><font face="monospace, monospace">crashes by total hours and has the effect of weighting users crash rates</font></div><div class="gmail_default"><font face="monospace, monospace">by their usage. </font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">3) New user crash rates. How is it different from existing users?</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">So the focus of this dashboard is to provide an answer (1) with</font></div><div class="gmail_default"><font face="monospace, monospace">everything else providing a context to (1) (and of course recomputing</font></div><div class="gmail_default"><font face="monospace, monospace">rates differently)</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">I worked with our two interns Andre and Connor to get this</font></div><div class="gmail_default"><font face="monospace, monospace">*proof-of-concept* of the ground to</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">4) gather feedback</font></div><div class="gmail_default"><font face="monospace, monospace">5) generate discussion</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">It is not our primary goal to make this a production dashboard. That</font></div><div class="gmail_default"><font face="monospace, monospace">said it looks good, because well, a spoonful of sugar makes the medicine</font></div><div class="gmail_default"><font face="monospace, monospace">go down.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">If we decide to absorb some measures (*e.g. % of profiles crashing) into</font></div><div class="gmail_default"><font face="monospace, monospace">[1^] that will be great.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">Also this very much a 'runnable' proof of concept. That is running it is a</font></div><div class="gmail_default"><font face="monospace, monospace">almost a click of a button. So this can keep on  being updated and</font></div><div class="gmail_default"><font face="monospace, monospace">people can eyeball it to see if the graphs are helping inform decisions.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">The code is public and can be found here:</font></div><div class="gmail_default"><font face="monospace, monospace"><a href="https://github.com/aguimaraesduarte/FirefoxCrashGraphs">https://github.com/aguimaraesduarte/FirefoxCrashGraphs</a></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> I don't quite understand "Percentage of First Crashes Recorded". How</font></div><div class="gmail_default"><font face="monospace, monospace">> far back is "ever" in this? e.g. if somebody crashed two years ago and</font></div><div class="gmail_default"><font face="monospace, monospace">> then again this week, how would that show up? This feels like the kind</font></div><div class="gmail_default"><font face="monospace, monospace">> of graph which has unintentional consequences: people using the</font></div><div class="gmail_default"><font face="monospace, monospace">> browser more will probably crash more and make the line go up, even</font></div><div class="gmail_default"><font face="monospace, monospace">> though that's not necessarily an indication of a problem.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">[MTBF and Hours] For a given profile, we take their entire history</font></div><div class="gmail_default"><font face="monospace, monospace">present in main_summary.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">How we compute time between crashes:</font></div><div class="gmail_default"><font face="monospace, monospace">- for profiles with more than 1 crash</font></div><div class="gmail_default"><font face="monospace, monospace">- compute time between this crash and last crash. If last crash occured</font></div><div class="gmail_default"><font face="monospace, monospace">on the same day, then the time between is 0 else it is the sum of</font></div><div class="gmail_default"><font face="monospace, monospace">session length between this crash and last crash</font></div><div class="gmail_default"><font face="monospace, monospace">- average this hours between across profiles.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">for profiles with only crash (an no other recorded crash in the history)</font></div><div class="gmail_default"><font face="monospace, monospace">we decided to not make any assumptions. One could argue their last crash</font></div><div class="gmail_default"><font face="monospace, monospace">is *at least* the sum of the previous session lengths. Instead we kept</font></div><div class="gmail_default"><font face="monospace, monospace">these profiles separate and recorded the % of such profiles.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">The role of this graph is not to indicate a problem. it is a diagnostic</font></div><div class="gmail_default"><font face="monospace, monospace">in that it tells the viewer that the time between crashes has been</font></div><div class="gmail_default"><font face="monospace, monospace">computed based on ~90% of the crashing profiles.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> "Percentage of New Profiles that Crashed" is one of the key baselines</font></div><div class="gmail_default"><font face="monospace, monospace">> I was looking for, and I'm super-excited that we finally have it! I</font></div><div class="gmail_default"><font face="monospace, monospace">> have some questions about the method. You are aggregating this by</font></div><div class="gmail_default"><font face="monospace, monospace">> calendar week; does this mean both "users who are new within this</font></div><div class="gmail_default"><font face="monospace, monospace">> week" and "users who crashed within this week"? Here's my concern:</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">How we run this: this is run on M,W and F for the calendar week ending</font></div><div class="gmail_default"><font face="monospace, monospace">on M, W, and F respectively.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> User starts using Firefox on Friday.  User has a crash on Tuesday.</font></div><div class="gmail_default"><font face="monospace, monospace">> According to my expected definition, this would be a crash in the</font></div><div class="gmail_default"><font face="monospace, monospace">> user's first week and so would count against this graph. But if you're</font></div><div class="gmail_default"><font face="monospace, monospace">> just aggregating by week, I'm not sure whether this is counted.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">If i run this dashboard on M, this user will contribute to % of New</font></div><div class="gmail_default"><font face="monospace, monospace">Profiles graph but not to the % of New Profiles that Crashed for her browser</font></div><div class="gmail_default"><font face="monospace, monospace">hasn't crashed as yet.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">If i run this on W, then this profile is a new user and has crashed and</font></div><div class="gmail_default"><font face="monospace, monospace">will contribute. So this profile will be counted.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">When i run this on F, this profile will not be considered a new user any</font></div><div class="gmail_default"><font face="monospace, monospace">more. This graph is a % of new profiles (created in the week up to thdat</font></div><div class="gmail_default"><font face="monospace, monospace">date) *and* crashed in that week</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> "Hours Between Crashes" seems like a typical MTBF chart but I'm</font></div><div class="gmail_default"><font face="monospace, monospace">> confused because the graph limits itself to users who have crashed</font></div><div class="gmail_default"><font face="monospace, monospace">> more than once. What is the timeframe over which we're measuring these</font></div><div class="gmail_default"><font face="monospace, monospace">> things? e.g. if there are users who never crash, or only crash once a</font></div><div class="gmail_default"><font face="monospace, monospace">> year, wouldn't we want to include that in this kind of chart? Or how</font></div><div class="gmail_default"><font face="monospace, monospace">> should I read this chart as a manager. We want to end up with more</font></div><div class="gmail_default"><font face="monospace, monospace">> users never crashing, which seems like it would then make this chart</font></div><div class="gmail_default"><font face="monospace, monospace">> appear worse instead of better.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">See [MTBF and Hours] above.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> The "Count of Hours Between Crashes per User" graph is scary! Is this</font></div><div class="gmail_default"><font face="monospace, monospace">> really per *user* or per *crash*. For example:</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> User A crashes has never crashed before, and crashes 3 times in one</font></div><div class="gmail_default"><font face="monospace, monospace">> hour. Does this show up as one crash with infinite uptime and two</font></div><div class="gmail_default"><font face="monospace, monospace">> crashes with 0-hour uptime?  How does a user show up who didn't crash</font></div><div class="gmail_default"><font face="monospace, monospace">> at all this week?</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">This user shows up as a crash with 0 time between crashes.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">For methodology see [MTBF and Hours] above. That is</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">- for profiles that crashed this week *and* have one more crash in their entire history</font></div><div class="gmail_default"><font face="monospace, monospace">- compute hours between crashes.</font></div><div class="gmail_default"><font face="monospace, monospace">  - if on the day of their most recent crash they crashed 2+ times,</font></div><div class="gmail_default"><font face="monospace, monospace">    then the time between crashes is 0</font></div><div class="gmail_default"><font face="monospace, monospace">  - if on the day of their most recent crash, they crashed once, then</font></div><div class="gmail_default"><font face="monospace, monospace">    the time between crashes is sum of session lengths till the crash before that</font></div><div class="gmail_default"><font face="monospace, monospace">- average this across profiles (we used median and geometric mean to protect against outliers)</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">this average is then the truncated for average hours between crashes per</font></div><div class="gmail_default"><font face="monospace, monospace">user. Note i use the word  'truncated' since it isn't *exactly* the hours</font></div><div class="gmail_default"><font face="monospace, monospace">between two crashes - see [Hours Between Crashes] below.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">- From figure "Percentage of Weekly Active Users that Crashed" we know</font></div><div class="gmail_default"><font face="monospace, monospace">  how many profiles we are talking about</font></div><div class="gmail_default"><font face="monospace, monospace">- from "Percentage of First Crashes Recorded" we have an idea of how</font></div><div class="gmail_default"><font face="monospace, monospace">  many profiles we have dropped (because they don't have a prior crash)</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">> Also, how much resolution do these datasets have? e.g. if somebody has</font></div><div class="gmail_default"><font face="monospace, monospace">> 2 content crashes per day, they would be recorded in one subsession</font></div><div class="gmail_default"><font face="monospace, monospace">> (main ping), and I don't think we currently have internal timing data</font></div><div class="gmail_default"><font face="monospace, monospace">> to distinguish those. Would those be counted as happening in the same</font></div><div class="gmail_default"><font face="monospace, monospace">> hour, even though they could be anywhere from 0-23 hours apart? Do you</font></div><div class="gmail_default"><font face="monospace, monospace">> think that affects the overall quality of this data? There is a</font></div><div class="gmail_default"><font face="monospace, monospace">> similar question about the per-hour distribution graph below.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">[Hours Between Crashes] You are right - but it is consistent across time. </font></div><div class="gmail_default"><font face="monospace, monospace">We aggregate the data </font><span style="font-family:monospace,monospace">to the daily level:</span></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">client_id, submission_date, total main_crashes, total_plugin_crashs,...,total_crashes</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">If on the latest day in the week, total_crashes >= 2 , the time between crashes</font></div><div class="gmail_default"><font face="monospace, monospace">is 0 (even if it occurred 10 hours apart).</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">if on the latest day in the week, total_crashes == 1 the time between</font></div><div class="gmail_default"><font face="monospace, monospace">crashes is the sum of session length from that day to the crash before</font></div><div class="gmail_default"><font face="monospace, monospace">that.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">Yes, we lose granularity. But it is a representative, consistent view of</font></div><div class="gmail_default"><font face="monospace, monospace">hours between crashes per profile. Even if we measured the exact hours</font></div><div class="gmail_default"><font face="monospace, monospace">between two crashes, the cognivitve rule stays the same: a decreasing</font></div><div class="gmail_default"><font face="monospace, monospace">line ==> crashes occur more often.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">Moreover, the two figures, given the way we have computed</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">"Crash Rates (per user, per 1,000h)"</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">and</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">"Hours Between Crashes"</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">are related: if the former goes  up, the latter goes down. You can think</font></div><div class="gmail_default"><font face="monospace, monospace">of a Poisson process: if the rate of occurrence goes up, the time between</font></div><div class="gmail_default"><font face="monospace, monospace">occurrences decreases. </font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">Thanks so much for the great questions and feedback. This is why we sent</font></div><div class="gmail_default"><font face="monospace, monospace">it to FHR-dev.</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">Regards</font></div><div class="gmail_default"><font face="monospace, monospace">Saptarshi</font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace"><br></font></div><div class="gmail_default"><font face="monospace, monospace">[^1]:<a href="https://telemetry.mozilla.org/crashes/"> https://telemetry.mozilla.org/crashes/</a></font></div></div><div class="gmail_default" style="font-family:monospace,monospace"><br></div><div class="gmail_default" style="font-family:monospace,monospace"><br></div><div class="gmail_default" style="font-family:monospace,monospace"><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 1, 2017 at 7:21 AM, Benjamin Smedberg <span dir="ltr"><<a href="mailto:benjamin@smedbergs.us" target="_blank">benjamin@smedbergs.us</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div><div>In the "Percentage of Weekly Active Users that Crashed" chart, how much work is it to break that down in two dimensions:<br><br></div><div>* Vertically, stack "one crash", "two crashes", "more than two crashes"<br></div>* Separate out/focus on heavy users, according to whatever definition 
bcolloran is using. So explicitly for our target heavy-user growth 
market, see how many of those are crashing once/more than once per week.<br><br></div>I don't quite understand "Percentage of First Crashes Recorded". How far back is "ever" in this? e.g. if somebody crashed two years ago and then again this week, how would that show up? This feels like the kind of graph which has unintentional consequences: people using the browser more will probably crash more and make the line go up, even though that's not necessarily an indication of a problem.<br><br>"Percentage of New Profiles that Crashed" is one of the key baselines I was looking for, and I'm super-excited that we finally have it! I have some questions about the method. You are aggregating this by calendar week; does this mean both "users who are new within this week" and "users who crashed within this week"? Here's my concern:<br><br></div>User starts using Firefox on Friday.<br></div>User has a crash on Tuesday.<br></div>According to my expected definition, this would be a crash in the user's first week and so would count against this graph. But if you're just aggregating by week, I'm not sure whether this is counted.<br><div><div><div><div><div><br></div><div>"Hours Between Crashes" seems like a typical MTBF chart but I'm confused because the graph limits itself to users who have crashed more than once. What is the timeframe over which we're measuring these things? e.g. if there are users who never crash, or only crash once a year, wouldn't we want to include that in this kind of chart? Or how should I read this chart as a manager. We want to end up with more users never crashing, which seems like it would then make this chart appear worse instead of better.<br></div><div><br></div><div>The "Count of Hours Between Crashes per User" graph is scary! Is this really per *user* or per *crash*. For example:<br><br></div><div>User A crashes has never crashed before, and crashes 3 times in one hour. Does this show up as one crash with infinite uptime and two crashes with 0-hour uptime?<br></div><div>How does a user show up who didn't crash at all this week?<br></div><div><br></div><div>Also, how much resolution do these datasets have? e.g. if somebody has 2 content crashes per day, they would be recorded in one subsession (main ping), and I don't think we currently have internal timing data to distinguish those. Would those be counted as happening in the same hour, even though they could be anywhere from 0-23 hours apart? Do you think that affects the overall quality of this data? There is a similar question about the per-hour distribution graph below.<br></div><div><br></div><div>--BDS<br><br></div></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="gmail-h5">On Tue, Feb 28, 2017 at 2:23 PM, Saptarshi Guha <span dir="ltr"><<a href="mailto:sguha@mozilla.com" target="_blank">sguha@mozilla.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div class="gmail-h5"><div dir="ltr"><div><div style="font-family:monospace,monospace;font-size:12.8px">Happy to present the crashgraphs dashboard. A high level dashboard that captures</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px">- average profile crash rate (average across profiles crash rates)</div><div style="font-family:monospace,monospace;font-size:12.8px">- % of profiles crashing in the last week</div><div style="font-family:monospace,monospace;font-size:12.8px">- time between crashes for profiles that have another crash in their history</div><div style="font-family:monospace,monospace;font-size:12.8px"> (history is lifetime!)</div><div style="font-family:monospace,monospace;font-size:12.8px">- hours and days between crashes (for profiles with 2+ crashes). Lower is *bad*</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px">We capture two things i've been looking for</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px">- a profile level view of crash (% of profiles experiencing a crash)</div><div style="font-family:monospace,monospace;font-size:12.8px">- a software engineering level view of crash (hours used across crashes)</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px">This is high level so not as detailed as arwwestableyet.</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px"><span style="font-size:12.8px">Many thanks to Andre Duarte and Connor Ameres for working and designing this.</span><br></div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px">Your comments welcome!</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div><font face="monospace, monospace"><span style="font-size:12.8px"><a href="https://people-mozilla.org/~sguha/crashgraphs/" target="_blank">https://people-mozilla.org/~sg<wbr>uha/crashgraphs/</a></span></font><br></div><div><font face="monospace, monospace"><span style="font-size:12.8px"><br></span></font></div><div style="font-family:monospace,monospace;font-size:12.8px">Regard</div><div style="font-family:monospace,monospace;font-size:12.8px">saptarsi</div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px"><br></div><div style="font-family:monospace,monospace;font-size:12.8px">Appendix</div><div style="font-family:monospace,monospace;font-size:12.8px"><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Also since we use main_summary, we cannot eliminate shutdown crashes. That would be a nice metric to include in main_summary itself.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">That said, on average  shutdown crashes is a fairly constant fraction of total content crashes [1] (the latter measured in main_summary). That is on average. For a given profile with 5 content crashes(as per main_summary), it's tough to say how many are shutdown crashes</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">[1] <a href="https://docs.google.com/document/d/1jzcEPI4NLlar102kS1WBv1cgnxDULYQNl4VawmQEr5c/edit#heading=h.imxtnojofajm" target="_blank">https://docs.google.com/do<wbr>cument/d/1jzcEPI4NLlar102kS1WB<wbr>v1cgnxDULYQNl4VawmQEr5c/edit#h<wbr>eading=h.imxtnojofajm</a></div></div></div></div>
<br></div></div><span class="gmail-">______________________________<wbr>_________________<br>
fhr-dev mailing list<br>
<a href="mailto:fhr-dev@mozilla.org" target="_blank">fhr-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/fhr-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/listi<wbr>nfo/fhr-dev</a><br>
<br></span></blockquote></div><br></div>
</blockquote></div><br></div></div>