<div dir="ltr"><div>Can we get a few from particular clients both "before" the environment change and then the environment-change ping itself? That would help identify what exactly is changing. If this was caused by us deploying a system addon update, that might be an expected temporary spike.<br><br></div>--BDS<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 14, 2017 at 4:19 PM, Mark Reid <span dir="ltr"><<a href="mailto:mreid@mozilla.com" target="_blank">mreid@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-size:small">Hi all,<br><br></div><div class="gmail_default" style="font-size:small">I spent some time investigating this problem today, and came up with a couple of data points.<br><br></div><div class="gmail_default" style="font-size:small">1. There was a large increase in submissions from the ESR channel at around the same time, which Peter was kind enough to help me track down to the work in <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1318922" target="_blank">https://bugzilla.mozilla.org/<wbr>show_bug.cgi?id=1318922</a> . Unfortunately, if I filter out submissions from ESR, the spike still appears plain as ever, so this is not the explanation for the increase.<br><br></div><div class="gmail_default" style="font-size:small">2. There was also an increase in submissions where the "reason" field is set to "environment-change". These submissions *do* seem to correlate very strongly with the observed spike, and are my leading hypothesis for the explanation. So far I don't have any good explanation of why there was an increase in this type of ping.<br><br></div><div class="gmail_default" style="font-size:small">If you are interested in the analysis behind the above, let me know and I'll send you the jupyter notebook. It contains some client counts and so I can't make it public without scrubbing it (which I plan to do in due course).<br><br></div><div class="gmail_default" style="font-size:small">Again, if you have any suggestions for directions to take for further investigation, I'm happy to hear them.<br><br></div><div class="gmail_default" style="font-size:small">Thanks<span class="HOEnZb"><font color="#888888"><br><br></font></span></div><span class="HOEnZb"><font color="#888888"><div class="gmail_default" style="font-size:small">Mark<br></div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 13, 2017 at 5:43 PM, Mark Reid <span dir="ltr"><<a href="mailto:mreid@mozilla.com" target="_blank">mreid@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-size:small">Hello,<br><br></div><div class="gmail_default" style="font-size:small">Per bug <a class="m_6644483484925628896m_8087440339092353318gmail-bug-link" href="https://bugzilla.mozilla.org/show_bug.cgi?id=1346343" title="NEW - Investigate spike in main ping submissions" target="_blank"><span class="m_6644483484925628896m_8087440339092353318gmail-bug-id">1346343</span></a> there was an apparent short-lived (but significant) increase in main ping submission rate on March 9th.<br><br></div><div class="gmail_default" style="font-size:small">I am doing some investigations to find out why that might be, but if you already know (or have any hypotheses you'd like to suggest), please let me know.<br><br></div><div class="gmail_default" style="font-size:small">Thanks!<span class="m_6644483484925628896HOEnZb"><font color="#888888"><br><br></font></span></div><span class="m_6644483484925628896HOEnZb"><font color="#888888"><div class="gmail_default" style="font-size:small">Mark<br></div></font></span></div>
</blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
fhr-dev mailing list<br>
<a href="mailto:fhr-dev@mozilla.org">fhr-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/fhr-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/<wbr>listinfo/fhr-dev</a><br>
<br></blockquote></div><br></div>