<div dir="ltr"><div>It is possible that this change was caught in one of the two recent aggregates dataset hiccoughs we had at the beginning of June (see bug 1467860) that was only recently backfilled in (see bug 1471207).<br></div><div><br></div><div>In normal operation there should be a 2-day delay as we await receipt of 95% of outstanding user data[1] before we ask the automated system[2] to take a look.</div><div><br></div><div>However, the automated system is old, quirky, and not under active development. It still catches real changes, though, which is why we keep its lights on. One of its quirks is not noticing changes in certain probes until long after the change happened. 24 days is one of the longer delays I've seen (but I don't think it's the record). <br></div><div><br></div><div>I apologize for the confusion and delays.</div><div><br></div><div>:chutten<br></div><div><br></div><div>[1]: <a href="https://blog.mozilla.org/data/2017/09/19/two-days-or-how-long-until-the-data-is-in/">https://blog.mozilla.org/data/2017/09/19/two-days-or-how-long-until-the-data-is-in/</a></div><div>[2]: <a href="https://docs.telemetry.mozilla.org/tools/alerts.html">https://docs.telemetry.mozilla.org/tools/alerts.html</a><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Jun 29, 2018 at 12:26 PM Marco Bonardo <<a href="mailto:mbonardo@mozilla.com">mbonardo@mozilla.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>I actually noticed these regressions 11 days ago (since I periodically check some of the telemetry on the dashboard), and commented about them in the relevant bug <a href="https://bugzilla.mozilla.org/show_bug.cgi?id=1422365#c89" target="_blank">https://bugzilla.mozilla.org/show_bug.cgi?id=1422365#c89</a>.</div><div>I agree the notification timings aren't great.</div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Jun 29, 2018 at 6:20 PM Daniel Veditz <<a href="mailto:dveditz@mozilla.com" target="_blank">dveditz@mozilla.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra">On Thu, Jun 28, 2018 at 11:03 PM,  <span dir="ltr"><<a href="mailto:telemetry-alerts@mozilla.com" target="_blank">telemetry-alerts@mozilla.com</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">We have detected a change in the Telemetry probe FX_SANITIZE_COOKIES_2 in Firefox Nightly builds from 2018-06-04.<br></blockquote><div><br></div><div style="font-family:tahoma,sans-serif" class="gmail_default">​Why are alerts coming out 24 days after the detected event? I can imagine letting things ride a few days to see if they're transient, but the longer things go the harder it can be to excavate the regressing change if necessary. Marco says this instance is fine, I'm asking more about the policy on alerts.</div><div style="font-family:tahoma,sans-serif" class="gmail_default"><br></div><div style="font-family:tahoma,sans-serif" class="gmail_default">-Dan Veditz<br></div></div></div></div>
_______________________________________________<br>
firefox-dev mailing list<br>
<a href="mailto:firefox-dev@mozilla.org" target="_blank">firefox-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/listinfo/firefox-dev</a><br>
</blockquote></div>
_______________________________________________<br>
firefox-dev mailing list<br>
<a href="mailto:firefox-dev@mozilla.org" target="_blank">firefox-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/listinfo/firefox-dev</a><br>
</blockquote></div>