<div dir="ltr"><div dir="ltr">On Fri, Jun 26, 2020 at 3:14 PM Jeff Muizelaar <<a href="mailto:jmuizelaar@mozilla.com">jmuizelaar@mozilla.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
What percentage of the space used for artifacts is actually builds<br>
that are used for mozregression vs other stuff (like debug builds)? Is<br>
there a way that we could somehow have different expiraries for the<br>
different kinds of data? 1 year for logs, debug symbols and debug<br>
builds seems very generous but 8 months for builds for mozregression<br>
seems stingy.<br></blockquote><div><br></div><div>Keep in mind this is only temporary, with every passing day we approach a full year's worth of builds again. As a longer term solution to this particular problem, I wonder if we can get mozregression to farm out missing builds on try.. then there would be no limit to how far back it could go.<br></div><div> </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
On Fri, Jun 26, 2020 at 3:01 PM Kartikaya Gupta <<a href="mailto:kgupta@mozilla.com" target="_blank">kgupta@mozilla.com</a>> wrote:<br>
><br>
> Thanks for clarifying. If nightlies are still available for that<br>
> period then I guess that's ok. It will be a slight inconvenience but<br>
> probably not worth the effort to and save those builds for a few<br>
> months.<br>
><br>
> On Fri, Jun 26, 2020 at 9:53 AM Chris Cooper <<a href="mailto:coop@mozilla.com" target="_blank">coop@mozilla.com</a>> wrote:<br>
> ><br>
> > I've received multiple replies about mozregression, so I'll provide<br>
> > some more context.<br>
> ><br>
> > Taskcluster artifacts expire by default after one year. This means the<br>
> > legacy cluster currently provides access to artifacts from June 26 to<br>
> > Nov 9, 2019 (Nov 9 was the cutover date to the new deployment). By<br>
> > shutting down the legacy cluster on July 3, we will be removing access<br>
> > to just over 4 months of artifacts. Note that this won't affect<br>
> > separate release archives like<br>
> > <a href="http://archive.mozilla.org/pub/firefox/" rel="noreferrer" target="_blank">http://archive.mozilla.org/pub/firefox/</a>. The end result for<br>
> > mozregression is that it will have fewer choices for intermediate<br>
> > builds while bisecting if it needs to reach back into that 4-month<br>
> > window and will need to rely on the nightlies.<br>
> ><br>
> > I looked at the specific S3 stats for older artifacts. I can't break<br>
> > mozregression usage out specifically, but over the past year we (all<br>
> > parties) have only accessed 19.04 GB of the 971.77 TB that are older<br>
> > than 180 days.<br>
> ><br>
> > cheers,<br>
> > --<br>
> > coop<br>
> ><br>
> > On Fri, Jun 26, 2020 at 6:41 AM Kartikaya Gupta <<a href="mailto:kgupta@mozilla.com" target="_blank">kgupta@mozilla.com</a>> wrote:<br>
> > ><br>
> > > Do these legacy artifacts include firefox builds that are used by<br>
> > > mozregression? It looks like there's still a reference to the old<br>
> > > <a href="http://taskcluster.net" rel="noreferrer" target="_blank">taskcluster.net</a> URL at<br>
> > > <a href="https://github.com/mozilla/mozregression/blob/3df977cf7b9c50bdbe8495cde17baeb6c5724be2/mozregression/config.py#L23" rel="noreferrer" target="_blank">https://github.com/mozilla/mozregression/blob/3df977cf7b9c50bdbe8495cde17baeb6c5724be2/mozregression/config.py#L23</a><br>
> > > which gets used. It would be valuable to ensure mozregression can<br>
> > > continue bisecting old builds after this decommissioning happens.<br>
> > ><br>
> > > On Thu, Jun 25, 2020 at 5:13 PM Chris Cooper <<a href="mailto:coop@mozilla.com" target="_blank">coop@mozilla.com</a>> wrote:<br>
> > > ><br>
> > > > Hey all,<br>
> > > ><br>
> > > > You may recall that last fall we redeployed Taskcluster into two<br>
> > > > distinct clusters, one to support Firefox CI and another to handle<br>
> > > > Community projects[1]. We left the legacy deployment running to<br>
> > > > provide access to CI artifacts that would only be reachable via the<br>
> > > > old <a href="http://taskcluster.net" rel="noreferrer" target="_blank">taskcluster.net</a> interface.<br>
> > > ><br>
> > > > It turns out that we (Mozilla) don't access the legacy data very<br>
> > > > often: we are storing close to a petabyte of older artifacts in AWS<br>
> > > > and yet we access less than 25 GB of it. It costs us thousands of<br>
> > > > dollars every month for that storage, and several hundred dollars more<br>
> > > > to continue running the services to access it, so we've made a<br>
> > > > decision to decommission the legacy Taskcluster deployment a few<br>
> > > > months earlier than planned.<br>
> > > ><br>
> > > > We'll be shutting down the legacy services on July 3rd, 2020. That's<br>
> > > > one week from today. A week later on July 10, we will begin deleting<br>
> > > > the old artifacts.<br>
> > > ><br>
> > > > If you are one of the few individuals who does access artifacts from<br>
> > > > the legacy cluster and haven't already spoken to us about<br>
> > > > alternatives, please reach out before next Thursday.<br>
> > > ><br>
> > > > Note: this will *not* affect day-to-day CI on either the Firefox CI or<br>
> > > > Community clusters at all.<br>
> > > ><br>
> > > > Thanks,<br>
> > > > --<br>
> > > > Chris Cooper<br>
> > > > Manager, Taskcluster @ Mozilla<br>
> > > > <<a href="mailto:coop@mozilla.com" target="_blank">coop@mozilla.com</a>><br>
> > > ><br>
> > > > 1. <a href="https://groups.google.com/g/mozilla.dev.platform/c/QhZFDhlQjxU/m/ngk8z6j1AgAJ" rel="noreferrer" target="_blank">https://groups.google.com/g/mozilla.dev.platform/c/QhZFDhlQjxU/m/ngk8z6j1AgAJ</a><br>
> > > > _______________________________________________<br>
> > > > firefox-dev mailing list<br>
> > > > <a href="mailto:firefox-dev@mozilla.org" target="_blank">firefox-dev@mozilla.org</a><br>
> > > > <a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/listinfo/firefox-dev</a><br>
> > _______________________________________________<br>
> > firefox-dev mailing list<br>
> > <a href="mailto:firefox-dev@mozilla.org" target="_blank">firefox-dev@mozilla.org</a><br>
> > <a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/listinfo/firefox-dev</a><br>
> _______________________________________________<br>
> dev-platform mailing list<br>
> <a href="mailto:dev-platform@lists.mozilla.org" target="_blank">dev-platform@lists.mozilla.org</a><br>
> <a href="https://lists.mozilla.org/listinfo/dev-platform" rel="noreferrer" target="_blank">https://lists.mozilla.org/listinfo/dev-platform</a><br>
_______________________________________________<br>
dev-platform mailing list<br>
<a href="mailto:dev-platform@lists.mozilla.org" target="_blank">dev-platform@lists.mozilla.org</a><br>
<a href="https://lists.mozilla.org/listinfo/dev-platform" rel="noreferrer" target="_blank">https://lists.mozilla.org/listinfo/dev-platform</a><br>
</blockquote></div></div>