<div dir="ltr"><div>Here's what John and I are seeing in our accounts (screen attached). The page does say they offer seed testing, which I wasn't aware they had until this email thread. Maybe it's new? <br><br></div>I have no info on whether it's as good as ReturnPath or not. But this does appear to be more than just a spam filter test, which I agree is inadequate for our needs. <br></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><div dir="ltr">Ben Niolet | Email Marketing Manager<br>Mozilla | <a href="mailto:bniolet@mozilla.com" target="_blank">bniolet@mozilla.com</a><br></div></div></div>
<br><div class="gmail_quote">On Thu, Jul 9, 2015 at 7:57 PM, Ryan Kelly <span dir="ltr"><<a href="mailto:rfkelly@mozilla.com" target="_blank">rfkelly@mozilla.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 10/07/2015 05:47, Benjamin Niolet wrote:<br>
><br>
> Email on Acid offers seed testing, which is the same type of service I<br>
> mentioned to Ryan in Whistler. The basic gist of how it works is you<br>
> send an email to a bunch of inboxes controlled by the testing service.<br>
> They are able to report on whether the message made it to the inbox<br>
> (might have gone to spam or might have even just gotten lost in the<br>
> mail. Strange but true).<br>
<br>
</span>I had a poke around on their site, and I wasn't able to find anything<br>
that specifically talked about "seed testing" of the same elaborate type<br>
that ReturnPath does.<br>
<br>
The closest I found was the "spam testing" section which claims to check<br>
against common filters, but doesn't talk about any details of how it works:<br>
<br>
  <a href="https://www.emailonacid.com/spam-testing" rel="noreferrer" target="_blank">https://www.emailonacid.com/spam-testing</a><br>
<br>
Brent's comment suggests that that don't have anything quite equivalent<br>
to ReturnPath, so perhaps we have a need for both services.  Ben or<br>
John, do you have any more info on this service specifically from EoA?<br>
<br>
<br>
  Ryan<br>
<span class=""><br>
<br>
> I have never used Email on Acid for seed testing, but I suspect it's a<br>
> lot cheaper than ReturnPath, the service I'm most familiar with. Since<br>
> we already have an Email on Acid account in use, and from what I can<br>
> tell, seed testing is included, this seems like the right service to<br>
> start with.<br>
><br>
> Brent, any flags or blockers on using Email on Acid for seed testing the<br>
> AWS confirm emails for accounts?<br>
><br>
> Ben Niolet | Email Marketing Manager<br>
</span>> Mozilla | <a href="mailto:bniolet@mozilla.com">bniolet@mozilla.com</a> <mailto:<a href="mailto:bniolet@mozilla.com">bniolet@mozilla.com</a>><br>
<span class="im HOEnZb">><br>
> On Thu, Jul 9, 2015 at 1:38 AM, Ryan Kelly <<a href="mailto:rfkelly@mozilla.com">rfkelly@mozilla.com</a><br>
</span><div class="HOEnZb"><div class="h5">> <mailto:<a href="mailto:rfkelly@mozilla.com">rfkelly@mozilla.com</a>>> wrote:<br>
><br>
>     On 9/07/2015 03:13, John Gruen wrote:<br>
>     > We should really be doing a better job of automating and testing spam<br>
>     > scores for FxA emails.  One of the major factors determining email<br>
>     > spammy-ness is the overall reputation score of the email service<br>
>     > provider. This means that running spam tests from localhost will not<br>
>     > produce consistent, representative data.*<br>
>     ><br>
>     > Thus far, we’ve been using Email on Acid to test our emails. In<br>
>     Email on<br>
>     > Acid world, a proper spam test would mean sending emails from our<br>
>     > production servers to a specific set of secret email addresses<br>
>     provided<br>
>     > through the EoA account. I’ve generally enjoyed using EoA,  but maybe<br>
>     > there is better tooling out there. Either way, I think we should do a<br>
>     > better job establishing situational awareness about where our<br>
>     emails end<br>
>     > up. It’d be great if the whole thing were automated so that when we<br>
>     > deployed each new train, we automatically kicked off full email test.<br>
><br>
>     Sounds extremely worthwhile.  I'm cc'ing Ben who may be able to comment<br>
>     on whether EoA is the best choice for automating this, or if we have<br>
>     existing agreements with a similar service.  I recall him mentioning a<br>
>     similar-sounding service at Whistler.<br>
><br>
>     > Oh, also, it seems like we could buy a team license to EoA or<br>
>     Litmus and<br>
>     > I could stop paying for this stupid thing out of pocket. We are, after<br>
>     > all sending out a TON of emails. Thoughts?<br>
><br>
>     Yes, assuming with stay with EoA, we should definitely do this!  LMK if<br>
>     you're paying out of pocket for any other services as well, and we'll<br>
>     make sure we get better arrangements in place.<br>
><br>
><br>
>       Cheers,<br>
><br>
>         Ryan<br>
><br>
><br>
</div></div></blockquote></div><br></div>