<div dir="ltr"><div><div><div><div>I'm a bit ignorant here, not overly familiar with how things are done in m-c, please correct me if I'm off on something. <br><br>What about renaming mochitest instead, to "functional" or similar? The UI tests that marionette does is in interaction with the UI from a "users" perspective. My understanding of mochitest is it is the interaction with the browser chrome via the api's. Correct? <br><br>I'd also add integration is a bit of a loaded term as although it implies that you are testing the combination of components, it is more so at a functional level, which only kind of inherently happens with marionette tests, it isn't really their primary purpose. They are kind of one level abstracted from that. Meaning: the unit, code block level -> the functional, spec level -> the ui, end-user level.<br><br></div>Alternatively, end-to-end (e2e) is a term my team has used to show a test is approaching things from the "end-users" perspective. <br><br></div>I would also generally say putting tests in sub-directories organized by type/purpose is nice as the different test frameworks are a bit of a context switch (possibly in language, api's, methodologies). So for a given feature you might have:<br><br>my-feature/tests/unit<br>my-feature/tests/functional<br>my-feature/tests/integration<br>my-feature/tests/e2e<br><br></div>I understand that is a bit of folder explosion, but it immediately illustrates the purpose of the files within, as opposed to a type extension like "test_*_type" which isn't always apparent, or worse a generic "test_*" prefix which explains nothing until you open the file. The gains around clarity seem to outweigh the drawbacks?<br><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Sep 2, 2016 at 3:08 AM, Henrik Skupin <span dir="ltr"><<a href="mailto:mail@hskupin.info" target="_blank">mail@hskupin.info</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Gijs Kruitbosch wrote on 09/01/2016 06:24 PM:<br>
<br>
> As I did over IRC, I would like to strongly object to the continued use<br>
> of per-test-type subfolders in our test directories. You can already use<br>
> a specific mach command per test type, and the tests are listed in<br>
> different manifests, *and* there's all the different filename<br>
> conventions (browser_, test_....html, test_....xul, <whatever>.js) that<br>
> further point out what type of test you're looking at. The subfolders<br>
> add nothing useful.<br>
<br>
</span>The problematic piece here will be the package-tests step which<br>
currently picks complete subfolders. It would mean if we mix-up tests<br>
for firefox-ui-tests and eg. mochitests all would end-up twice in the<br>
common.tests.zip archive. If we want to get away from using subfolders<br>
we would have to improve the test archiver<br>
(<a href="https://dxr.mozilla.org/mozilla-central/source/python/mozbuild/mozbuild/action/test_archive.py" rel="noreferrer" target="_blank">https://dxr.mozilla.org/<wbr>mozilla-central/source/python/<wbr>mozbuild/mozbuild/action/test_<wbr>archive.py</a>)<br>
first to not only collect the directories of referenced manifests, but<br>
also only pick those tests which are referenced and leave all others<br>
behind. This would apply to all test suites currently covered by this<br>
mozbuild action.<br>
<span class=""><br>
> Finally, "firefox_ui" (as well as "ui") as a name for a directory is<br>
> going to cause all kinds of confusion for people exploring the repo<br>
> without detailed knowledge of what's going on. Additionally, it's not<br>
> like most of the mochitest-browser tests aren't tests of the Firefox<br>
> UI... If we absolutely must have some kind of subdirectory because of<br>
> reasons I have yet to hear, I think "integration" would be a better<br>
> choice of name as far as subdirs of "test" go (as juxtaposed to "unit"<br>
> for our xpcshell tests).<br>
<br>
</span>I would totally be fine with integration as name, unless we don't hit<br>
the above mentioned problem that tests for other harnesses end-up in the<br>
same folder.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
Henrik<br>
</font></span><div class="HOEnZb"><div class="h5">______________________________<wbr>_________________<br>
firefox-dev mailing list<br>
<a href="mailto:firefox-dev@mozilla.org">firefox-dev@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/firefox-dev" rel="noreferrer" target="_blank">https://mail.mozilla.org/<wbr>listinfo/firefox-dev</a><br>
</div></div></blockquote></div><br></div>