<meta charset="utf-8"><div>David,</div><div><br></div><div>Thanks for including me in this discussion. Dave Fugate and I recently had an exchange regarding granularity, that resulted in my suggesting that tests should be broken down to one aspect per test.</div>

<div><br></div><div>To illustrate:</div><div>15.1.1.3 undefined </div><div>The value of undefined is undefined (see 8.1). This property has the attributes { [[Writable]]: false, [[Enumerable]]: false, [[Configurable]]: false }.</div>

<div><br></div><div><br></div><div>The test I had referred to is here: </div><div><a href="http://samples.msdn.microsoft.com/ietestcenter/Javascript/ES15.1.html">http://samples.msdn.microsoft.com/ietestcenter/Javascript/ES15.1.html</a></div>

<div><br></div><div>function testcase() {</div><div>  var desc = Object.getOwnPropertyDescriptor(global, 'undefined');</div><div>  if (desc.writable === false &&</div><div>      desc.enumerable === false &&</div>

<div>      desc.configurable === false) {</div><div>    return true;</div><div>  }</div><div>}</div><div><br></div><div><br></div><div>Each of the property descriptor conditions should be a single stand alone test; in total there would be 4 tests covering the single unit (the unit being the whole of implementation for the Global Object value property "undefined" )</div>

<div><br></div><div><br></div><div>Rick </div><div><br></div><br><div class="gmail_quote">On Wed, Jul 27, 2011 at 8:02 AM, David Bruant <span dir="ltr"><<a href="mailto:david.bruant@labri.fr">david.bruant@labri.fr</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">[+Rick Waldron, because he had a discussion on this topic with Dave Fugate on Twitter iirc]<br>
<br>
Le 27/07/2011 13:28, Geoffrey Sneddon a écrit :<div class="im"><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
While the current test262 runner makes the assumption that there is only one test per file (see the implementation of ES5Harness.registerTest), the WebWorker-based demo MS showed off a while back allowed multiple tests per file. Seeming both are, as I understand it, by the same group of people, this is an interesting change.<br>


<br>
Is it intended to allow multiple tests per file, or should there be limits to one test per file (and hence only one call to ES5Harness.registerTest)?<br>
<br>
</blockquote></div>
This is an interesting topic. Granularity.<br>
I have myself been a bit annoyed once or twice by this issue. Typically, I would run the tests, see one failing and trying to see what was wrong. I can't remember which, but sometimes, the test was testing several things at once and by doing so, it was harder to track down where the non-conformance came from. If i recall, a good share of Sputnik imported tests tend to do this.<br>


<br>
I have not seen a rational or guidelines or rules discussing test granularity and I think it should be done. I think that for the purpose of a conformance test suite, the ultimate goal of a test should be to be able to spot instantaneously where the non-conformance issue comes from.<br>


There are two things that can help out:<br>
1) test description<br>
I have noticed that it wasn't always perfectly accurate. I will report bugs on that as i find time.<br>
2) test granularity<br>
<br>
You may disagree and i'd be happy to have a discussion on how tests should be designed and maybe providing a set of rules/good practices/guideline.<br>
<br>
On top of my head, I see one problem which is that some tests have dependency and rely on other parts of the spec to be conformant. So a failure in a test can be caused by what the test is testing or one of its "conformance dependency". I have no idea on how to help out with this issue, but i wanted to pointed out in case other had ideas.<br>

<font color="#888888">
<br>
David<br>
</font></blockquote></div><br>