<div dir="ltr">This seems like an unusually large number of failures for the non-smoketests. I'll check the next run to see if somehow that landed on a non-viable phone or something.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 4, 2015 at 10:55 AM, Oliver Nelson <span dir="ltr"><<a href="mailto:onelson@qanalydocs.com" target="_blank">onelson@qanalydocs.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><b>Smoketests:</b><br><br><i>Test failures - 0 replicable manually:</i><br><ul><li>[Not reproduced manually] test_receive_call_with_locked_screen - <a href="https://bugzil.la1097754" target="_blank">Bug 1097754</a> Did not reproduce via local automation: 10/10 passing.</li></ul><i><br>Expected failures / disabled tests:</i><br><ul><li>[Reproduces manually] test_ftu_skip_tour.TestFtu - <a href="https://bugzil.la/1134257" target="_blank">Bug 1134257</a> Default value for 'About Firefox OS, Yes! Send Data.' causing fail in ftu_skip_tour</li><li>[Disabled] test_setup_and_send_active_sync_email.py - <a href="https://bugzil.la/1028192" target="_blank">Bug 1028192</a> - Problems with ActiveSync accounts</li><li>[Disabled] test_receive_active_sync_email.py - <a href="https://bugzil.la/1028192" target="_blank">Bug 1028192</a> - Problems with ActiveSync accounts</li><li>[Disabled] test_call_log_all_calls.py - <a href="https://bugzil.la/1096385" target="_blank">Bug 1096385</a> - Investigate failure in test_call_log_all_calls.py, call log is displayed erroneously</li><li>[Disabled] test_dialer_set_up_conference_call.py - <a href="https://bugzil.la/1117813" target="_blank">Bug 1117813</a> Make PlivoUtil use a valid 'answer_url' with a valid Plivo XML</li><li>[Disabled] test_fmradio_find_stations.py - <a href="https://bugzil.la/1000863" target="_blank">Bug 1000863</a> Investigate test_fmradio_find_stations.py failure</li><li>[Disabled] test_ftu_skip_tour_desktopb2g.py - Desktop Only</li><li>[Disabled] test_homescreen_column_layout.py - <a href="https://bugzil.la/1131037" target="_blank">Bug 1131037</a> Settings OoM and placing test in unexpected location</li></ul><br><b>Non-smoketests:</b><br><br><i>Test failures - 1 replicable manually:</i><br><ul><li>[Reproduces manually] test_settings_from_inbox - <a href="https://bugzil.la/1138517" target="_blank">Bug 1138517</a> UI flow change for reaching Settings in Messages causing permafail; not a product failure</li><li>[Not reproduced manually] test_toggle_airplane_mode - <a href="https://bugzil.la/1131070" target="_blank">Bug 1131070</a> Device is not recognizing that airplane mode is enabled, even though it shows that it is</li><li>[Not reproduced manually] test_settings_change_time_format - <a href="https://bugzil.la/1136156" target="_blank">Bug 1136156</a>
 Lockscreen shows incorrect time format after it's modified for the 
first time. Bug is resolved fix, keeping an eye on it for the patch to 
land</li><li>[Not reproduced manually] test_change_language_settings - <a href="https://bugzil.la/1137766" target="_blank">Bug 1137766</a> Exception finding Language. Reproduces via local automation; 10/10 failing</li><li>[Not reproduced manually] test_change_language_settings_rtl - <a href="https://bugzil.la/1137766" target="_blank">Bug 1137766</a> Exception finding Language. Reproduces via local automation; 10/10 failing</li><li>[Not reproduced manually] test_settings_power_save_mode.TestPowerSaveMode - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_call_contact.TestContacts - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_dialer_miss_call_from_known_contact_notification - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_sms_add_number_to_existing_contact - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_sms_forward_sent_message - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_sms_notification_removed_when_sms_deleted - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_settings_root - Did not reproduce via local automation: 10/10 passing</li><li>[Not reproduced manually] test_sms_notification_removed_when_sms_deleted - Did not reproduce via local automation: 10/10 passing</li></ul><i><br>Expected failures / disabled tests:</i><br><ul><li>[Disabled] test_ftu_skip_tour_desktopb2g.py - Test runs only on desktop</li><li>[Disabled] test_settings_sim_manager.py - Test requires device with 2 sims</li><li>[Disabled] test_fmradio_find_stations.py - <a href="https://bugzil.la/1000863" target="_blank">Bug 1000863</a> - Investigate test_fmradio_find_stations.py failure</li><li>[Disabled] test_dialer_set_up_conference_call.py - <a href="https://bugzil.la/1117813" target="_blank">Bug 1117813</a> - Make PlivoUtil use a valid 'answer_url' with a valid Plivo XML</li><li>[Disabled] test_homescreen_column_layout.py - <a href="https://bugzil.la/1131037" target="_blank">Bug 1131037</a> - Homescreen settings sub-menu not displayed when going to homecreen and back</li><li>[Expected fail] test_call_log_groups.TestCallLogGroups - <a href="https://bugzil.la/1117804" target="_blank">Bug 1117804</a> - [v2.2] Investigate test_call_log_groups failure</li></ul><br><b>Build under test:</b><br><br>Device firmware (base)    L1TC100118D0<br>Device firmware (date)    04 Mar 2015 01:20:03<br>Device firmware (incremental)    eng.cltbld.20150304.041952<br>Device firmware (release)    4.4.2<br>Device identifier    flame<br>Gaia date    03 Mar 2015 13:58:43<br>Gaia revision    3fc0ac309f5f<br>Gecko build    20150304010324<br>Gecko revision    c5b90c003be8<br>Gecko version    39.0a1<br><br><br><b>Summary:<br></b><br><i>Smoketests:</i><br><br>46 tests ran in 4880 seconds.<br>44 passed, 134 skipped, 0 failed, 1 errors.<br>1 expected failures, 0 unexpected passes.<br><br><br><i>Non-smoketests:</i><br><br>68 tests ran in 6378 seconds.<br>56 passed, 56 skipped, 2 failed, 10 errors.<br>0 expected failures, 0 unexpected passes.<br><br>69 tests ran in 6138 seconds.<br>66 passed, 56 skipped, 0 failed, 2 errors.<br>1 expected failures, 0 unexpected passes.</div>
</blockquote></div><br></div>