Mutation analysis of specification-based contracts in software testing [Master Thesis]

Abstract

Software used in fields such as medicine, finance, aviation and aerospace, nuclear power etc. is required to be reliable. Any software failures in these fields may have catastrophic consequences such as human and financial losses, which may cause a great damage to the economy and to social well-being. Hence, before launching, software should be rigorously tested. Testing can uncover the conditions, which software cannot handle. Those conditions might be overlooked during development. So, software testing points to the faults in the software under development to be patched. The important element of software testing is the use of the adequate test cases. If the outcome of the test case is positive, that means testing did not reveal any fault, then this test case might be considered as inefficient and useless for the tested version of software. Therefore, it is important to check test cases on adequacy, which can be achieved by mutation analysis. This thesis focuses on checking the adequacy of the test cases for Decision-Table-augmented Event Sequence Graphs (ESG-DTs) representation of a system under test by using mutation analysis. Test cases are represented in the Complete Event Sequence (CES) and Faulty CES (FCES) forms. This thesis presents a new set of mutation operators for mutation of contracts represented in Multi-Terminal Binary Decision Diagram (MTBDD). This thesis introduces a new approach for mutation of the ESG-DT model by using the proposed MTBDD mutation operators. The proposed approach is evaluated on three cases. The results for all cases show the drawback of specific FCES test sequences and the relationship between the mutant detection by CES/FCES sequences and proposed mutation operators.

Tıp, finans, havacılık ve uzay, nükleer enerji vb. alanlarda kullanılan yazılımlar güvenilir olması için gereklidir. Bu alanlardaki herhangi bir yazılım arızası, ekonomiye ve sosyal refahına büyük zarar verebilecek insan ve finansal kayıplar gibi feci sonuçlar doğurabilir. Bu nedenle, başlatmadan önce, yazılım titizlikle test edilmelidir. Test, yazılımın işleyemediği koşulları ortaya çıkarabilir. Bu koşullar gelişim sırasında göz ardı edilebilir. Bu nedenle, yazılım testi, geliştirilmekte olan yazılımdaki hataları düzeltmeye işaret eder. Yazılım testinin önemli bir unsuru, yeterli test durumlarının kullanılmasıdır. Test durumunun sonucu pozitifse, bu, testin herhangi bir arıza göstermediği anlamına gelir, daha sonra bu test durumu, test edilen yazılım sürümü için verimsiz ve işe yaramaz olarak kabul edilebilir. Bu nedenle, mutasyon analizi ile elde edilebilecek yeterlilik test durumlarını kontrol etmek önemlidir. Tez, mutasyon analizi kullanılarak test edilen bir sistemin Karar Tablosu ile artırılmış Olay Sıra Çizgeleri (OSÇ-KT'lar) gösterimi için test senaryolarının yeterliliğini kontrol etmeye odaklanır. Test durumları Tam Olay Sırası (TAS) ve Hatalı TAS (HTAS) formlarında temsil edilir. Bu tez, Sözleşme-Çok Uçlu İkili Karar Diyagramında (ÇTUIKD) temsil edilen sözleşmelerin mutasyonu için yeni bir mutasyon operatörleri seti sunar. Tez, önerilen ÇTUIKD mutasyon operatörlerini kullanarak OSÇ-KT modelinin mutasyon için yeni bir yaklaşım sunar. Değerlendirme bölümünde, sunulan mutasyon analizi algoritmasının uygulandığı üç durum sunulmaktadır. Tüm mutantlar için sonuçlar, spesifik HTAS test sıralarının dezavantajını ve TAS/HTAS sıraları tarafından mutant tespiti ile önerilen mutasyon operatörleri arasındaki ilişkiyi göstermektedir.