Test case prioritization for regression testing using change impact analysis

Abstract

The test case prioritization aims to order test cases to increase rate of fault detection, and to reduce the time for detecting faults. In this study, a static source code analysis based approach, that uses change impact analysis is proposed. The proposed change impact analysis approach uses program slicing technique, method change information and Bayesian Network. With respect to the change impact analysis results, two test case prioritization approaches called LoM and LoM-Addtl are proposed, which is inspired by the "Law of Minimum" from biology and agronomy. The change impact analysis and test case prioritization approaches are performed on three well-known projects. The proposed change impact analysis results are evaluated with precision and recall metrics. On the other hand, the proposed test case prioritization methods LoM and LoM-Addtl are compared with five other test case prioritization techniques and evaluated with the APFD measure. The results of the change impact analysis showed that when a software has completed 75% of its development, 97%-100% of the affected methods and changed methods are predicted. On the other hand, the LoM and LoM-Addtl test case prioritization approaches showed consistent results when compared to the traditional test case prioritization techniques. However, it has been observed that, LoM and LoM-Addtl performed better than the traditional methods when version jumps are smaller. Furthermore, following an Additional in LoM (LoM-Addtl) has shown better results compare to LoM.

Bu çalışmada, regresyon testinde ortaya çıkan test sınıfı önceliklendirilmesi problemi ele alınmıştır. Test sınıfı önceliklendirilmesinin amacı, test sınıflarını sıraya koyarak, hata yakalama oranının artırılması ve bu hataların daha kısa sürede bulunmasının sağlanmasıdır. Bu çalışmada, statik kaynak kod analizine dayalı, değişiklik etki analizi kullanan bir yaklaşım önerilmiştir. Değişiklik etki analizi yaklaşımında program dilimleme, metod değişim bilgisi ve Bayes Ağları kullanılmıştır. Değişiklik etki analizi sonuçlarına göre, biyoloji ve tarım bilimindeki "Minimum Kanunu"ndan esinlenmiş olan LoM ve LoM-Addtl test sınıfı önceliklendirme yaklaşımları önerilmiştir. Değişiklik etki analizi ve test sınıfı önceliklendirme yaklaşımı üç adet iyi bilinen projeye uygulanmıştır. Önerilen değişiklik etki analizinin sonuçları kesinlik ve geri getirme metriklerine göre değerlendirilmiştir. Bunun yanısıra, LoM ve LoM-Addtl test sınıfı önceliklendirme yöntemleri, beş farklı test önceliklendirme yöntemi ile APFD ölçümüne göre karşılaştırılmıştır. Değişiklik etki analizinin sonuçlarına göre, bir yazılımın yaklaşık %75’i tamamlandığında, etkilenen ve değişen metodlar %97-%100 oranında tahmin edilmiştir. Diğer taraftan, LoM ve LoM-Addtl test sınıfı önceliklendirme yaklaşımları, geleneksel test sınıfı önceliklendirme yöntemleri ile karşılaştırıldığında tutarlı sonuçlar vermiştir. Ancak, LoM ile LoM-Addtl’nin bazı şartlar altında, versiyon atlamaları daha küçük olduğunda, geleneksel yöntemlerden daha iyi sonuçlar verdiği görülmüştür. Bununla beraber LoM üzerinde Additional yöntemi (LoM-Addtl) izlenilerek LoM’dan daha iyi sonuçlar elde edilmiştir.