Test case generation from cause effect graphs

Abstract

Cause-effect graphing is a well-known requirement based testing technique. However, since it was introduced by Myers in 1979, there seems not to have been any sufficiently comprehensive studies to generate test cases from these graphs. Yet there are several methods introduced to generate test cases from Boolean expressions. This thesis proposes to convert cause-effect graphs into Boolean expressions and find out the test sets using test input generation techniques for Boolean expressions, such as MI, MAX-A, CUTPNFP, MUMCUT, Unique MC/DC and Masking MC/DC. Generated test sets are compared by using mutation analysis according to their fault detection capabilities. Myers’ original test generation technique is also implemented and included in the mutation analysis. A tool is created which allows to generate test cases by using the implemented algorithms. The tool gets a “.graphml” file representing a cause- effect graph as an input and gives the generated test set as an output. In addition, mutation analysis can be done with the implemented tool. 14 Requirements of TCAS-II are used as an experiment. Results of the mutation testing for these requirements showed that MUMCUT technique has the highest mutant detection success for all fault types. Moreover, Unique MC/DC technique has detected highest number of mutants per test case.

Neden-sonuç çizgeleri çok bilinen gereksinim tabanlı yazılım test yöntemlerinden biri olduğu halde Myers tarafından önerildiği 1979 yılından beri bu çizgelerden test girişleri üretilmesi konusunda yeterince kapsamlı çalışma yapılmamıştır. Ancak, Boole ifadelerden test girişlerinin üretilmesi için çeşitli yöntemler tanıtılmıştır. Bu tez çalışması, çizgelerin Boole ifadelerine dönüştürülmesini ve Boole ifadelerinden test girişlerinin oluşturulması için önerilmiş olan MI, MAX-A, CUTPNFP, MUMCUT, Unique MC/DC ve Masking MC/DC yöntemlerini kullanarak test giriş kümelerinin üretilmesini önermektedir. Ü retilen test giriş kümeleri mutasyon analizi ile, hata yakalama başarıları açısından kıyaslanmıştır. Myers’ın orijinal test giriş üretme yöntemi de uygulanmış ve yapılan mutasyon analizine dahil edilmiştir. Uygulanan algoritmaları kullanarak test girişlerinin üretildiği bir araç yaratılmıştır. Bu araç, çizgeyi ifade eden “.graphml” dosyasını girdi olarak alır ve üretilen test girişleri kümesini çıktı olarak verir. Ayrıca, mutasyon analizi de bu araç ile yapılabilir. Deney ic¸in TCAS-II sistemine ait 14 gereksinim kullanılmıştır. Bu gereksinimler üzerinde yapılan mutasyon analizi sonuçları MUMCUT tekniğinin tüm hata tiplerinde en yüksek mutant yakalama başarısını elde ettiğini gostermiştir. Ayrıca, Unique MC/DC tekniği, test girişi başına yakalanan mutant sayısı bakımından en yüksek değeri vermiştir.