Black-box test case selection by relating code changes with previously fixed defects

Name: Black-box test case selection by relating code changes with previously fixed defects
Author: Çıngıl, Tutku

İsim	Black-box test case selection by relating code changes with previously fixed defects
Yazar	Çıngıl, Tutku
Basım Tarihi:	2023-01-20T06:24:16Z
Konu	Maliyet yazılımı, Cost software
Tür	Belge
Dil	İngilizce
Dijital	Evet
Yazma	Hayır
Kütüphane:	Özyeğin Üniversitesi
Kayıt Numarası	15fec070-6b0a-42e1-8a8b-d4b3e615ccc9
Lokasyon	Department of Computer Science
Tarih	2023-01-20T06:24:16Z
Örnek Metin	Software continuously changes to address new requirements and to fix defects. Regression testing is performed to ensure that the applied changes do not adversely affect existing functionality. The increasing number of test cases makes it infeasible to execute the whole regression test suite. Test case selection is adopted to select a subset of the test suite, which is associated with the changed parts of the software. These parts are assumed to be error-prone. We present and evaluate a test case selection approach in the context of black-box regression testing of embedded systems. In this context, it is challenging to relate test cases with a set of distinct source code elements to be able to select those test cases associated with the modified parts of the source code. We analyze previously fixed defects for this purpose. We relate test cases that detect these defects with the source files that are previously modified for fixing them. Then, we select test cases related with source code files that are modified in the subsequent revision. The strength of this relation is determined as the number of changes associated with fixed defects previously detected by the same test cases. We conduct a case study on 3 real projects from the consumer electronics domain. Results show that it is possible to detect from 65% up to 85% of the defects detected by the whole test suite by selecting from 30% up to 70% of the test cases., Yazılım, yeni gereksinimleri karşılamak ve kusurları gidermek için sürekli olarak değişmektedir. Regresyon testleri, uygulanan değişikliklerin mevcut işlevselliği olumsuz etkilemediğinden emin olmak için yapılmaktadır. Artan test senaryoları, regresyon testlerinin tamamının yapılmasını elverişsiz hale getirmektedir. Test senaryosu seçimi ile, yazılımın değişen parçaları ile ilişkili olan test senaryolarının seçilmesi benimsenmektedir. Bu tezde, regresyon testlerinde kara kutu test yaklaşımı ile gömülü sistemler üzerinde test senaryo seçimi için bir yaklaşım sunulmaktadır. Bu kapsamda, yazılımdaki değişen kaynak kodları ile test senaryoları arasında bir ilişki olduğunu ve bu değişen kaynak kodları ile test senaryoları seçmenin mümkün olduğu iddia edilmektedir. Hataları tespit eden test senaryoları, bunları düzeltmek için önceden değiştirilmiş kaynak dosyaları ile ilişkilendirilmektedir. Ardından, bir sonraki yazılımda değiştirilen kaynak kod dosyaları ile ilgili test senaryoları seçilmektedir. Ayrıca, değişen dosya birden fazla hata ile ilgili olabileceği için, değişen kod ve test senaryosu arasındaki ilişki her bir test senaryosu için farklı olarak tanımlanmaktadır. Bu tezde tüketici elektroniği alanında faaliyet gösteren 3 gerçek proje üzerinde çalışılmaktadır. Sonuçlar, test senaryolarının %30'u ile %70'i arasında seçim yaparak tüm test senaryoları tarafından tespit edilen hataların %65'inden %85'ine kadar tespit edilmesinin mümkün olduğunu göstermektedir.

Kaynağa git Özyeğin Üniversitesi

Aramaya Dön

Özyeğin Üniversitesi

Kaynağa git

Black-box test case selection by relating code changes with previously fixed defects

Yazar Çıngıl, Tutku

Basım Tarihi 2023-01-20T06:24:16Z

Konu Maliyet yazılımı, Cost software

Tür Belge

Dil İngilizce

Dijital Evet

Yazma Hayır

Kütüphane Özyeğin Üniversitesi

Kayıt Numarası 15fec070-6b0a-42e1-8a8b-d4b3e615ccc9

Lokasyon Department of Computer Science

Tarih 2023-01-20T06:24:16Z

Örnek Metin Software continuously changes to address new requirements and to fix defects. Regression testing is performed to ensure that the applied changes do not adversely affect existing functionality. The increasing number of test cases makes it infeasible to execute the whole regression test suite. Test case selection is adopted to select a subset of the test suite, which is associated with the changed parts of the software. These parts are assumed to be error-prone. We present and evaluate a test case selection approach in the context of black-box regression testing of embedded systems. In this context, it is challenging to relate test cases with a set of distinct source code elements to be able to select those test cases associated with the modified parts of the source code. We analyze previously fixed defects for this purpose. We relate test cases that detect these defects with the source files that are previously modified for fixing them. Then, we select test cases related with source code files that are modified in the subsequent revision. The strength of this relation is determined as the number of changes associated with fixed defects previously detected by the same test cases. We conduct a case study on 3 real projects from the consumer electronics domain. Results show that it is possible to detect from 65% up to 85% of the defects detected by the whole test suite by selecting from 30% up to 70% of the test cases., Yazılım, yeni gereksinimleri karşılamak ve kusurları gidermek için sürekli olarak değişmektedir. Regresyon testleri, uygulanan değişikliklerin mevcut işlevselliği olumsuz etkilemediğinden emin olmak için yapılmaktadır. Artan test senaryoları, regresyon testlerinin tamamının yapılmasını elverişsiz hale getirmektedir. Test senaryosu seçimi ile, yazılımın değişen parçaları ile ilişkili olan test senaryolarının seçilmesi benimsenmektedir. Bu tezde, regresyon testlerinde kara kutu test yaklaşımı ile gömülü sistemler üzerinde test senaryo seçimi için bir yaklaşım sunulmaktadır. Bu kapsamda, yazılımdaki değişen kaynak kodları ile test senaryoları arasında bir ilişki olduğunu ve bu değişen kaynak kodları ile test senaryoları seçmenin mümkün olduğu iddia edilmektedir. Hataları tespit eden test senaryoları, bunları düzeltmek için önceden değiştirilmiş kaynak dosyaları ile ilişkilendirilmektedir. Ardından, bir sonraki yazılımda değiştirilen kaynak kod dosyaları ile ilgili test senaryoları seçilmektedir. Ayrıca, değişen dosya birden fazla hata ile ilgili olabileceği için, değişen kod ve test senaryosu arasındaki ilişki her bir test senaryosu için farklı olarak tanımlanmaktadır. Bu tezde tüketici elektroniği alanında faaliyet gösteren 3 gerçek proje üzerinde çalışılmaktadır. Sonuçlar, test senaryolarının %30'u ile %70'i arasında seçim yaparak tüm test senaryoları tarafından tespit edilen hataların %65'inden %85'ine kadar tespit edilmesinin mümkün olduğunu göstermektedir.