軟件所提出測試用例冗余檢測新方法
文章來源: | 發布時間:2022-07-07 | 【打印】 【關閉】
近日,軟件所互聯網軟件技術實驗室在軟件測試用例冗余檢測方向中取得進展。團隊提出了一種細粒度的冗余測試用例檢測方法,該方法通過識別測試用例中包含的關鍵測試要素,比較測試用例在關鍵測試要素上的差異,實現了更準確的冗余測試用例檢測。團隊運用工業界的真實測試數據進行評估,評估結果表明,該方法超越學術界和工業界現有最好方法,能夠在不犧牲召回率的前提下,提升30-39%的冗余檢測準確率,從而提升了冗余檢測的整體精度。
在系統測試、第三方測試等場景中,測試用例通常由自然語言描述,但由于需求冗余、測試人員周轉等原因,不可避免的會出現大量冗余測試用例,從而增加了測試成本。以往的冗余檢測方法通常是將測試用例的文本描述作為整體來比較用例之間的相似性,由于無法感知測試用例在關鍵測試要素上的細微差別,導致冗余檢測的精度較低,影響了測試效率且潛在增加了測試成本。
針對以往基于全文相似度的冗余檢測方法存在的精度低的問題,該研究定義了功能組件、操作、系統狀態、測試工具和限制條件等5種測試用例中包含的測試要素,并提出一種細粒度的冗余檢測方法Tscope。該研究方法能夠從用例描述中自動化識別測試要素,通過測試要素之間存在的關聯關系將測試用例分解為若干個語義元組。通過對比元組中測試要素的差異,來實現細粒度的測試用例冗余檢測。
研究成果以“Putting Them under Microscope: A Fine-grained Approach for Detecting Redundant Test Cases in Natural Language”為題被軟件工程領域頂級會議ESEC/FSE 2022錄用。該論文的主要貢獻者為軟件所博士生常志遠、博士后李明陽、副研究員王俊杰、研究員王青和工程師李守斌。該研究成果獲國家重點研發計劃項目支持。
Tscope方法流程圖