數據驅動效能——軟件測試效能改進中的度量實踐

文 / 四川省農村信用社聯合社信息科技中心總經理 夏浩淳

四川省農村信用社聯合社信息科技中心 徐尚蕾

在金融行業數字化轉型的時代背景下，數據已成為金融業安全、高效、可控發展和管理的關鍵要素。如何利用數據驅動軟件測試人員效能提升，一直是業界的管理難題，目前主流的方式是采取多維度的融合評價，將“人員投入、產出數量、產出質量”進行指標化和模型化，最終量化展示，對測試人員績效進行評價和激勵。由此可見，效能的定義，不是純粹的快或慢、多或少，是效率兼顧了質量約束，避免數據驅動的行為走錯方向。本文提出兩層效能評價模型：第一層為組織層，對資源整體利用率和投入產出進行宏觀監測，用于衡量測試組織整體資源規模的合理性和組織效率水平；第二層為人員層，結合產品條線特點、崗位類型、個人工作量和工作質量，對測試人員效能進行精細管理。

軟件測試效能評價模型研究

1.組織目標+個人能力雙驅動。四川農信的測試組織目標是“提高測試效能、保障產品質量、驅動業務創新”。立足于組織層面的效能監測，聚焦員工訴求，建立了一套完整的效能評價方案。效能評價模型如圖1所示。該效能評價模型有助于實現三個目標：一是過程和結果的相互影響。組織層關注結果，通過質量監測、成本控制、效率監測來規劃測試組織的人員規模、人員結構、人員類型。人員層關注過程控制，通過對測試人員在關鍵過程活動中的效能進行綜合監控，如分析設計質量、缺陷提出質量、缺陷驗證效率，工作量等，以個人效能的持續激勵，帶動組織能力的提升和組織戰略目標的實現。二是形成管理和實施雙監督模式。貼合組織架構，測試管理部門和測試實施部門共同履行測試監督與控制職責，其中管理部門重心在組織層，實施部門重心在人員層，且實施部門是以不同產品條線、不同崗位分別開展人員效能評價，充分適應了銀行業務系統多樣復雜、測試人員崗位差異的特點。三是支持一體化的標準流程。效能評價應用目的和角色不盡相同，但都是基于同樣的標準化度量流程，從數據采集、指標計算到結果呈現，數據入口和出口的標準定義，是實現效能數字化的基礎。

圖1 軟件測試效能評價模型

2.以組織效能提升為導向。質量先行，當今金融業務邏輯復雜、功能日漸繁多、新型技術快速發展，對科技交付質量提出了更高要求。例如傳統的軟件質量測試和評價，以保障系統功能正確為主要目標，隨著分布式架構的廣泛應用和互聯網金融的快速發展，對性能、可靠性、可維護性、信息安全、用戶體驗等質量特性的要求越發突出，效能評價模型中除了基本的測試缺陷發現水平的衡量外，增加不同產品質量特性的覆蓋，使得質量評價更加完整，由此引導測試組織中人員結構的轉變，即由單一的功能測試人員結構，向功能、性能、安全、兼容性、用戶驗收等復合型人才結構轉變。四川農信已開展性能、安全、兼容性、用戶驗收等常態化測試，來加強對產品質量的覆蓋廣度，提高缺陷探測水平。

效率為重，大中型項目為實現按時交付往往要投入很多人力資源，組織規模不可避免變得龐大。例如四川農信日常維護研發每月平均修改產品規模（功能點FP）達7000多個，與此對應的測試規模，平均每月有9000條測試用例，執行次數達15000多次，有效衡量并提升組織效率，是管理的重中之重，效能評價模型中以資源整體利用率、工作量飽和度、測試生產效率綜合衡量測試投入和產出的變化。

成本可控，在保障質量和效率提升的前提下，測試人員規模隨著產品和任務規模動態調整，及時調整人員數量或人員結構，為組織帶來成本收益。效能評價模型中以單任務成本衡量測試成本控制。綜上所述，效能模型正是從質量、效率、成本三大維度綜合評價測試組織的效能。

3.以個人效能提升促發展。人員效能評價的難點在于，受業務類型和系統復雜性影響，以及不同測試崗位工作內容的差異影響，工作量很難統一化衡量。例如通過數據分析發現，執行效率在不同系統之間有差異：貸款條線執行人員平均每天執行14條用例，核心條線執行人員平均每天執行19條用例，電子銀行條線執行人員平均每天執行24條用例。工作量在不同崗位之間有差異：功能分析設計崗位平均每天編寫10條用例，執行崗位每天執行19條用例，性能測試崗位平均每天編寫和執行腳本量3-5條。在效能模型中，強調“一分一正”。一分指分條線分崗位分而治之，通過各條線測試實施負責人落實其組內人員的效能評價。一正指正流程正過程正向激勵，所有條線遵循統一的衡量標準和過程，持續監控員工效能變化，對員工效能正向評價，每個條線展示效能好的員工，對于持續效能低的員工適當采取淘汰，激發人員活力。人員效能評價模型由8個指標構成，取決于組織對測試過程的焦點落在哪里，例如在推進測試工作左移的背景下，強調測試從需求早期介入，以測試角度和業務要求相結合，盡早發現需求不清晰或不完整的問題，避免帶入開發測試階段造成軟件成本增加，故人員效能評價模型中突出需求評測數量，并要求至少50%的需求問題應在需求階段被發現。

軟件測試效能評價應用實踐

效能度量應用包括三部分：數據采集、指標計算、效能呈現。

數據采集：以往通過人工方式導出源系統數據并做進一步統計分析，在本次效能度量實踐中，數據采集經歷了人工到自動化的過程，這是度量數字化的重要基礎，一方面是提高了度量工作本身的效率，另一方面也是標準化的推進，避免人為采集數據過程引入差異。已實現在測試工具ALM上按度量周期自動抓取測試用例數和缺陷數，并將人工采集結果與自動獲取結果進行了比較驗證，證實了自動采集數據結果的正確性。

指標計算：首先是計算標準的推廣，《測試度量指標庫》收集和定義了61個度量指標，為組織開展度量提供了有效指導，對其中已經形成典型實踐的關鍵指標，召集了度量標準化培訓，正式發布29個指標，對評價目的和計算標準進行全面推廣并獲取一致認可。其次是計算結果的數據分析，在組織層效能實踐中，采用了在人工智能、大數據處理、經濟數據分析等領域廣泛應用的零均值標準化方法，得到質量、效率、成本、工作量等不同量綱數據的最終單一數值計量，樣本數據比較分段評分得到組織效能分布，對每個指標賦以權重得到組織效能的評價總分。在人員層效能實踐中，以缺陷命中率、有效缺陷數、泄漏缺陷數為綜合模型，每個指標經過標準化和權重處理，得到各個測試條線的質量水平，并率先實現了指標計算自動化。

效能呈現：在度量應用實踐中，我們總結了三不要原則：不要一次呈現過多數據、不要試圖一次度量所有方面、不要過分依賴一個度量。在測試效能呈現上，經過不斷地嘗試和實踐，形成了以雷達圖呈現組織整體效能分布、以趨勢線監測組織和條線效能變化、以榮譽榜激勵人員效能的有效方式，并在質量可視化平臺進行展示，持續化的開展測試評價。

從圖2測試組織效能分布可以看出：2021年和2020年質量水平接近；2021年成本控制，比2020年有提升；2021年效率和人均工作量飽和度，比2020年有下降，采取措施為人員結構和規模優化、開展常態化測試工作、自動化測試替代手工回歸、自動化測試輔助數據準備、測試管理系統建設提升管理效率等。經過數據標準化處理，按照權重：質量40%、效率30%、成本20%、工作量10%，對測試整體效能綜合評價，從圖3組織效能趨勢線可以看出，2020年測試組織效能綜合評價為92.93分，2021年前5個月每月的效能總體評價低于2020年平均水平，但呈逐月提升趨勢，從2021年6月開始，測試組織效能明顯提升并超過2020年平均水平。

圖2    組織效能分布

圖3 組織效能趨勢線

從圖4人員效能趨勢線可以看出：測試三組的質量較好，其次是測試四組，測試二組質量較低，測試一組不穩定。持續監測各條線人均編寫用例數、執行用例數和缺陷數，結合不同崗位人員的工作完成情況，每月按分析設計能手、執行能手、捉蟲能手進行榮譽榜公示，激勵測試人員。

圖4 人員效能趨勢線

總結及展望

測試人員能力提升是測試體系服務水平提升的前提和關鍵。本文采取規范化的效能度量手段，形成了常態化的效能度量機制。實踐證明，有效的度量能夠促進軟件測試隊伍能力結構轉型，人員積極性提升。后續工作將以此為最佳實踐，從三方面完善數據驅動測試效能工作：一是全面形成數據資源池，建立數據源系統的數據共享，自動采集數據；二是完善效能模型，以度量結果的評價效果持續改進模型參數和指標構成，從而引導常態化測試和測試左移工作的深入開展；三是依托質量可視化平臺，自動實時的呈現效能變化。最終，構筑好軟件測試全流程監測的數字底座，結合統計學方法和測試過程數據分析，建立科學的度量模型及數據可視化表達方法，提高在全生命周期對產品質量和測試效能的評價能力，并提高測試精細化管理水平。

（欄目編輯：張麗霞）