案例 | 推進企業級DevOps建設，高效賦能數字化轉型
我國“十四五”規劃對數字中國建設、數字經濟發展進行了戰略部署，要以數字化轉型整體驅動生產方式、生活方式和治理方式變革，工商銀行積極對標數字化轉型國家戰略，提出了圍繞“數字生態、數字資產、數字技術、數字基建、數字基因”五維布局打造“數字工行（D-ICBC）”的總體方案。工商銀行軟件開發中心積極推動研發管理領域的數字化轉型，打造企業級的DevOps工具鏈，建立了研發管理全流程的協作樞紐，賦能金融科技隊伍提高價值交付能力，持續提升科技研發效能，為高質量賦能數字工行建設貢獻力量。
立足新發展階段，建立數字化轉型研發管理體系
隨著金融科技迅猛發展，銀行經營面臨的經濟金融環境、市場競爭環境、客戶需求發生深刻變化，研發需求持續攀升、業務熱點快速切換、交付速度和產品質量的要求越來越高，這既給工商銀行帶來新的發展動力，也對IT建設提出了新要求和新挑戰。
為了適應新形勢和新變化，建立更加敏捷高效的研發體系，工商銀行啟動了研發管理領域的數字化轉型工作。數字化轉型是以“數據、技術”雙要素為驅動，推動業務模式和管理模式的創新和變革，提升價值創造能力，實現企業級轉型升級和創新發展。通過對標業界頭部企業和優秀實踐，以優化提升流動效率（前置時間）、部署頻率、變更失敗率、平均修復時間等DevOps能力四大關鍵指標（4KM）為目標，對工商銀行的組織體系及團隊協作、流程優化、工具建設、人員培養等各領域工作進行全面梳理。一是制定符合實際需要的DevOps標準體系和實施方案，牽引組織、技術、流程的循環改進。二是引入先進技術、方法和工具，結合行內創新研發流程現狀，對現有工具進行整合、提煉、完善，打造高度標準化、自動化的DevOps工具鏈平臺，將軟件產品交付的各環節聯通形成自動化流水線，減少構建、部署、運維過程對相關專業技能和專職人員的依賴，打破機構壁壘；同時，在上下游各環節間設置不同類型的“質量門禁”，明確研發測試質量標準，未達標不允許流轉到下一個環節，通過自動化流水線和質量門禁，大幅提升軟件交付效率和質量，高效輸出業務價值。三是培養DevOps專家人才，組建工商銀行內部教練隊伍，廣泛傳導方法理念，積累可復制的經驗資產，形成敏捷、融合、協作的團隊文化，實現DevOps全面推廣落地。
2022年底，工商銀行基于研發管理數字化轉型的成果，內部正式發布了DevOps體系“工銀天樞”和研發管理統一門戶“e企研”。
推進DevOps核心能力建設，開展組織級推廣
工商銀行對標業界標準，制定了符合工商銀行發展需要的DevOps能力成熟度分級評估標準體系，著力推進“高效協同、持續交付、質量保障、環境支撐”四個DevOps核心能力的建設，規劃了價值交付、需求管理、應用設計、任務管理、個人開發、流水線、測試管理、投產管理、分層配置、架構設計、產品與項目管理、知識庫、效能度量、研發管理數據中臺共十四個服務域。通過統籌跨多服務域的信息共享，開展服務化重構，打造一站式、高效能、自動化的企業級DevOps工具鏈，實現了從業務需求到投產運維的全流程可視化，應用版本從構建到部署的全流程線上自動化，促進價值的高效流動和信息實時共享。建立組織級的推廣機制，培養了一批DevOps專家人才和內部教練，有效提升了規模化的落地效益，如圖1所示。
圖1 DevOps工具鏈服務域規劃
1.建立場景化的統一工作臺，提升協作效率
通過場景化的流程貫通、跨系統的功能整合及高效協作的可視化手段，提高業務和科技之間、研發團隊之間的協作效率。
（1）打造場景化的統一工作臺：構建用戶畫像，挖掘用戶痛點，以“e企研”為研發管理統一門戶，深度整合DevOps工具鏈的能力，按用戶場景聚合系統服務，建設聚焦科技員工高頻使用的待辦中心、消息通知、幫助中心及基于數字員工“阮曉妍”的輔助服務，重點打造項目經理、產品經理、設計人員、開發測試人員、應用支持人員和管理人員等關鍵角色的一站式工作臺，建立統一的用戶觸點，打通研發流程和數據，解決系統眾多和數據共享不足的問題，提升一線崗位沉浸式研發的體驗。
（2）構建端到端的可視化能力：推出了符合DevOps方法理念的價值交付看板，圍繞業務價值從產生創新計劃到投產的全流程，建設創新計劃、項目、需求、研發、團隊多層級看板視圖，從大到小、從宏觀到微觀逐層細化，相互引用和跳轉，覆蓋各機構、各層級用戶，以需求項為核心貫通“需求分析、軟件設計、編碼自測、集成測試、驗收及適應性測試、投產”六大環節，建立了業務與科技共享的端到端價值流，形成了完整的可視化看板體系。價值交付看板搭配智慧屏和團隊站會指南，目前已廣泛運用于團隊站會、迭代會、需求規劃會等場景，在提升團隊協作效能方面獲得一線用戶普遍認可。依托完備的度量指標體系，打造管理者大屏，建立智能化研發管理模型，通過數據驅動、智能診斷和自動推送各類過程性風險，從原來的“人找數”變成“數找人”，將風險信息快速反饋至研發人員，對風險及時采取應對策略，推動研發團隊的高效協作和持續改進，賦能管理效能提升，進一步夯實DevOps實施效果（如圖2所示）。
圖2 三層可視化體系
2.實現持續交付標準化的突破，賦能研發團隊
以DevOps方法為指導開展研發過程標準化建設，引入發布單元、服務環境等核心機制，建立了含代碼庫管理、構建、部署、流水線、配置等在內的持續交付標準，打造全流程的標準化流水線，規范和簡化構建部署的配置，實現應用部署流程的可驗證和可復用，提高生產部署自動化程度，降低投產實施風險。流水線交付實現100%全面覆蓋，2022年持續集成執行達到223萬次，平均投產時長壓縮70%以上。持續交付標準化已廣泛實施，配置簡化80%以上，突破性實現應用級部署流程“可驗證、可復用、自適應、可裁剪、可視化”等特性。另外，通過登錄統一的流水線平臺即可完成數百個應用的投產流程編排、投產準備、實施、確認等工作，不再依賴大量技術人員集中在投產現場操作值守，使工商銀行具備了自服務、常態化、高頻度、低成本地開展版本投產的能力，以及實施跨機構、跨地域遠程協同投產的技術條件。
（1）代碼提交：提交構建流水線。提交即觸發，針對增量代碼完成單元測試和代碼檢查。
（2）代碼集成：持續集成流水線。提供豐富持續集成原子操作，根據不同場景組裝和配置。
（3）版本交付：持續交付流水線。版本一鍵交付，自動觸發回裝驗證。
（4）版本上線：持續部署流水線。整體投產部署流程可復用、可驗證、自適應、可裁剪、可視化。
3.強化全流程各階段的出入口管理，提升研發質量
基于DevOps測試分層理論，建立了統一的測試方案和測試案例設計服務，支持工商銀行軟件開發中心、業務研發中心按需求項維度在線協同編寫測試方案，提升測試設計協作水平，建立統一的測試案例資產服務，支持跨中心共享測試案例，推動軟件開發中心單元測試、集成測試與業務研發中心驗收及適應性測試各階段案例的復用，實現測試方案、測試報告等信息共享，提升端到端測試效率。踐行測試左移和測試右移理念，持續完善設計質量評價體系，優化分層自動化測試策略，引入精準測試、生產流量回放等技術手段，強化用戶體驗、投產驗證、灰度發布驗收等機制措施，全面提升質量管控水平。
全面踐行質量內建原則，強化全流程各階段的出入口管理，并建設統一的質量管控服務，支撐各項質量保障措施和出口標準的落地實施。推廣“單元測試驅動開發（UTDD）”“驗收測試驅動開發（ATDD）”等方法，將功能測試案例轉移給開發團隊，減少下游測試、運維環節的質量壓力，同時降低了因質量問題造成的返工和資源浪費，在質量可控的前提下，逐步擴大直接發布應用范圍，實現版本的快速交付。建立完善的質量門禁管控機制，通過分級門禁來管控生產安全底線，目前共積累400+組織級代碼掃描規則、3000+個測試數據服務和Mock服務等，輔助開發測試人員做好代碼掃描和接口測試，UTDD自動化測試程序變更行覆蓋率和分支覆蓋率達到60%以上，交付質量和生產質量均有較大提升。
（1）提交構建門禁：在開發提交代碼變更時自動觸發流水線執行，檢測開發人員本次代碼提交的質量，如代碼掃描是否有高風險的問題、單元測試行覆蓋率是否達到一定的標準，協助開發人員及時發現和修改問題。各指標必須達標后才能將代碼合入發布分支，降低發現問題和解決問題的總體成本。
（2）交付準出門禁：建立分級交付門禁指標，多人代碼合并到發布分支后，對發布分支開展代碼掃描、構建、部署、自動化測試等環節，并在提交構建門禁基礎上增加了冒煙測試成功率指標，所有指標達標才能將版本交付出去，確保交付質量。
（3）投產準入門禁：持續交付流水線對接投產管理平臺，獲取投產準入狀態、灰度驗收狀態和投產窗口，線上控制投產行為，規范投產管理流程。
4.建設標準化的環境資源配置能力，實現資源統一管理
以環境配置標準化實施為基礎，建立環境配置自動化服務，打造貫通開發、測試、生產的環境交付流水線，標準化和自動化環境資源供給，為產品研發、環境運維團隊提供便捷一站式的服務。
（1）資源供應：建立新一代云服務門戶，實現云主機、裸金屬、PAAS容器等各類標準化資源的快速靈活供應。
（2）環境配置：完成開發、測試、生產環境的全流程自動化工具流水線建設；支持聯動驗收與適應性測試環境、數據中心生產環境實施自動化配置變更。
5.組建DevOps敏捷教練隊伍，夯實組織級推廣能力
在建立工商銀行DevOps成熟度標準體系的基礎上，同步啟動了行內DevOps敏捷教練培養工作。一是針對研發過程中的關鍵角色與所需技能，設置協作、需求、開發、測試、運維五類內部教練，同時編制相關培養方案及配套課程，推動DevOps細分領域的專業化人才隊伍建設，通過參與外部師資培訓、業界資質認證等方式持續豐富內部教練知識儲備，提升教練硬實力。二是通過科普圖文、趣味小視頻、線上工作坊等多種形式推動DevOps實踐傳播，在行內營造良好的學習氛圍。三是以成熟度標準試點為切入點，安排所有DevOps教練深入試點團隊開展入隊輔導，形成長效機制，通過解決團隊在對標過程中的實際問題，幫助試點團隊落地敏捷實踐，賦能團隊效能提升，促使團隊真正理解DevOps理念和意義，主動擁抱變化，產生良性循環，形成快速、融合、協作的團隊文化，實現人員成長和組織效能提升同步發展，支撐敏捷銀行建設。
后續展望
未來，工商銀行將繼續依托DevOps工作框架，通過創新的管理變革和先進技術的運用，進一步打破業務（Biz）、開發（Dev）和運維（Ops）的邊界，推動業務和科技的深度融合，構建BizDevOps新體系，以精益思路將價值評估、市場反饋融入到產品創新研發體系，強化科技對市場的敏感度和技術賦能業務創新的能力，持續提升科技價值創造能力，高效賦能全行數字化轉型。
