“可信AI”人工智能開發平臺專項評測解讀

2022年1月14日，中國信息通信研究院（以下簡稱“中國信通院”）云計算與大數據研究所主辦的“2021年可信AI成果發布會”通過線上方式召開。會上中國信通院云計算與大數據研究所人工智能部工程師董昊對人工智能開發平臺評測結果進行了解讀。

標準編制單位

為解決人工智能開發平臺產品質量良莠不齊的現狀，助力用戶方選型和產品方研發，中國信通院云計算與大數據研究所聯合產業界近40余家單位聯合完成了《人工智能開發平臺系統功能要求》標準。目前該標準正在中國通信標準化協會（CCSA）以行標報批狀態、在中國人工智能產業發展聯盟（AIIA）以團標發布狀態同步推進中。

標準能力域介紹

《人工智能開發平臺系統功能要求》標準根據AI研發生產運營的流程，綜合考慮全面、獨立、簡潔等原則，圍繞人工智能開發平臺的數據處理、模型構建、模型部署和支撐與服務4個能力域對人工智能開發平臺的通用功能進行了規定和要求，包含145條基本功能以及58條高級功能。

截至2022年1月，人工智能開發平臺共開展了兩輪功能評測，評測主要依托《人工智能開發平臺系統功能要求》標準進行。對于用戶方，評測在重點考察AI開發平臺功能的基礎上，系統評估企業應用AI開發平臺的成熟度水平，同時橫向對標垂直領域用戶的應用情況，為產業界樹立平臺應用示范，為用戶方提升應用水平提供參考；對于產品方，評測可以客觀地評價企業AI開發平臺的技術水平，橫向對標企業技術能力現狀，圈定國內AI開發平臺企業第一梯隊的行業地位，為產品方提升技術和產品能力提供參考。

評測情況總覽

兩輪評測共11家企業參加，其中：中國工商銀行、中國聯通、華為云、騰訊云的平臺全能力域通過4級，平臺整體達到國內領先水平；百度、阿里云、第四范式平臺的模型構建能力域通過4級，單能力域達到國內領先水平；馬上消費、研華科技平臺的模型構建能力域通過3級，單能力域達到國內先進水平。

數據處理能力域評測分析

數據處理能力域方面，數據接入、數據分析、數據管理和數據標注通過率較高，而數據預處理通過率較低。組織結構健全的團隊標注成為平臺標準配置，通過預訓練模型實現智能標注成為平臺亮點。各類數據預處理的自動化處于應用試點階段，無監督數據增強仍需探索研究。

模型構建能力域評測分析

模型構建能力域方面，算法管理、特征工程、模型開發、模型訓練通過率較高，模型評估和自動學習通過率較低。平臺普遍配置豐富的框架及算法，提供交互式、可視化和自動化多種開發模式，并支持單機/分布式多種訓練方式。模型評估建議和模型可解釋性等能力有待提高，面向文本、語音和視頻場景的自動學習建模模版的支持能力還需加強。

模型部署能力域評測分析

模型部署能力域方面，模型管理通過率較高，模型部署和模型推理通過率較低。平臺對模型壓縮、模型編排以及邊緣設備的模型部署能力支持較為全面。基于規則的模型自動更新能力和模型在端云設備協同部署的能力有待進一步提升。

支撐與服務能力域評測分析

支撐與服務能力域方面，用戶認證、權限管理、計量計費、日志管理、監控告警和AI市場通過率較高，資源管理和安全通過率較低。權限、日志等信息化支撐能力較為完備，工作流相關基礎功能正逐步完善。GPU的虛擬化和池化、數據和模型的安全仍是產業痛點。

測試觀察1

人工智能開發平臺整合了多種異構資源，打造出“開箱即用”的用戶體驗。平臺普遍支持了3種以上主流的機器學習框架、深度學習框架和計算資源，并呈現出多種網絡資源和存儲資源融合應用的趨勢。用戶無需關注繁瑣的資源配置、復雜的工具選型等細節，可將精力聚焦在算法開發、模型驗證和業務運營，有效提升生產運營效率。

測試觀察2

大數據技術和云原生不斷賦能人工智能開發平臺，云數智融合趨勢將加速AI應用落地。大數據方面，近半數的平臺使用SparkML、Yarn等技術為用戶提供大規模機器學習任務的分布式計算，為基于結構化數據的智能決策持續賦能。云原生方面，容器化技術已經成為產業屆的事實標準并得到了廣泛應用，云原生與人工智能的融合也催生出MLOps、KubeFlow等理念和工具。

測試觀察3

自動學習逐步進入商用階段，未來將延伸應用至更多場景。自動學習技術開始被應用在開發流程的多個環節，但算法不成熟、算力和時間成本高昂使其局限在單一環節，難以拓展至通用場景的全流程進行應用。目前，產業界為平衡技術探索和工程實踐，開始沉淀和提供面向成熟場景的自動建模模版，如二分類等機器學習任務，圖像分類和目標檢測等深度學習任務。未來，技術的進步和場景的積累會讓自動學習應用至更廣泛的場景。

測試觀察4

AI資產的沉淀和管理成為產業共識，但AI資產的納管機制和安全體系有待完善。多數企業配備了AI市場對數據、特征、算法、模型、服務、工作流等AI資產進行沉淀和管理。模型作為核心AI資產在開發流程的各環節均有應用，如在數據處理環節使用預訓練模型進行智能標注，在模型訓練環節使用預訓練模型加微調進行模型開發，在模型部署環節使用原子模型編排進行復雜場景的模型部署。雖然AI資產的納管和安全已經受到了關注，但是完善的納管機制和安全體系仍是產業界需要努力的方向。

測試觀察5

人工智能開發平臺正在成為大規模AI應用的基礎設施。人工智能開發平臺提供機器學習和深度學習開發、應用和運維的能力，銜接起數據科學家、算法專家、業務專家和運維專家等各類角色的協作，提供AI資產存儲、應用和管理的服務。人工智能開發平臺可以幫助企業將AI生產從小作坊的手工模式轉化為大規模的流水線模式，推動AI應用的規模化落地。

工作計劃

針對人工智能開發平臺的發展仍面臨技術壁壘、安全風險、性能優化等挑戰，中國信通院云計算與大數據研究所、中國人工智能產業發展聯盟（AIIA）、中國通信標準化協會（CCSA）、人工智能工程化推進委員會將持續圍繞商業化人工智能工具、平臺和解決方案，開展技術研究、標準制定、評估測試、產業推進和智庫支撐等工作，協同行業各方推動人工智能健康發展，歡迎感興趣的企業和專家參與到我們的工作中。

聯系方式：

董老師

donghao@caict.ac.cn

15910462421（微信同號）

丁老師

dingxinhui@caict.ac.cn

18310905691（微信同號）

校 審 | 陳 力、 珊 珊

編 輯 | 凌 霄