打造一流AI測試環境、助力產業健康發展——人工智能關鍵技術與應用評測工業和信息化部重點實驗室工作縱覽

2017年10月初，工業和信息化部正式批復中國信息通信研究院承建人工智能關鍵技術與應用評測工業和信息化部重點實驗室（以下簡稱“人工智能實驗室”）。人工智能實驗室主要目標是針對人工智能服務和產品能力參差不齊、缺乏行業基準和標桿、用戶選型存在困難等問題，不斷從測試數據集、軟硬件環境、評估測試標準多方面夯實基礎能力，為人工智能產業界提供一流的咨詢和評測服務。

一、面向產業實際需求建設“可信AI評測” 體系

經過3年多研究和建設，人工智能實驗室“可信AI評測”體系逐漸完善，牽頭完成國際國內測評標準30余項，涵蓋人工智能芯片、智能語音、自然語言處理、計算機視覺、機器人流程自動化（RPA）、內容安全檢測等多個AI典型產品和服務，其中人工智能芯片基準測試標準（ITU-T F.748.11）為國際首個AI芯片評測標準。

中國信息通信研究院“可信AI評測” 體系（2022年3月）

二、建設多個專業測試環境和平臺

為進一步支撐人工智能典型產品和服務的測試需求，人工智能實驗室建設了異構AI硬件和框架選型服務平臺、數據集評測和服務平臺、語音語義測試服務平臺等多個專用測試服務平臺。

1、異構AI硬件和框架選型平臺

該平臺主要為業界提供深度學習計算卡、深度學習框架的異構選型測試服務。該平臺基礎設施層提供深度學習所需的存儲、計算、通信設備，配備了英偉達、寒武紀等多種深度學習計算卡；集成了業界最常用的多種深度學習框架，如TensorFlow、PyTorch、MXNet以及國內公司自研的深度學習框架Paddle和OneFlow等。

2、數據集評測和服務平臺

該平臺具備數據集的存儲，采集，使用，標注和管理等功能，主要支撐人工智能實驗室在智能語音語義，計算機視覺等產品的評估測試需求。目前在智能語音測試數據集方面，已經建成不同應用（語音識別，語音合成，機器翻譯，對話系統等）、不同場景（通用，新聞，對話，交互等）、不同音質（白噪聲環境、純凈環境、遠近場等）、不同產品（硬件終端、軟件、在線服務等）等類型的評測數據集。

3、語音語義測試服務平臺

該平臺主要面向語音合成、語音識別、語音評測、聲紋識別、自然語言處理產業鏈相關企業，提供數據集采集、評估測試等服務。該平臺建設了聽音室、錄音棚：其中，聽音室主要模擬不同家居環境下人與智能產品交互的場景配備人工嘴，可以通過滑軌改變人與智能產品間的距離，音箱播放不同的環境噪聲，四周墻壁上吸聲體可改變混響時間，用來模擬各類家居環境，實現模擬人與智能產品在不同家居環境、不同噪聲環境、不同距離的多場景交互測試。

聽音室

錄音棚配備有音頻工作站（專業音頻接口控制臺、標準聲樂制作軟件）、數字混響器、監聽音箱和監聽耳機等設備，人工智能實驗室核心指標混響時間小于0.15秒，可以滿足語言識別、語言合成等數據集的采集需求。

錄音棚

三、持續為業界開展評測服務

人工智能實驗室建設以來，不斷深耕人工智能技術、支撐和服務能力，有效推動人工智能技術水平的進步和應用水平的提升。截至2021年底，人工智能實驗室累計為近300余款產品提供了測試服務，涵蓋人工智能芯片、開發平臺、智能語音語義、計算機視覺、機器人流程自動化等多個類別。

產業界如有相關技術合作和評測需求，請聯系：

王穎

wangying5@caict.ac.cn

18630392456