新一代云網融合數據中心關鍵技術研究

摘要：云網融合是通信技術和信息技術深度融合發展的必然趨勢，國家政策、市場和技術等各方面推動著云網體系架構從云網協同向云網一體的融合架構演進。以云網融合為代表的新型數據中心是產業的發展方向，伴隨著業務的拓展，迫切需要關鍵技術的革新。從云網融合數據中心演進趨勢出發，闡述了新業務與新挑戰，研究分析了新一代云網融合數據中心的關鍵技術。

關鍵詞：云網融合；數據中心；云網融合新型產品

0、引言

數字經濟時代，通信技術與信息技術快速融合，給信息基礎設施技術架構、業務形態和運營模式帶來了深刻變革。《“十四五”數字經濟發展規劃》明確指出，要推動云網協同和算網融合發展，加快構建以算力、算法、數據等多維資源協同為核心的全國一體化數據中心體系[1-2]。云網融合是通信技術與信息技術深度融合所帶來的信息基礎設施的深刻變革，在發展歷程上要經過協同、融合和一體三個階段，最終使得傳統上相對獨立的云計算資源和網絡設施融合形成一體化供給、一體化運營、一體化服務的體系[1]。

云網融合作為新型數字信息基礎設施的核心特征與重要底座，代表了信息產業發展的未來方向。以數據中心、云計算、邊緣計算等為代表的計算資源，以4G/5G、光網絡、互聯網等為代表的網絡資源，正通過新技術變革，使得具有不同特征與不同路徑的計算技術和網絡技術相互滲透，相互影響，最終實現深度融合與創新，為數字化轉型奠定堅實、安全的基石。數據中心作為算力資源在現實世界中的物理承載，是完成數字化發展的重要基礎設施[1-3]。以云網融合數據中心為代表的新型數據中心正成為產業發展方向，高算力、高技術是最主要的兩個特征[4]。下一代云網融合數據中心也在向高質量發展全面演進。當前，業界對云網融合數據中心的關鍵技術、應用場景做了較多的研究。然而，隨著數據中心逐步演變為地理上的分布式部署，出現了超大數據量遠距離訪問造成的高延遲、寬帶受限等難題；基于新一代網絡技術以及超強計算、存儲能力的全域統一的新型架構—超級云網架構被提出，迫切需要面對新一代云網融合數據中心的關鍵技術難點，有針對性地開展研究。筆者首先分析了促進云網融合數據中心發展的幾大因素，然后從云網融合數據中心最適宜的業務與衍生的產品出發，分析了影響業務擴張發展的幾個因素，對新一代云網融合數據中心的九大關鍵技術進行研究。

1、云網融合數據中心演進趨勢分析

1.1 云網融合數據中心新業務

云網融合數據中心承載了大數據業務、智算業務、科學計算業務等新型業務，自2017年起，這些新型業務都呈現出加速發展的趨勢，在電信業務收入中占比逐年擴大。這些新業務帶來了新的算力和網絡挑戰。云網融合的不斷發展可以為這些新型業務提供有力的計算、存儲、網絡資源等方面的支撐。新一代云網融合數據中心作為創新技術引領的“新基建”，伴隨著“東數西算”工程的實施不斷發展，構建了強有力的高性能網絡，來支持大數據業務、智算業務、科學計算業務等新興業務日益增長的高性能算力需求。

1.2 新業務帶來新趨勢

《關于加快構建全國一體化大數據中心協同創新體系的指導意見》提出要形成布局合理、綠色集約的基礎設施一體化格局[2]。企業系統部署模式從單數據中心為主演進為跨東西部的多個數據中心成為常態。其核心特征是利用西部數據中心的計算、存儲、網絡資源，為東部地區用戶提供高性能的訪問服務。重點是解決上千公里遠距離訪問的難題，最終為用戶提供透明的、順暢平滑的訪問體驗。算力資源的統籌、部署和調度需要布局以云網融合為核心特征的新型信息基礎設施，兩者的融合創新才能更好地支撐經濟社會數字轉型、智能升級。

總體來看，云網融合數據中心的發展受三個方面的影響：一是在國家政策方面，國家已經相繼出臺了數據中心相關的政策文件，強調全國一體化數據中心、新型數據中心、云網融合建設等，以及“東數西算”等相關工程的加速實施，這些都為云網融合數據中心的演進闡明了發展方向；二是在市場方面，異構算力需求加速涌現，為滿足多樣化算力需求提出的新型云網融合數據中心為云網融合的部署與建設提供了有效的市場牽引；三是在技術方面，高性能網絡、智能運維、超融合架構等技術的創新為云網融合數據中心的發展提供了技術保障[2]。

1.3 新趨勢下的機遇與挑戰

“東數西算”工程具有重大意義，但需要更加清晰地劃分各參與方之間的分工，可引導東部地區政府主導的智慧城市等平臺把大數據和視頻存儲放到西部地區，運營商重點負責解決超大數據量在遠距離訪問時的延遲和帶寬等難題。

“東數西算”業務需要探索新型計費模式和補貼模式，避免現階段直接對當前基礎云網產品計費帶來沖擊，以市場化的機制實現示范性的業務引導。

“東數西算”需要基于最新一代計算、存儲、網絡技術構建出覆蓋全國數據中心的新型國家級全域統一的超級云網架構，實現真正的對用戶透明的全算力全存力的一體化服務。

超級云網架構投資巨大，運營商具備最獨特的優勢，需要在政策上把需求方和建設方無縫地組織到一起。

2、云網融合數據中心新型產品

2.1 新一代云網融合數據中心對標產品架構分析

能源科學網絡（Energy Sciences Network，ESnet）是由美國能源部（The U.S. Department of Energy，DOE）資助研發的國家級高性能網絡平臺，基于云網融合、數據中心技術為美國全國范圍內的科研工作人員提供重要、可靠的技術支撐[5]。每天傳輸的流量包含來自數萬名研究人員的數據，總計為40多個DOE研究站點提供服務，涵蓋了國家實驗室系統、超級計算設施等科學儀器。為解決DOE資助的世界各地科學家之間的合作問題，該系統已經被連接到140 個研究和商業網絡[5]。2022年10月發布的Esnet6是Esnet下一代全國范圍內的數據中心網絡平臺，通過更為智能的云網融合技術，實現了更大容量和控制網絡上大量數據流的能力，旨在通過為DOE研究社區提供更高帶寬、更大靈活性、更快的數據傳輸能力和更好的安全性保證來駕馭當今世界面臨的“數據洪流”。ESnet6將美國全國范圍內一體化數據中心的可用性和智能性提升到一個新的水平，帶寬超過每秒46 TB，與前幾代網絡相比帶寬顯著增加。有了這種能力的提升，科學家們可以更快地處理、分析、可視化、共享和存儲由實驗、建模和模擬產生的大量研究數據[5]。

新網絡的作用不僅僅是增加容量，對于跨數據中心的數據流管理同樣發揮著極為重要的作用。ESnet工程師開發了智能、可編程和自動化的服務，這些服務是專門為支持當今科學研究中典型的PB數據流而開發的，并且可以用于新興的EB數據時代的管理。2021年，ESnet承載了超過1.1 EB的科學數據[5]。由于更強大的超級計算機的出現，ESnet承載的平均網絡流量每四年將會增加十倍[5]。同時，ESnet6還配備了新的自動化平臺，能夠快速配置跨數據源、跨數據中心的網絡路徑，以支持在兩分鐘的時間內在美國全國范圍內傳輸大型科學數據集。此外，ESnet6還在美國橡樹嶺計算中心（Oak Ridge Leadership Computing Center）和國家能源研究科學計算中心之間進行了數TB的實時地震模擬數據傳輸，同樣可以在幾分鐘內實現。

2.2 云網融合數據中心新型產品

2.2.1 長途數據高速傳輸公共服務平臺

“東數西算”工程需要公共服務平臺提供用于遠距離傳輸大數據的超大帶寬，東部地區用戶的數據產生速率和東部地區到西部地區的遠程復制速率的差距是目前限制全國一體化數據中心發展的原因之一。通過建設超大帶寬的公共服務平臺以滿足東部地區大數據遠距離傳輸到西部地區，提高東部地區用戶數據的遠程復制速率，能夠有效匹配海量設備的數據生產和傳輸。如圖1所示，在云網融合產品中提供多種訪問協議的支持和自動選擇，能夠在不需要對現有系統進行大的業務改造的基礎上，實現東部地區用戶產生的數據到西部地區數據中心的透明遷移。

圖1  長途數據傳輸方案

數字經濟的發展帶來的是數據量的迅速增長，在實踐上則體現為對強大算力資源的要求。西部地區具有優惠的電力資源和適宜的氣候，能夠促進整體產業的綠色低碳發展，優化全國范圍的數據中心布局，同時可以提高當地的信息化水平和數字經濟水平。數據的大量產生，東西部地區之間的地理間距，都對數據的傳輸平臺提出了新的要求，需要建設一個具有超大帶寬的公共服務平臺以滿足東部地區大數據遠距離傳輸到西部地區的要求。用戶提交的不同訪問需要用到多種服務，包括文件、大數據、對象等，保證足夠的傳輸速度是實現高效訪問各種流程的基礎。云網融合技術可支持多種協議，解決東部地區用戶數據遠程復制速率遠低于海量設備數據生產速率的問題，實現多協議互通，提升復制效率和流程效率。在不需要對現有系統進行大的業務改造的同時，實現用戶數據向西部數據中心的透明遷移。

云網融合[1,4]技術是當下技術發展的趨勢，也是未來客戶需求變化的必然結果，并且逐步向算網融合發展，云、邊、端算力的智能協同對網絡提出了更高的要求，在管道連接和流量服務等基礎服務之外需要提供更加智能的服務。傳統的云部署方案由于其中心化的結構難以高效服務于超低時延業務，對于終端應用所要求的低功耗、低成本、高性能，只有通過多云協同、云邊協同乃至云網邊端協同等方式提升實時性和可用性。運營商在云服務供應方面具有非常大的優勢，其中和傳統云服務提供商的重要區別是可以基于網絡的快速發展協同云服務實現多種形式和類型的云網融合產品，能夠實現二者更好的匹配，在提供高速數據傳輸的基礎上實現高效率的業務。

2.2.2 長途超大容量高速緩存公共服務平臺

如圖2所示，新一代云網融合數據中心平臺應具備低延遲訪問的特點，通過對西部地區離線計算結果和周期性熱數據的預加載，能夠保證東部地區用戶對保存在西部地區數據中心的數據的低延遲訪問。通過提供大數據內容分發網絡（Content Delivery Network，CDN）功能，實現更加流暢的“西經東送”。解決單一用戶建設此類大數據緩存資源池投資過大問題，通過公共建設與共享使用實現資源集約。

圖2  長途高速緩存方案

基礎網絡設施的升級能夠帶來數據中心的進化，同時也會帶來數據鏈路中流量的激增，對帶寬的要求也隨之變化。CDN能夠有效應對這種需求，可以實時地對數據加以監控和分析，進而提升服務質量。智能調度平臺的搭建在新一代數據中心的落地方案中變得更為重要，通過使用更為智能的調度策略來使整體過程協同完成，提升用戶訪問體驗。現在的用戶對于服務的低時延和流暢性具有更強的關注，低時延要求能夠及時反饋數據處理的結果，流暢性要求為用戶提供不間斷的服務。針對這兩點，CDN能夠解決由于物理傳輸距離過遠導致的多次網絡轉發問題，在面對海量請求時能夠提供低時延的響應和穩定的可用性。大數據CDN服務能夠為東部地區用戶提供更加實時性的服務，實現跨運營商、全國范圍的全網覆蓋，通過將邊緣分布存儲節點部署在全國骨干節點，高效利用帶寬資源，加速計算結果和熱數據的快速訪問，平衡源站的流量。這種負載均衡的分布式存儲技術也可以加強應對互聯網攻擊的可靠性。實現邊緣存儲節點的全國鋪設，通過提供超大容量高速緩存平臺能夠更好地實現“東數西算”的意義。

2.2.3 跨數據源、跨數據中心、跨引擎大數據智能計算公共服務平臺

新一代云網融合數據中心提供跨數據源、跨數據中心、跨引擎的大數據智能計算公共服務。其中包含智能計算優化器，為包含不同計算范式的數據處理鏈路提供整體優化方案，從而對分布在不同數據中心、不同存儲系統、不同集群的異構數據進行快速處理。如圖3所示，跨數據源、跨數據中心、跨引擎大數據智能計算公共服務平臺通過將計算下推到分布在各地的異構數據源，實現快速的異構數據分析響應，獲得比傳統處理方式更優的性能表現。計算需要的算力資源和數據傳輸需要的網絡資源通過深度融合可以提供更加自動化和智能化的服務，同時能夠壓縮時延和成本。算力就近分配，在降低時延的同時可以縮短實際的物理傳輸距離，大大降低了傳輸成本。運營商在實現新一代智能計算平臺中發揮著重要作用，根據實際需求將算力資源分配給不同的應用服務商，承擔算力和應用的中介身份串聯起整體服務過程，最終提供給用戶的將是真正的算力加應用的高度一體化服務。這也將促進運營商的身份轉型，從傳統的管道運營商到新興的綜合信息服務供應商。

圖3  大數據智能計算公共服務平臺架構圖

智能計算公共服務平臺對網絡提出了更高的要求，需要具備對應用和算力的感知能力，在應用信息被傳入到網絡后能夠合理部署業務、分配資源來滿足應用的服務等級協議要求。基于在代價估算中加入對集群負載、鏈路帶寬等因素的考量，得出最優的執行方案，拆分子查詢到不同數據中心的多個計算引擎執行。實現東西部融合的大數據計算和存儲，新業務無需重復建設大數據平臺，只需根據東西部智算平臺接口規范傳入數據和查詢數據，無需感知底層架構和數據地域分布。

3、新一代云網融合數據中心的九大關鍵技術

(1）可實時調整的新一代超大帶寬智能廣域網互聯技術：根據實際應用場景的需求，可以為企業提供彈性的數據中心互聯鏈路，可以從MB級別彈性提升到百GB級別至TB級別，且調整可在分鐘級別實現全鏈路提速和降速，無需長期租用昂貴的大帶寬長途專線。

云網融合數據中心服務平臺支持彈性適配和部署，能夠滿足智能應用任意量級的場景和終端設備的服務需要，并按照實際使用情況進行自適應化的資源調配。在云網融合數據中心之上需要構建多級的系統調度能力，實時高效獲取云網融合中的各級應用節點資源信息，分析用戶需求，實現動態的管理。采用算力路由技術將當前網絡中的異構算力及網絡態勢以路由信息的形式發布在網絡中，協同網絡和算力信息，采用以軟件定義廣域網絡（Software-Defined Wide Area Network，SD-WAN）與基于IPv6轉發平面的段路由（Segment Routing over IPv6，SRv6）為代表的智能化網絡隧道技術，在異構網絡鏈路的基礎上實現安全、彈性、靈活的網絡連接。

(2）大數據漂移計算技術：通過算子下推、就近協同計算等方法，改變現有數據必須匯聚到中心大數據湖的弊端，大幅減少遠距離數據傳輸的需求。

新一代云網融合數據中心作為一種全新的服務形態，協同調度云計算、邊緣計算、高性能計算等多元計算力，通過算子下推、就近協同計算等方法催生全新泛在的服務形態,減少數據傳輸的需求，形成形態多樣的服務。將在以大型數據中心為代表的云端，以邊緣計算單元為代表的邊緣端，以智能佩戴設備、個人電腦等為代表的終端形成算力“云—邊—端”泛在云網融合部署實例，以滿足各種業務場景下的帶寬、時延、安全和成本需求。

(3）智算中心遠程算力訪問技術：以中央處理器（Central Processing Unit，CPU）為主的大量現有機房可以通過100 km以上的遠距離無損網絡直接調用智算中心算力集群的圖形處理器（Graphics Processing Unit，GPU）的類統一計算架構（Compute Unified Device Architecture，CUDA）算子接口實現模型的訓練和推理，而無需傳輸大量原始數據。

新一代數據中心提供無損的網絡連接服務，通過流量控制、擁塞控制和流量調度等關鍵技術實現零丟包、低時延、高吞吐的遠程訪問。以CPU為主的現有機房對智算中心集群算力的調用可以通過這種遠距離無損網絡技術實現直接訓練和推理，不需要傳輸大量的原始數據。通過專門或高端的交換設備對通信進行加速，或是將多個單元的計算能力進行整合，能夠有效提高通信效率，解決傳統以太網絡擁塞丟包等問題。建設遠距離無損智算中心訪問平臺，能夠建立起算力、網絡和存儲的高效協同機制，提高效率。

(4）非結構化數據超大規模數據倉庫技術：通過預處理結構化關鍵幀技術減少視頻、圖片原始數據二次分析的計算量和傳輸量。

新一代數據中心在數據的存儲和計算方面具有優勢，能夠建立起非結構化的超大規模數據倉庫。如視頻類型的數據在形式上沒有結構，內容上有較強的邏輯，根據內容粒度可以被結構化為幀、鏡頭、場景和視頻四個層次。為了提高視頻瀏覽和存儲的效率，需要從沒有結構化的視頻數據中提取具有代表性的結構單元。關鍵幀是可以表述視頻內容的關鍵性圖像幀，通過結構化關鍵幀技術，可以減少檢索的數據量從而減少視頻、圖像等原始數據在二次分析中的計算量和存儲量。

(5）糾刪碼與全局數據在線重刪壓縮技術：突破性能下降問題，糾刪碼技術能夠使可用容量從裸盤容量的33%提升到90%以上，全局重復數據刪除與壓縮技術能夠使數據中心提供的業務存儲容量提升為原來的40 倍以上[6]。

新一代數據中心能夠在基礎的存儲業務之上提供更加智能和高效的糾刪碼和數據壓縮服務。在數據中心中應用糾刪碼技術，不僅可以實現數據保護，還可以為分布式系統、云計算系統節省存儲空間。通過將原始的數據進行編碼得到冗余，一并存儲數據和冗余以達到容錯的效果。重復數據刪除技術是一種消除重復數據的技術，識別并存儲唯一的數據塊或字節模式，通常與數據壓縮技術配合使用以節省大量的存儲空間。

(6）超高性能全閃并行文件存儲技術：應用于全國性的廣域網大規模跨數據中心數據高速緩存池，能夠優化輸入/輸出（Input/Output，I/O）密集型應用場景。

新一代的數據中心能夠提供全國范圍內的密集I/O應用，實現跨數據中心的高速數據傳輸鏈路和數據緩存。新一代全閃存儲硬件可以作為存儲平臺基座，實現更為高效的分布式存儲結構，實現更好的協同效果。云網融合下的數據中心可以進一步突破性能的局限，通過網絡資源將多個節點下的固態硬盤（Solid State Disk，SSD）資源進行組網，構建可用性高、拓展方便的存儲資源池，并將其推廣到全國范圍內的各類具有高I/O要求的服務對象。

(7）智能化資源需求預測技術：在超級云網基礎設施建設完成前，必須依賴智能化業務感知數據移動預測技術，精準調度各個企業的數據進行長途傳輸。

數據中心對資源的智能調度建立在需求感知的基礎上，通過智能化的業務感知技術預測不同用戶和應用的資源需求，為云網融合平臺的服務編排提供支持。結合人工智能、大數據技術等創新技術，為云網融合提供基于數據分析的網絡智能運維和監控，構建多種類型的算力服務模型，實現對服務的統一編排和調度，協同各個企業用戶的數據傳輸和算力資源，使得算網平臺成為云網融合的智慧中樞。

(8）基于數據處理器（Data Processing Unit，DPU）的數據壓縮、加密卸載技術：數據壓縮、數據存儲加密、數據傳輸加密是云網融合數據平面的突出特征。

為了實現新一代數據中心的最高算效比，需要構建規模化的DPU設備承載海量數據的計算下移。由原來集中于中心服務器發展為下放邊緣節點，依靠邊緣設備與終端的短距離實現實時處理。縮短數據傳輸距離降低了成本，分散了網絡面對數據激增時的壓力，同時做到節能省時。

(9）新一代云原生安全服務器主動防御技術：由于西部地區的數據中心存有數字經濟社會最全面的經濟數據，必須確保算力的安全訪問。

新一代云網融合技術將采用強調內生安全的新型網絡安全理念，為服務平臺的應用提供高可靠、高信用和高可用的三位一體的內生安全功能，保證數據和算力資源的安全訪問。

4、結束語

云網融合數據中心是數字經濟發展的重要支撐，算力和網絡作為其中的信息基礎設施核心，正在深度融合的發展中涌現出越來越多的發展形態，推動著新一代云網融合數據中心的持續演進。高算力、高技術是其中重要的特征，全國一體化、發展綠色化是核心布局。隨著數據中心逐步演變為地理上的分布式部署，迫切需要關鍵技術的革新，為技術迭代提供核心動力。筆者針對云網融合數據中心的關鍵技術難點，闡述了其中的關鍵和挑戰，并有針對性地對新一代云網融合數據中心在新時代基礎設施建設下的發展進行了技術探討，以促進其在當下信息資源布局下的快速發展。