近日，由天翼云科技有限公司彈性計(jì)算產(chǎn)品線天璣實(shí)驗(yàn)室獨(dú)立撰寫(xiě)的兩篇論文《PheCon: Fine-Grained VM Consolidation with Nimble Resource Defragmentation in Public Cloud Platforms》及《Yggdrasil: Reducing Network I/O Tax with （CXL-Based） Distributed Shared Memory》被ACM International Conference on Parallel Processing(ICPP)收錄。
ACM ICPP是計(jì)算機(jī)體系結(jié)構(gòu)、并行與分布計(jì)算、存儲(chǔ)系統(tǒng)領(lǐng)域的頂 級(jí)會(huì)議之一，也是世界上最古老的連續(xù)舉辦的并行計(jì)算國(guó)際會(huì)議之一。ACM ICPP收錄論文均經(jīng)過(guò)嚴(yán)格的同行雙盲評(píng)審，近五年平均接收率為27.9%。此次天璣實(shí)驗(yàn)室兩篇論文的成功收錄，既是國(guó)際機(jī)構(gòu)對(duì)天翼云技術(shù)創(chuàng)新能力的認(rèn)可，也是中國(guó)企業(yè)在國(guó)際學(xué)術(shù)舞臺(tái)影響力日益增強(qiáng)的有力證明。
本次收錄的兩篇論文分別闡述了天翼云天璣實(shí)驗(yàn)室團(tuán)隊(duì)自主設(shè)計(jì)與研發(fā)的兩大創(chuàng)新成果，包括面向大規(guī)模云數(shù)據(jù)中心管理的智能資源調(diào)度技術(shù)——PheCon和基于“聚合計(jì)算”產(chǎn)品理念的面向新一代云計(jì)算基礎(chǔ)設(shè)施的網(wǎng)絡(luò)I/O加速技術(shù)——Yggdrasil。
PheCon:細(xì)粒度云數(shù)據(jù)中心智能資源碎片整理算法
在云計(jì)算場(chǎng)景下，由于數(shù)據(jù)中心負(fù)載水平的波動(dòng)性和需求的不確定性，各個(gè)物理服務(wù)器普遍存在資源碎片問(wèn)題，造成數(shù)據(jù)中心資源浪費(fèi)。如圖1所示，客戶(hù)需要緊急開(kāi)通6臺(tái)指定規(guī)格的云服務(wù)器，但集群內(nèi)剩余資源只能滿(mǎn)足4臺(tái)云服務(wù)器，形成典型的資源碎片現(xiàn)象。如何應(yīng)對(duì)資源擴(kuò)容中常見(jiàn)的周期長(zhǎng)、成本高等挑戰(zhàn)，滿(mǎn)足極端場(chǎng)景下的客戶(hù)需求，成為亟需解決的難題。
圖1. 碎片整理示意圖
本論文創(chuàng)新性提出一種新型細(xì)粒度碎片整理算法——PheCon，通過(guò)云服務(wù)器二次調(diào)度的方式聚合集群內(nèi)資源碎片，以滿(mǎn)足更大規(guī)格資源的開(kāi)通需求。同時(shí)，該論文還提出了基于分治思想的NUMA感知啟發(fā)式算法和“誘導(dǎo)遷移”（Induced Migration）技術(shù)，通過(guò)規(guī)格填充、物理服務(wù)器選擇、云服務(wù)器排序和NUMA調(diào)度，實(shí)現(xiàn)集群布局優(yōu)化。
基于上述技術(shù)特點(diǎn)，PheCon可適配天翼云“2+4+31+X”的資源布局和異構(gòu)數(shù)據(jù)中心的異構(gòu)資源特點(diǎn)，做到一池一算、算無(wú)遺策，滿(mǎn)足全域異構(gòu)資源的二次調(diào)度，實(shí)現(xiàn)分鐘級(jí)的快速碎片整理，提供優(yōu)質(zhì)的上云體驗(yàn)。目前，天璣智能調(diào)度平臺(tái)穩(wěn)定運(yùn)行PheCon碎片整理功能，累計(jì)提供服務(wù)72次，每年節(jié)省運(yùn)營(yíng)成本超過(guò)千萬(wàn)元，減少碳排放超百?lài)崱?/p>
Yggdrasil:CXL使能的無(wú)感網(wǎng)絡(luò)I/O性能加速
在通信密集型應(yīng)用程序的運(yùn)行過(guò)程中，基于Linux內(nèi)核的操作系統(tǒng)網(wǎng)絡(luò)通訊組件面臨巨大的運(yùn)行負(fù)擔(dān)。為有效解決上述問(wèn)題，本論文提出Yggdrasil網(wǎng)絡(luò)通訊平替方案。
Yggdrasil是天翼云聚合計(jì)算團(tuán)隊(duì)預(yù)研的下一代數(shù)據(jù)中心網(wǎng)絡(luò)通信技術(shù)。如圖2所示，該技術(shù)可基于CXL共享內(nèi)存實(shí)現(xiàn)用戶(hù)態(tài)的高性能TCP/IP通信，且完全兼容現(xiàn)有的socket API，無(wú)需修改代碼即可完成性能加速。天璣實(shí)驗(yàn)室團(tuán)隊(duì)通過(guò)模擬和真實(shí)CXL硬件進(jìn)行評(píng)估的結(jié)果表明，Yggdrasil 可使Memcached的吞吐性能相比傳統(tǒng)Linux socket高出8.2倍，并在不同消息大小的微基準(zhǔn)測(cè)試中，將通訊延遲降低到傳統(tǒng)方式的0.3%到4.1%。
圖2. 關(guān)于Yggdrasil快速/慢速通信路徑示意圖
Yggdrasil的性能優(yōu)勢(shì)與易用性主要得益于三個(gè)方面的設(shè)計(jì)優(yōu)化:
（1）在跨主機(jī)通信中，Yggdrasil采用基于CXL的分布式共享內(nèi)存(即快速通信路徑)以提升性能，在CXL不可用的情況下，自動(dòng)無(wú)感切換回傳統(tǒng)socket(即慢速通信路徑)。
（2）Yggdrasil依托于受信任的用戶(hù)空間監(jiān)控守護(hù)進(jìn)程管理通訊連接控制平面操作，減少上下文切換開(kāi)銷(xiāo)。數(shù)據(jù)平面采用對(duì)等模型進(jìn)行跨物理主機(jī)的進(jìn)程間通信，充分利用CXL共享內(nèi)存的性能優(yōu)勢(shì)。
（3）為彌補(bǔ)socket API和共享內(nèi)存之間的語(yǔ)義鴻溝，采取多種技術(shù)兼顧接口兼容性和性能優(yōu)勢(shì)。
基于Yggdrasil的I/O網(wǎng)絡(luò)性能優(yōu)勢(shì)及良好的API接口兼容性，Yggdrasil方案將在天翼云彈性計(jì)算產(chǎn)品線自主設(shè)計(jì)和研發(fā)的聚合計(jì)算平臺(tái)進(jìn)行落地，以減少網(wǎng)絡(luò)I/O稅，從而為客戶(hù)提供更澎湃的算力資源，助力客戶(hù)創(chuàng)造更多價(jià)值。
面向未來(lái)，天翼云將繼續(xù)加強(qiáng)關(guān)鍵核心技術(shù)自主攻關(guān)，以領(lǐng)先的產(chǎn)品能力夯實(shí)數(shù)字基礎(chǔ)設(shè)施底座，為千行百業(yè)數(shù)字化轉(zhuǎn)型保駕護(hù)航。
（推廣）