信創(chuàng)升級(jí)面臨性能短板

信創(chuàng)升級(jí)浪潮正席卷各行業(yè)，信創(chuàng)虛擬化、超融合及云平臺(tái)被廣泛應(yīng)用于承載核心業(yè)務(wù)。這些核心業(yè)務(wù)對(duì)云平臺(tái)的性能和穩(wěn)定性要求極高。然而，簡(jiǎn)單的信創(chuàng)升級(jí)常伴隨著性能下滑和穩(wěn)定性欠佳等問(wèn)題，極大地影響了改造效果。

以金融行業(yè)高頻訂單處理系統(tǒng)，工業(yè)自動(dòng)化控制系統(tǒng)，醫(yī)療行業(yè)HIS系統(tǒng)與PACS系統(tǒng)，以及智能交通管理系統(tǒng)為例，這些對(duì)搶占調(diào)度要求高的業(yè)務(wù)系統(tǒng)，對(duì)云平臺(tái)的計(jì)算能力、存儲(chǔ)性能和數(shù)據(jù)處理速度的要求不斷攀升。

在主流服務(wù)器采用的NUMA CPU 架構(gòu)下，系統(tǒng)包含多個(gè)NUMA節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)又有多個(gè)CCX（Core Complex的縮寫(xiě)，即緩存一致性復(fù)合體）。該架構(gòu)下，如何優(yōu)化CPU調(diào)度，提升虛擬機(jī)性能，成為信創(chuàng)高質(zhì)量升級(jí)的關(guān)鍵課題。

本文將以海光CPU架構(gòu)為切入點(diǎn)，深入剖析 CCX 對(duì)虛擬機(jī)性能提升的影響機(jī)制，并提出切實(shí)可行的性能提升方案。

海光CPU架構(gòu)關(guān)鍵技術(shù)解析

NUMA架構(gòu)特性：多處理器系統(tǒng)基石

隨著處理器技術(shù)逐漸逼近物理極限，多處理器集成技術(shù)應(yīng)用而生，NUMA 架構(gòu)憑借獨(dú)特的設(shè)計(jì)理念，為提升系統(tǒng)性能開(kāi)辟了新的方向。

NUMA（Non-Uniform Memory Access，非統(tǒng)一內(nèi)存訪(fǎng)問(wèn)）作為一種多處理器系統(tǒng)架構(gòu)，將內(nèi)存和處理器劃分為多個(gè)獨(dú)立節(jié)點(diǎn)。當(dāng)進(jìn)程訪(fǎng)問(wèn)本地NUMA內(nèi)存時(shí)，時(shí)延低；而經(jīng)QPI總線(xiàn)訪(fǎng)問(wèn)遠(yuǎn)端內(nèi)存時(shí)，時(shí)延顯著增加。這一特性使得進(jìn)程優(yōu)先在本地節(jié)點(diǎn)分配內(nèi)存，便于通過(guò)增加節(jié)點(diǎn)擴(kuò)展內(nèi)存和處理能力。這種架構(gòu)適用于數(shù)據(jù)中心、高性能計(jì)算集群等大規(guī)模多處理器系統(tǒng)。

NUMA架構(gòu)

CCX模塊：協(xié)同計(jì)算的核心單元

CCX作為系統(tǒng)進(jìn)行任務(wù)分配和處理的基本單元之一，源自AMD 在 Zen 架構(gòu)，海光 C86 系列CPU延續(xù)了這一設(shè)計(jì)。每個(gè)CCX整合多個(gè)處理器核心，同一 CCX 內(nèi)核心共享 L3 緩存，可減少約 15-20ns的跨核心數(shù)據(jù)訪(fǎng)問(wèn)延遲。通常一個(gè)NUMA包含2個(gè)CCX，每個(gè)CCX 集成 4 個(gè) CPU 核心，這種模塊化設(shè)計(jì)可靈活擴(kuò)展核心數(shù)，從16 核到 64 核，滿(mǎn)足不同場(chǎng)景需求。

CCX模塊

跨CCX運(yùn)行：降低了存儲(chǔ)性能

線(xiàn)程是 CPU 調(diào)度的基本單位，其執(zhí)行效率與緩存訪(fǎng)問(wèn)特性密切相關(guān)。同一 CCX 內(nèi)，線(xiàn)程能夠借助本地L3緩存，實(shí)現(xiàn)高效的數(shù)據(jù)交互。

然而在實(shí)際運(yùn)行中，Linux內(nèi)核會(huì)根據(jù) CCX 負(fù)載和內(nèi)存訪(fǎng)問(wèn)模式，動(dòng)態(tài)調(diào)整線(xiàn)程在不同 CCX 間的分配。這雖提升了系統(tǒng)級(jí)資源利用率，但可能導(dǎo)致存儲(chǔ)虛擬化工作線(xiàn)程分散到不同CCX（如圖①-②所示），造成跨CCX緩存失效和遠(yuǎn)端訪(fǎng)存，最終降低了存儲(chǔ)性能。

跨CCX模塊運(yùn)行

那么，如何破解這一難題，成為提升系統(tǒng)性能的關(guān)鍵。

深信服CCX軟親和調(diào)度，解鎖性能新高度

面對(duì)CCX調(diào)度難題，深信服信創(chuàng)超融合推出軟親和調(diào)度機(jī)制，實(shí)時(shí)監(jiān)測(cè)業(yè)務(wù)負(fù)載變化，實(shí)現(xiàn)CPU資源的動(dòng)態(tài)分配：

1.低負(fù)載場(chǎng)景：當(dāng)CPU負(fù)載較低時(shí)，優(yōu)先使用軟親和范圍內(nèi)的CPU，充分發(fā)揮資源訪(fǎng)問(wèn)的局部性?xún)?yōu)勢(shì)，降低調(diào)度開(kāi)銷(xiāo)；

2.高負(fù)載場(chǎng)景：當(dāng)CPU負(fù)載較高時(shí)，則會(huì)突破軟親和范圍的限制，增加CPU資源供給，保證業(yè)務(wù)服務(wù)質(zhì)量不受影響。

在C86場(chǎng)景下，深信服基于軟親和調(diào)度機(jī)制，頻繁交互的存儲(chǔ)服務(wù)線(xiàn)程進(jìn)行CCX調(diào)度精細(xì)化編排：

1.CCX 利用率低時(shí)，聚合線(xiàn)程降時(shí)延：當(dāng)CCX范圍內(nèi)CPU利用率低于特定閾值，將存儲(chǔ)線(xiàn)程聚合在CCX內(nèi)（如圖③所示），降低通信時(shí)延，提升IO性能；

2.CCX 利用率高時(shí)，分散線(xiàn)程保吞吐：當(dāng)CCX范圍內(nèi)CPU利用率高于特定閾值，允許存儲(chǔ)線(xiàn)程在更大CPU范圍內(nèi)運(yùn)行，避免資源爭(zhēng)搶?zhuān)瑴p少通信延遲，保障系統(tǒng)吞吐。

深信服軟親和調(diào)度機(jī)制

這一優(yōu)化策略，顯著提升了小塊性能，IOPS提高約20%，為用戶(hù)帶來(lái)了更高效的使用體驗(yàn)。

小塊性能提升20%

深信服 CCX 軟親和調(diào)度 VS 傳統(tǒng)方案

相較于業(yè)界其他方案，深信服的軟親和調(diào)度機(jī)制展現(xiàn)出顯著優(yōu)勢(shì)：

傳統(tǒng)調(diào)度方案的局限

業(yè)界多普遍依賴(lài)操作系統(tǒng)原生調(diào)度器CFS的通用負(fù)載均衡算法，缺乏對(duì)CCX拓?fù)鋵蛹?jí)的深度適配，導(dǎo)致跨CCX線(xiàn)程通信需頻繁穿透L3緩存層級(jí)，影響系統(tǒng)性能。

加之，部分廠(chǎng)商采用硬親和性綁定策略，雖避免了跨CCX開(kāi)銷(xiāo)，但犧牲了調(diào)度彈性。當(dāng)綁定的CCX內(nèi)運(yùn)行高優(yōu)先級(jí)計(jì)算任務(wù)時(shí)，容易引發(fā)資源爭(zhēng)搶面臨饑餓風(fēng)險(xiǎn)。

深信服軟親和調(diào)度機(jī)制

深信服通過(guò)為操作系統(tǒng)調(diào)度器提供CPU拓?fù)浜拓?fù)載指導(dǎo)信息，輔助系統(tǒng)做出更合理的調(diào)度決策，靈活調(diào)整CPU資源供給，實(shí)現(xiàn)低負(fù)載場(chǎng)景降時(shí)延，高負(fù)載場(chǎng)景保吞吐的效果，實(shí)現(xiàn)了性能與靈活性的平衡。