OCP如何應對下一代數據中心的散熱設計挑戰？

  隨著(zhù)高數據量需求的應用不斷增長(cháng)，超大規模數據中心的工作負載亦十分繁重。數據中心內的網(wǎng)絡(luò )流量大幅增加，促使數據中心架構師開(kāi)始尋找新方法以實(shí)現更高的數據速率和輸送量。

  目前，最先進(jìn)的網(wǎng)絡(luò )適配器（NIC）的每個(gè)接口具備200G的運行速度。如今，為了滿(mǎn)足數據中心日益增長(cháng)的需求，業(yè)界正朝向使用400G NIC 的方向發(fā)展，但前提是相關(guān)的支持技術(shù)需要同步取得一系列進(jìn)展，而這絕非易事。

  在去年的開(kāi)源計算項目（OCP）全球峰會(huì )上，我們發(fā)表的演講深入探討了伴隨這項轉變而來(lái)的散熱挑戰，以及我們合作的工作小組在解決這些挑戰上所采取的獨特方法。

  400G運作的散熱挑戰

  下一代數據中心會(huì )過(guò)渡至400G網(wǎng)絡(luò )適配器，因而面臨各種散熱方面的挑戰。

  我們面臨的第一項挑戰，是更高的數據速率會(huì )消耗更多功率。通過(guò)廣泛的研究、實(shí)驗和模擬，我們發(fā)現數據速率和熱量產(chǎn)生之間是線(xiàn)性關(guān)系，其中數據速率提高一倍將使系統發(fā)熱量增加兩倍以上。結論是什么？那就是網(wǎng)絡(luò )適配器從200G轉變成400G后，將使系統熱量大幅增加 。

  第二項挑戰在于可支持400G NIC的基礎設施。400G NIC與使用被動(dòng)式直接連接電纜（DAC）的200G  NIC不同，它有時(shí)候可能需要使用到高功率主動(dòng)式光纜 線(xiàn)（AOC）來(lái)支持數據速率。這些高功率AOC的功耗可高達8W，會(huì )將自身的熱量導入系統，在以高數據速率純粹分析數據后，所增加的溫度之上再增溫。

  對基礎設施的質(zhì)疑

  這些迫在眉睫的散熱挑戰，使我們對目前的NIC環(huán)境基礎架構中某些零組件的可行性產(chǎn)生質(zhì)疑。我們與NIVIDIA和Meta兩家公司合作，開(kāi)始更加深入地探究這項挑戰。

  我們所探究的一個(gè)主要重點(diǎn)在于外型尺寸。具體而言，我們研究了OCP NIC 3.0業(yè)界標準的小尺寸SFF（ small form factor）的可行性，看看它與建議高度較高的TSFF （tall SFF）相比如何。眾所周知，TSFF可以提供更多空間，因此能實(shí)現更優(yōu)異的輸入及輸出（I/O ）散熱解決方案，但在理想情況下，系統架構師可以在可能的情況下繼續采用SFF。真正的問(wèn)題在于，SFF尺寸是否能為400G NIC提供可行的解決方案？或者是我們需要轉而將TSFF尺寸視為業(yè)界標準？

  這個(gè)問(wèn)題很難給予直接的答復，因為有幾個(gè)變數可能會(huì )對結論有所影響。出于這個(gè)原因，我們的研究考慮了許多可能顯著(zhù)影響散熱性能的因素，包括：

  · 外型尺寸：TSFF與SFF的比較

  · NIC ASIC的功率限制（僅限用DAC電纜）

  · 模組類(lèi)型：QSFP-DD Type 1與Type 2A的比較

  · 監測位置點(diǎn)：機箱后部上方的平均溫度、散熱器底座溫度和前端溫度

  · 測試設備類(lèi)型：有/無(wú)測試裝置

  冷通道與熱通道的比較模擬試驗的設置與假設

  每一度攝氏溫度的變化，對結論都有影響，因為它涉及到可行性，因此有必要確保我們的模擬試驗足以代表一個(gè)現實(shí)且合理的情況。

  對此，我們的模擬試驗使用了TSFF和SFF兩種外型尺寸的OCP NIC 3.0網(wǎng)路接口卡來(lái)建立模型。NVIDIA慷慨地為我們的研究提供了可進(jìn)行模擬試驗的ASIC原型設計散熱模型ConnectX-6 DX。為了對ASIC原型設計進(jìn)行模擬試驗，我們假設功率上限為23W，并根據配備標準鋁制散熱器的裝置建立了模型。

  對于QSFP-DD類(lèi)型模塊，我們使用了常態(tài)功耗為10.2W的多通道散熱模型。就像ASIC原型設計一樣，我們選擇為QSFP-DD模型配備了標準的鋁制散熱器，使覆蓋的受熱表面積最大化， 但不采用任何先進(jìn)的冷卻技術(shù)或材料，目的是要了解前面所強調的變數之間的相對影響。

  對于模擬試驗的環(huán)境，我們同時(shí)測試了熱通道和冷通道兩種環(huán)境。熱通道的環(huán)境溫度為55°C，氣流速度范圍為200至1000 LFM（ 每分鐘線(xiàn)性英尺，氣流方向從后至前。所有這些都符合OCP 3.0的技術(shù)規范。另外一個(gè)不同的環(huán)境是冷通道，模型環(huán)境溫度為35°C，氣流速度范圍為200到 600 LFM，氣流方向從前至后。

  如圖1所示，我們的模擬使用了符合OCP NIC 3.0規范的NVIDIA測試設備，包括安裝在測試室內的兩張相同的網(wǎng)絡(luò )適配器。

圖1 我們在模擬中所使用的測試裝置和模型設置

  研究結果：外形尺寸的影響

  這個(gè)模擬試驗結果讓我們了解到，數個(gè)邊界條件和變數是如何對散熱性能產(chǎn)生了非零 影響（也就是說(shuō)，不只是攝氏幾度）。

  在我們研究中，第一個(gè)值得注意的結果是，外型尺寸對QSFP-DD模型的散熱性能造成的重要影響。如圖2所示，我們發(fā)現TSFF的散熱性能明顯優(yōu)于SFF， 尤其是在氣流速度較低的時(shí)候。在這種情況下，散熱性能提高了高達6°C。盡管這個(gè)結果并不令人驚訝，但6°C的改進(jìn)幅度的確是很顯著(zhù)。

圖2 在我們的模擬中發(fā)現，TSFF的散熱性能表現比SFF好。

  同樣地，我們的研究結果顯示，在熱通道應用中使用TSFF尺寸時(shí)，ASIC原型設計的 散熱性能提高了10°C之多。另外，關(guān)于NIC ASIC原型設計的功率限制（采用被動(dòng)式 DAC的應用），對于QSFP-DD Type 1模塊與QSFP-DD Type 2A模塊，我們的研究 結果顯示，與在熱通道條件下的SFF相比，采用TSFF的模塊功率增加了約 2.5W。

  研究結果：還須考慮其他變數

  除了造型，我們的研究還深入了解模塊類(lèi)型和監測位置點(diǎn)對散熱結果的影響。在經(jīng)過(guò)與業(yè)界標準的卓越性能進(jìn)行比較之后，我們發(fā)現Type 2A的熱性能提高了大約4°C。這項改進(jìn)主要是因為T(mén)ype 2A的QSFP-DD在模型本身前端 有一個(gè)外部整合的散熱器，同樣地，這并不令人驚訝，但仍然十分重要。

  最后，我們發(fā)現不同的監測位置點(diǎn)（也就是模組上接受探測的點(diǎn)）之間存在 溫度偏差。例如，我們的模擬試驗顯示，監測散熱器底座的溫度比監測前端的結果低5 °C。如圖3所示，在量化NIC模組的熱性能時(shí)，監測位置點(diǎn)顯然是一個(gè)不可忽視的考慮因素。

圖3 所使用的監測位置點(diǎn)對散熱結果有重大影響

  研究結論

  我們的研究深入了解了幾個(gè)特定變數和邊界條件對散熱性能的影響，但研究結果并不是主要的結論。比起關(guān)于哪些設置能「合理呈現真實(shí)環(huán)境」的發(fā)現來(lái)得更加重要的是，這項研究告訴我們，業(yè)界需要就這些變數和邊界條件達成共識。

  以模塊類(lèi)型和監測位置點(diǎn)等變數為例子，我們的結果顯示，模塊類(lèi)型對散熱性能會(huì )造成重大的影響，這個(gè)發(fā)現引起了一個(gè)疑問(wèn)：除了將SFF尺寸排除作為用于 400G NIC可行的外型尺寸之外，是否可以保留SFF尺寸但改用Type 2A Q SFP-DD模塊？到目前為止，業(yè)界尚未達成共識，想要對SFF的可行性得出真正的結論，最要緊的是我們必須先把共識定義下來(lái)，并且得到業(yè)界的認同。

  同樣地，業(yè)界目前也沒(méi)有針對監測位置點(diǎn)達成一致的標準。我們的研究顯示，監測散熱性能的位置點(diǎn)會(huì )對模擬結果產(chǎn)生重大影響，差距甚至可高達5°C。如果我們不能就監測位置點(diǎn)達成一致的共識，那么所有的研究之間就缺乏統一性 ，這將使我們無(wú)法真正地去比較結果。這里要再次強調，OCP和整個(gè)業(yè)界要邁向400G NIC 發(fā)展，首先必須達成共識。

  呼吁采取行動(dòng)

  要如何才能達成關(guān)鍵的業(yè)界共識？我們認為，需要模塊、I/O、NIC、系統和數據中心架構師等多個(gè)專(zhuān)業(yè)領(lǐng)域人士的參與。這樣的合作將協(xié)助OCP更適當地協(xié)調可實(shí)現的目標，并確定最合適的環(huán)境來(lái)進(jìn)行這些可行性研究。而且，由于到目前為止的研究所涵蓋的范圍并不全面，我們還必須另外考慮其他的變數，包括采用QSFP-DD主動(dòng)電纜（ AEC）的可行性，預計其排出的熱量將低于A(yíng)OC。如果業(yè)界發(fā)現SFF無(wú)法適用AOC，下一步可能是考慮使用主動(dòng)式線(xiàn)纜 (AEC)。再加上，如果我們希望發(fā)展采用TSFF尺寸的網(wǎng)絡(luò )適配卡，就需要將研究 內容擴大，以涵蓋采用整合散熱器的八個(gè)電氣通道設計模塊（OSFP-RHS） 端口的可行性。

  多方合作對于達成散熱設計共識極為重要，而OCP組織將發(fā)揮關(guān)鍵作用。Molex莫仕很榮幸能與Meta和NVIDIA合作對相關(guān)的下一代解決方案進(jìn)行研究。我們合作設計測試方案，并仔細進(jìn)行模擬以量化每一個(gè)已定義變數的影響， 然后共同分析結果，并在數據中心要求提高溫度時(shí)，尋求達到新性能水準的方法。