AI服務器哪家強？浪潮還是寧暢？

深度圍觀頻道

優質科技領域創作者

文/公眾號 深度圍觀 和訊名家簽約作者

產品到底哪家強，自己說了都不算，也不是比誰聲音大，最好是有個公平的競賽，好在世界是公平的，權威的世界級比賽還是有的。

要判斷AI服務器哪家強, 國際AI性能基准測試MLPerf可以說是試金石。

MLPerf 由圖靈獎得主大衛帕特森（DavidPatterson）聯合谷歌、斯坦福、哈佛大學等頂尖學術機構發起成立，是影響力最廣的國際AI性能基准評測。

2018年，來自百度、谷歌、哈佛、斯坦福以及UCB大學的工程師和科學家們共同開會探討推動了MLPerf測試的誕生。這項測試旨在推動機器學習領域技術的發展，也為衡量機器學習系統性能建立了一個相對權威的標准。

MLPerf是一系列測試機器學習性能表現的標准。它通過在一個標准目標下訓練機器學習模型的時間，作為一套系統性能的測量標准。其中訓練任務包括圖像識別、物體探測、NLP自然語言處理以及強化學習等。而在最新的1.0版本中，MLCommons又增加了兩項新的測試項目：語音-文字轉換以及3D醫學圖像處理。

所以，對於品牌來說發榜日是個重要而且緊張的日子。

6月30日，MLPerf如期發榜，此次性能評測基於最新 MLPerf Training V1.0 基准，涵蓋了圖像分類（ResNet）、醫學影像分割（U-Net3D）、目標物體檢測（SSD）、目標物體檢測（Mask R-CNN）、語音識別（RNN-T）、自然語言理解（BERT）、智能推薦（DLRM）以及強化機器學習（Minigo）8類AI應用場景，每類場景都包含固定任務(Closed)和開放優化(Open)兩類性能競賽。

其中最大的看點是：國際大廠布再屠榜，中國品牌表現可圈可點。

01

八大場景測試 寧暢浪潮雄霸榜單

6月30日，國際權威AI性能基准評測平台MLPerf，發布了基於Training V1.0 的最新標准測試結果。寧暢 AI服務器X640 G40和X660 G45，分別以48.43、28.64成績，取得固定任務（closed）賽道，單機服務器系統的MASK R-CNN、U-NET3D兩項AI場景世界性能第一。

也就是說寧暢 AI服務器X640 G40和X660 G45在固定任務（closed）賽道8大場景測試中收獲兩大場景世界冠軍。

而另外國產大廠---浪潮，在固定任務（Closed）賽道的全部8項任務中，獲得圖像分類 ResNet、自然語言理解 BERT、目標檢測 SSD 和智能推薦 DLRM 4項訓練任務性能冠軍，其中，浪潮 NF5688M6 獲得 ResNet、DLRM 和 SSD 的單機訓練性能第一，NF5488A5 獲得 BERT 的單機訓練性能桂冠。

浪潮 NF5688M6和NF5488A5在固定任務賽道8大場景中一共收獲4項冠軍。

“國家對”表現非常強勁，浪潮在毫不掩飾自己的喜悅，新聞標題用上了：“浪潮AI服務器斬獲半數冠軍”。而寧暢則是直接用：“世界冠軍!寧暢服務器獲MLPerf 新紀錄“來表達。

此情此景，真有點中國乒乓球隊領獎的味道。

寧暢這樣簡單描述這一重要賽事的勝利：一秒分析5040張X光照片、AI"奧運會” MLPerf放榜、寧暢AI服務器再獲世界性能第一。

浪潮則憑借卓異的軟硬件系統優化能力，將 MLPerf 訓練基准的單機效率進一步提升至新的高度。相比2020年 MLPerf Training v0.7 榜單，浪潮刷新了圖像分類、自然語言理解、目標檢測（SSD）和智能推薦4項任務的單機訓練性能紀錄，將模型訓練耗時分別縮短了17.95%、56.85%、18.61%和42.64%，凸顯出頂級 AI 服務器在 AI 模型訓練效率上的巨大價值。

浪潮在 MLPerf 基准評測中的出色表現，得益於在 AI 計算系統創新上卓越的系統設計能力和全棧優化能力。在硬件層面，針對 AI 訓練中常見的密集 IO 通信瓶頸，浪潮 PCIe Retimer Free 設計實現了 CPU-GPU 間通道免中繼高速互聯，大幅降低通信延遲，極大提升了 AI 訓練效率；同時，針對高負載多 GPU 協同任務調度，對 NUMA 節點與 GPU 之間的通信進行全面優化和基准調校，確保訓練任務中的數據 IO 無阻塞通信；此外，在通信散熱層面，針對目前業界功率最高的 500W 80GB A100 GPU ，浪潮率先開發的先進片上液冷系統，確保 GPU 在全功率甚至超頻負載下依然穩定工作，將 AI 計算系統的性能發揮到極致。

寧暢同樣刷新的新記錄，寧暢奪冠的兩大場景MASK R-CNN、U-NET3D是重量級圖像目標檢測以及圖像分割模型，其應用場景包括自動駕駛、醫療圖像分析、監控、工業檢測等，是典型數據中心應用模型。而第一成績背後是每秒分析5040張X光照片、57000張圖片以及570餘次訓練迭代的，單機服務器世界極限處理速度。

寧暢方面介紹，本次MLPerf Training V 1.0測試，共有16家國際一線廠商在固定任務（closed）賽道，提交了91個單機系統配置，並於DLRM、MASK R-CNN、Resnet50、SSD、U-NET3D等8個AI場景下，產生超百項測試成績。MLPerf測試的AI場景包含固定任務(Closed)和開放優化(Open)兩個賽道，固定任務(Closed)更側重公平性，參與測試的各計算系統基於同一套參數運行。搭載英特爾第三代至強可擴展處理器、Optane BPS大容量持久內存以及NVIDIA A100 Tensor Core GPU的寧暢X640 G40以及X660 G45，從眾多機型配置中“殺出”，以48.43、28.64分鐘成績奪得MASK R-CNN、U-NET3D場景的單機世界性能第一，取得新世界性能紀錄。

在MASK R-CNN、U-NET3D測試中，單機服務器系統需要運行29GB、21GB的原始圖像數據，並通過分析與迭代最終完成模型訓練。而完成過程所耗費時間越少，則印證系統性能越強。

此處劃重點：

除獲得以上兩項性能冠軍外，在橫向比較搭載同400W功耗GPU的單機服務器系統，寧暢X660 G45在DLRM（推薦系統）、SSD（目標檢測）固定任務賽道，以1.92、8.51分鐘成績取得世界性能第一。

請大家注意的是：浪潮 NF5688M6 獲得 DLRM 和 SSD 的單機訓練性能第一，搭載的是500W功耗GPU ，寧暢搭載的是400W功耗GPU 。

從這個角度上來說，寧暢收獲的同樣是八大場景4個冠軍席位。

02

兩強爭霸不是頭一回

我們來看去年榜單，2020年


美國東部時間10月21日，全球備受矚目的權威AI基准測試MLPERF公布推理測試榜單。

10月22日，浪潮AI服務器NF5488A5宣稱一舉創造18項性能紀錄，在數據中心AI推理性能上遙遙領先其他廠商產品。

同日，寧暢AI服務器X640宣稱：首登MLPERF，斬獲30項AI性能世界第一，同配置測試獲16項世界第一。

當時，寧暢工程師介紹，參加MLPERF INFERENCE（推理）基准測試的X640 G30 AI服務器，最高可支持10張NVIDIA A100 PCIE卡或21張NVIDIA T4 PCIE卡，堪稱“
性能猛獸”。

在去年基准測試中，浪潮AI服務器NF5488A5在開放優化(OPEN)和固定任務(CLOSED)的RESNET50基准性能測試中，均表現優異，相比2019年MLPERF推理榜單的服務器最好性能提升高達3倍


。

總體來說，浪潮和寧暢都在去年的冠軍的基礎上獲得了長足的進步。

值得注意的是，寧暢是奪冠MLPerf的唯一初創公司，而


浪潮是全球領先的 AI 計算廠商， AI 服務器市場份額全球第一，在中國的市場份額已連續四年保持在50%以上。

不知道，面對如此貼身肉搏的寧暢，是否感到了壓力？

03

結 語

我一直認為AI時代已經來臨，但一服務器品牌主管堅持認為AI是一項技術。

如果從靜態的角度來看，AI的確是一項技術。但從動態來看，AI帶來了方方面面的改變，讓我們感受到生活的各種便利和豐富多彩，關鍵是帶來了產業鏈上的悄然變化。

浪潮IPF2021數據中心合作夥伴大會，公開資料中沒見英特爾攜手。回想起，2020年同樣的大會，同樣以智算為主題，IPF2020 宣傳網頁上清晰呈現：“英特爾攜手浪潮，讓智者更強。”而今年的合作大會上，浪潮與寒武紀發布AI服務器“揚子江”

再來看，累創佳績的浪潮AI服務器NF5488A5采用的是2顆AMD EPYC7742處理器。

浪潮首席科學家王恩東在談到智慧時代算力需求的時候說：“在2020年以GPU為代表的AI加速芯片所交付的計算力已經超過了同類CPU，預計到2025年加速芯片所提供的計算力可能在整個計算力交付當中超過80%。”

王恩東在談到挑戰多元化時說：“不同數值精度的計算類型對計算芯片的指令集、架構等要求也是不一樣的，這樣就導致之前一直使用的通用CPU沒有辦法滿足多元計算場景的要求，應當說這也是計算芯片種類越來越多的重要原因。”

在多元化這一段段落最後，王恩東告訴大家：“英偉達公司的CUDA軟件環境更是通過長期的大規模的投入才打造了支撐GPU在HPC和AI方面的霸主地位。”

聽話聽音，作為一位IT業者，你或多或少意會了英特爾為什麼沒有攜手，或多或少你都能意會到產業鏈變革已經來臨。剩下的問題是，你還以為AI 只是一項技術麼？