本月早些時(shí)候，英偉達(dá)遭遇了罕見(jiàn)的壞消息，當(dāng)時(shí)有報(bào)道稱，由于設(shè)計(jì)缺陷，該公司備受期待的“Blackwell” GPU 加速器可能會(huì)延遲三個(gè)月之久。然而，英偉達(dá)發(fā)言人表示，一切都在按計(jì)劃進(jìn)行，一些供應(yīng)商表示，一切都沒(méi)有改變，而另一些供應(yīng)商則表示，出現(xiàn)了一些正常的延誤。

業(yè)內(nèi)人士預(yù)計(jì)，當(dāng)英偉達(dá)于下周三公布其2025財(cái)年第二季度財(cái)務(wù)業(yè)績(jī)時(shí)，用戶將對(duì)Blackwell的情況有更多的了解。

據(jù)悉，Blackwell 芯片——B100、B200 和 GB200——將成為下周在加州斯坦福大學(xué)舉行的今年 Hot Chips 會(huì)議的一個(gè)重點(diǎn)，英偉達(dá)將介紹其架構(gòu)，詳細(xì)介紹一些新的創(chuàng)新，概述在設(shè)計(jì)芯片時(shí)使用 AI 的情況，并討論用于運(yùn)行這些日益增長(zhǎng)的 AI 工作負(fù)載的數(shù)據(jù)中心中的液體冷卻研究。據(jù)英偉達(dá)加速計(jì)算產(chǎn)品總監(jiān)戴夫·薩爾瓦多稱，該公司還將展示已經(jīng)在其一個(gè)數(shù)據(jù)中心運(yùn)行的 Blackwell 芯片。

英偉達(dá)談?wù)摰拇蟛糠株P(guān)于 Blackwell 的事情都是已知的，例如 Blackwell Ultra GPU 將于明年推出，下一代 Rubin GPU 和 Vera CPU 將于 2026 年開(kāi)始推出。然而，Salvator 強(qiáng)調(diào)，在談?wù)?Blackwell 時(shí)，重要的是將其視為一個(gè)平臺(tái)，而不是單個(gè)芯片。Salvator 在本周為 Hot Chips 做準(zhǔn)備的簡(jiǎn)報(bào)會(huì)上對(duì)記者和分析師說(shuō)。

“當(dāng)你想到英偉達(dá)以及我們構(gòu)建的平臺(tái)時(shí)，GPU、網(wǎng)絡(luò)甚至我們的CPU都只是開(kāi)始，”他說(shuō)，“我們正在做系統(tǒng)級(jí)和數(shù)據(jù)中心級(jí)工程，以構(gòu)建這些能夠真正走出去并解決那些真正棘手的生成式 AI 挑戰(zhàn)的系統(tǒng)與平臺(tái)。我們已經(jīng)看到模型的規(guī)模隨著時(shí)間的推移而增長(zhǎng)，而且大多數(shù)生成式 AI 應(yīng)用程序都需要實(shí)時(shí)運(yùn)行，對(duì)推理的要求在過(guò)去幾年中急劇增加。實(shí)時(shí)大型語(yǔ)言模型推理需要多塊 GPU，在不遠(yuǎn)的將來(lái)還需要多臺(tái)服務(wù)器節(jié)點(diǎn)?！?/p>

這不僅包括 Blackwell GPU 和 Grace CPU，還包括 NVLink Switch 芯片、Bluefield-3 DPU、ConnextX-7 和 ConnectX-8 NIC、Spectrum-4 以太網(wǎng)交換機(jī)和 Quantum-3 InfiniBand 交換機(jī)。Salvator 還展示了用于 NVLink Switch（下）、計(jì)算、Spectrum-X800 和 Quantum-X800 的不同信息。

英偉達(dá)在今年 3 月的 GTC 2024 大會(huì)上推出了備受期待的 Blackwell 架構(gòu)，超大規(guī)模廠商和原始設(shè)備制造商也迅速與之簽約。該公司將其目標(biāo)直指快速擴(kuò)張的生成式人工智能領(lǐng)域，該領(lǐng)域的大型語(yǔ)言模型（LLM）將變得更加龐大，Meta 的 Llama 3.1 就是證明，該模型于 6 月份推出，配備了一個(gè)擁有 4050 億個(gè)參數(shù)的模型。Salvator 說(shuō)，隨著 LLM 越來(lái)越大，對(duì)實(shí)時(shí)推理的需求依然存在，它們將需要更多的計(jì)算和更低的延遲，這就需要一種平臺(tái)方法。

他說(shuō)：“與大多數(shù)其他 LLMS 一樣，將由該模型提供支持的服務(wù)有望實(shí)時(shí)運(yùn)行。要做到這一點(diǎn)，你需要多個(gè) GPU。所面臨的挑戰(zhàn)是，如何在GPU的高性能、GPU的高利用率以及向使用這些人工智能驅(qū)動(dòng)的服務(wù)的最終用戶提供良好的用戶體驗(yàn)之間取得巨大的平衡?！?/p>

01 速度的需要

通過(guò) Blackwell，英偉達(dá)將每個(gè)交換機(jī)的帶寬提高了一倍，從 900 GB/秒提高到 1.8 TB/秒。該公司的可擴(kuò)展分層聚合和縮減協(xié)議（SHARP）技術(shù) 將更多的計(jì)算帶入實(shí)際存在于交換機(jī)中的系統(tǒng)。它可以讓我們從 GPU 上進(jìn)行一些卸載，以幫助加速性能，還可以在 NVLink 結(jié)構(gòu)上幫助平緩網(wǎng)絡(luò)流量。這些都是我們?cè)谄脚_(tái)層面繼續(xù)推動(dòng)的創(chuàng)新。

多節(jié)點(diǎn)GB200 NVL72是一款液冷機(jī)箱，在機(jī)架規(guī)模的設(shè)計(jì)中連接了72個(gè)Blackwell GPU和36個(gè)Grace CPU，Nvidia稱其作為單個(gè)GPU，可為GPT-MoE-1.8T等萬(wàn)億參數(shù)LLM提供更高的推理性能。其性能是 HGX H100 系統(tǒng)的 30 倍，訓(xùn)練速度是 H100 的 4 倍。

英偉達(dá)還增加了對(duì) FP4 的本機(jī)支持，使用該公司的 Quasar Quantization System，可以提供與 FP16 相同的精度，同時(shí)將帶寬使用率降低 75%。Quasar Quantization System 是一款利用 Blackwell 的 Transformer Engine 來(lái)確保準(zhǔn)確性的軟件，Salvator 通過(guò)比較使用 FP4 和 FP16 創(chuàng)建的生成式人工智能圖像來(lái)證明了這一點(diǎn)，這兩種圖像幾乎沒(méi)有任何明顯的差異。

使用 FP4，模型可以使用更少的內(nèi)存，性能甚至優(yōu)于 Hopper GPU 中的 FP8。

02 液冷系統(tǒng)

在液體冷卻方面，英偉達(dá)將介紹一種溫水直接芯片到芯片的方法，這種方法可以將數(shù)據(jù)中心的用電量降低 28%。

Salvator說(shuō)：“這種方法有趣的地方在于它的一些好處，其中包括提高冷卻效率、降低運(yùn)營(yíng)成本、延長(zhǎng)服務(wù)器壽命，以及將捕獲的熱量重新用于其他用途的可能性。它肯定有助于提高冷卻效率。其中一個(gè)方法就是，顧名思義，這個(gè)系統(tǒng)實(shí)際上不使用制冷機(jī)。如果你想一想冰箱是如何工作的，就會(huì)發(fā)現(xiàn)它工作得很好。但是，它也需要電力。通過(guò)采用這種使用溫水的解決方案，我們就不必使用制冷機(jī)，這就為我們節(jié)省了一些能源，降低了運(yùn)營(yíng)成本?！?/p>

另一個(gè)主題是Nvidia如何利用人工智能，利用 Verilog 設(shè)計(jì)其人工智能芯片，Verilog 是一種用代碼描述電路的硬件描述語(yǔ)言，至今已使用了四十年。英偉達(dá)正在通過(guò)一個(gè)名為 VerilogCoder 的自主 Verilog 代理提供幫助。

他說(shuō)：“我們的研究人員開(kāi)發(fā)了一個(gè)大型語(yǔ)言模型，可用于加速創(chuàng)建描述我們系統(tǒng)的 Verilog 代碼。我們將在未來(lái)幾代產(chǎn)品中使用它來(lái)幫助建立這些代碼。它可以做很多事情。它可以幫助加快設(shè)計(jì)和驗(yàn)證過(guò)程。它可以加快設(shè)計(jì)的手工操作，并從根本上實(shí)現(xiàn)許多任務(wù)的自動(dòng)化。”