搭載1000瓦GPU的服務器要來了，AI耗電已超普通人類家庭上萬倍

        戴爾首席運營官 Jeff Clarke 在上周公司的財報電話會議上透露 Nvidia 最新的 AI 加速器將消耗 1,000 瓦，比前身增加 42%。

        即便如此，他表示即將推出的 Nvidia 芯片（他稱之為 B200）將不需要在數據中心服務器中進行液體冷卻。Nvidia 尚未宣布一款名為 B200 的芯片，但一些觀察人士推測，Clarke 可能指的是 Nvidia 路線圖上的 GB200 芯片，該芯片預計將結合 Nvidia 的 Grace CPU 和 B100 GPU，與 GH200 的配置相同。GB200的熱設計功率可達1,300瓦，比前代產品提高了30%。

        Nvidia 可能會在兩周后的 GTC 活動中透露更多信息。

        Nvidia 于 2023 年底推出了 H200，這是 H100 的更新版，由于采用了 HBM3e 內存，能夠將 LLM 性能提高一倍。

        在戴爾的財報電話會議上，Clarke說："我們對 H200 的發展及其性能提升感到興奮。然后他又說：要達到每個 GPU 1000 瓦的能量密度，確實不需要直接的液體冷卻。

        戴爾已經展示了在大規模液冷、互連、遙測和電源管理方面的專業技術。"這確實使我們能夠做好準備，將其大規模推向市場，以利用市場上將存在的這種令人難以置信的計算能力或強度或能力"。他說。

AI耗電是人類普通家庭上萬倍

        人工智能芯片的功耗是數據中心專家和戴爾等服務器制造商最關心的問題之一。

        據《紐約客》雜志報道，OpenAI的熱門聊天機器人ChatGPT每天可能要消耗超過50萬千瓦時的電力，以響應用戶的約2億個請求。相比之下，美國家庭平均每天使用約29千瓦時電力，也就是說，ChatGPT每天用電量是家庭用電量的1.7萬多倍。

        如果生成式AI被進一步采用，耗電量可能會更多。荷蘭國家銀行數據科學家亞歷克斯·德弗里斯在一篇論文中估計，到2027年，整個人工智能行業每年將消耗85至134太瓦時(1太瓦時=10億千瓦時)的電力。