Nov 22, 2023 0 45 0

Nvidia 於 2023 年 11 月 13 日推出了 H200,這是一款尖端圖形處理單元 (GPU),專為訓練和部署推動當前生成式 AI 革命的先進人工智能模型而定製。這款新 GPU 是對其前身 H100 的升級,OpenAI 使用 H100 來訓練其最複雜的語言模型 GPT-4。這些晶片的供應有限引發了大公司、初創公司和政府機構之間的激烈競爭。

Nvidia H200 GPU.webp

根據 Raymond James 的估計,H100 晶片的成本在 25,000 美元到 40,000 美元之間,必須將大量這些晶片組合起來,以促進最大模型的訓練,這一過程稱為「訓練」。Nvidia 的 AI GPU 對市場的影響導致該公司股價顯着飆升,到 2023 年迄今已增長 230% 以上。Nvidia 預計第三財季收入約為 160 億美元,增幅高達 170%與上年相比有所增長。H200 通過整合 141GB 尖端「HBM3」內存實現了重大進步,增強了晶片在「推理」過程中的性能。推理涉及部署經過訓練的模型來生成文本、圖像或預測。

Nvidia 聲稱 H200 生成輸出的速度幾乎是其前身 H100 的兩倍,利用 Meta 的 Llama 2 LLM 進行的測試證明了這一點。H200 將於 2024 年第二季度發佈,將與 AMD 的 MI300X GPU 競爭,後者具有相似的屬性,並且還擁有增強的內存功能,可以容納大型推理模型。

H200的一個顯着優勢是與H100的兼容性,使得目前使用舊模型的AI公司可以無縫集成新版本,而無需更改伺服器系統或軟件。H200可以通過Nvidia的HGX完整系統整合到四GPU或八GPU伺服器配置中,還有一款名為GH200的晶片,將H200 GPU與基於Arm的處理器結合在一起。然而,H200 作為 Nvidia 最快的 AI 晶片的統治地位可能是暫時的。

雖然 Nvidia 提供各種晶片配置,但當製造商採用新架構時,通常每兩年就會出現重大進步,從而釋放出超越單純內存增加或其他較小優化的顯着性能提升。H100 和 H200 均基於 Nvidia 的 Hopper 架構。10 月份,Nvidia 向投資者表示,由於對其 GPU 的需求很高,它將過渡到一年發佈模式,而不是兩年架構節奏。該公司分享了一張幻燈片,暗示將於 2024 年宣佈並發佈基於即將推出的 Blackwell 架構的 B100 晶片。


文章來源:   https://www.cnbc.com/2023/11/13/nvidia-unveils-h200-its-newest-high-end-chip-for-training-ai-models.html

SZCOMPONENTS
SZCOMPONENTS
作者
歡迎來到我們的電子元件世界! 我們為您提供了各種各樣的產品,以節省您的時間、精力和成本。 我們高效的定制化服務確保了精心準備訂單和快速交付。
分享:
45
為45個國家的客戶提供服務
1000+
全球製造商
$140M
5年增長1.4億美元
50.0M+
5年內配送了5000萬個元件