早前藍點網提到英偉達推出專用加速卡NVIDIA H100，該加速卡是前代加速卡A100性能的3倍價格也是3倍。
趁著AI熱潮黃仁勳顯然再次抓住熱點：英偉達今天宣布推出針對LLM大型語言模型的專用加速卡H100 NVL。
推出這個新SKU是因為英偉達注意到LLM運行時，超大量的數據會迅速填充顯存，普通版本已經跟不上使用。
所以NVIDIA H100 NVL是迄今為止顯存容量最大的版本，顯存為188GB HBM3 顯存，單卡顯存容量94GB。
專門為LLM設計的新版本：
英偉達在新聞稿中表示 NVIDIA H100 加速卡已經全麵投產，很快英偉達和合作夥伴將向全球企業推出新卡。
H100加速卡在LLM上提供快9倍的AI訓練以及快30倍的AI推理 , 為全球AI企業發揮創造力提供強大動力基礎。
不過今天還有個重點就是H100 NVL版 , 這是英偉達專門麵向大型語言模型推出的新SKU主要就是超大顯存。
H100 NVL實際上是2張H100合並後的結果 , 主要通過PCIe板進行橋接，每張卡顯存為94GB合計為188GB。
連插槽都是2個PCIe 5.0的因此普通主板都插不上，估計要購買 H100 NVL 的話也得順帶購買配套專用主板。
具體價格方麵目前還不清楚，此前傳聞H100售價 32000 美元約合人民幣22萬元，H100 NVL也必然會翻倍。
以下是H100三種SKU參數對比：
| NVIDIA H100 Accelerator Specification Comparison | |||||
| H100 NVL | H100 PCIe | H100 SXM | |||
| FP32 CUDA Cores | 2 x 16896? | 14592 | 16896 | ||
| Tensor Cores | 2 x 528? | 456 | 528 | ||
| Boost Clock | 1.98GHz? | 1.75GHz | 1.98GHz | ||
| Memory Clock | ~5.1Gbps HBM3 | 3.2Gbps HBM2e | 5.23Gbps HBM3 | ||
| Memory Bus Width | 6144-bit | 5120-bit | 5120-bit | ||
| Memory Bandwidth | 2 x 3.9TB/sec | 2TB/sec | 3.35TB/sec | ||
| VRAM | 2 x 94GB (188GB) | 80GB | 80GB | ||
| FP32 Vector | 2 x 67 TFLOPS? | 51 TFLOPS | 67 TFLOPS | ||
| FP64 Vector | 2 x 34 TFLOPS? | 26 TFLOPS | 34 TFLOPS | ||
| INT8 Tensor | 2 x 1980 TOPS | 1513 TOPS | 1980 TOPS | ||
| FP16 Tensor | 2 x 990 TFLOPS | 756 TFLOPS | 990 TFLOPS | ||
| TF32 Tensor | 2 x 495 TFLOPS | 378 TFLOPS | 495 TFLOPS | ||
| FP64 Tensor | 2 x 67 TFLOPS? | 51 TFLOPS | 67 TFLOPS | ||
| Interconnect | NVLink 4 18 Links (900GB/sec) | NVLink 4 (600GB/sec) | NVLink 4 18 Links (900GB/sec) | ||
| GPU | 2 x GH100 (814mm2) | GH100 (814mm2) | GH100 (814mm2) | ||
| Transistor Count | 2 x 80B | 80B | 80B | ||
| TDP | 700W | 350W | 700-800W | ||
| Manufacturing Process | TSMC 4N | TSMC 4N | TSMC 4N | ||
| Interface | 2 x PCIe 5.0 (Quad Slot) | PCIe 5.0 (Dual Slot) | SXM5 | ||
| Architecture | Hopper | Hopper | Hopper | ||
相关文章：
一斤10元，草莓价格大跳水百货 50 条，全部是实用的玩意儿（1226 第 2768 期）杜酱 53度香柔酱香型白酒500mL*6瓶整箱装 赠3个手提袋 239元包邮济南港华燃气双组活动全面推开《青蛇》央视删减的17分钟是什么？超前的隐喻你看懂了吗？时璟丽：解读可再生能源消纳约束及激励性政策议程发布！2023第一届储能消防安全产业创新发展高峰论坛[博海拾贝1222]天然原装大奶奶2023年，“十佳国剧”名单，出来了！山东推进风景名胜区生态保护修复 提升泰山千佛山大明湖等建设品https://96vb4.shop/%e5%8f%b0%e7%81%a3%e9%be%8d%e8%b2%93%e9%a3%bc%e9%a4%8a%e5%85%a8%e6%94%bb%e7%95%a5%ef%bc%9a5%e5%80%8b%e4%bd%a0%e5%bf%85%e9%a0%88%e7%9f%a5%e9%81%93%e7%9a%84%e7%a7%98%e8%a8%a3%ef%bc%8c%e8%ae%93%e4%bd%a0/https://96vb4.shop/%e7%99%bd%e8%89%b2%e9%b8%9a%e9%b5%a1%ef%bc%9a%e5%93%81%e5%91%b3%e5%8f%b0%e7%81%a3%e5%9c%a8%e5%9c%b0%e6%96%87%e5%8c%96%e8%88%87%e9%a3%bc%e9%a4%8a%e6%8c%87%e5%8d%97-2025-%e6%9b%b4%e6%96%b0/https://95mtn.shop/%e8%87%ba%e7%81%a3%e5%8b%95%e7%89%a9%e5%9c%92%e8%81%b7%e7%bc%ba%ef%bc%9a5%e5%a4%a7%e7%86%b1%e9%96%80%e5%b4%97%e4%bd%8d%e3%80%81%e8%96%aa%e8%b3%87%e5%be%85%e9%81%87%e8%88%87%e6%b1%82%e8%81%b7%e7%a7%98/https://96vb4.shop/%e6%96%b0%e6%89%8b%e4%b9%9f%e8%83%bd%e8%bc%95%e9%ac%86%e9%a7%95%e9%a6%ad%ef%bc%812025%e5%b9%b4%e5%8f%b0%e7%81%a3%e9%a3%bc%e4%b8%bb%e5%bf%85%e5%82%99%e7%9a%845%e7%a8%ae%e8%b6%85%e5%a5%bd%e9%a4%8a/https://96vb4.shop/%e5%8f%b0%e6%b9%be%e5%85%ab%e5%93%a5%e9%b8%9f%e9%a5%b2%e5%85%bb%e6%8c%87%e5%8d%97%ef%bc%9a%e4%bb%8e%e6%96%b0%e6%89%8b%e5%88%b0%e8%be%be%e4%ba%ba%ef%bc%8c%e4%bd%a0%e9%9c%80%e8%a6%81%e7%9f%a5%e9%81%93/https://86aaj.shop/%e5%a4%a7%e5%ad%b8%e6%95%99%e6%8e%88%e8%96%aa%e6%b0%b4%e5%a4%a7%e5%85%ac%e9%96%8b%ef%bc%9a5%e5%80%8b%e4%bd%a0%e5%8f%af%e8%83%bd%e4%b8%8d%e7%9f%a5%e9%81%93%e7%9a%84%e7%9c%9f%e7%9b%b8/https://96vb4.shop/%e8%bf%b7%e4%bd%a0%e5%af%b5%e7%89%a9%e6%8e%a8%e8%96%a6%ef%bc%9a2025%e5%b9%b4%e8%87%ba%e7%81%a3%e6%9c%80%e9%81%a9%e5%90%88%e6%96%b0%e6%89%8b%e9%a3%bc%e9%a4%8a%e7%9a%845%e7%a8%ae%e8%bf%b7%e4%bd%a0/https://96vb4.shop/%e6%8d%b2%e6%af%9b%e8%b2%93%ef%bc%9a%e6%96%b0%e6%89%8b%e9%a3%bc%e9%a4%8a%e6%8c%87%e5%8d%97%e3%80%81%e5%b8%b8%e8%a6%8b%e5%81%a5%e5%ba%b7%e5%95%8f%e9%a1%8c%e8%88%87%e5%93%81%e7%a8%ae%e4%bb%8b%e7%b4%b9/https://95mtn.shop/%e5%9c%8b%e7%ab%8b%e5%a4%a7%e5%ad%b8%e5%8a%a9%e7%90%86%e6%95%99%e6%8e%88%e8%96%aa%e6%b0%b4%ef%bc%9a%e6%8f%ad%e9%96%8b%e5%8f%b0%e7%81%a3%e5%ad%b8%e8%a1%93%e7%95%8c%e7%9a%84%e7%9c%9f%e5%af%a6%e6%95%b8/https://86aaj.shop/%e6%95%99%e8%82%b2%e8%a1%8c%e6%94%bf%e6%ad%bb%e4%ba%a1%e4%b9%8b%e7%b5%84%ef%bc%9f%e7%a0%b4%e8%a7%a3-3-%e5%a4%a7%e5%9b%b0%e5%a2%83%ef%bc%8c%e6%8f%90%e5%8d%87%e6%95%88%e7%8e%87/
0.8697s , 14367.6328125 kb
Copyright © 2016 Powered by 英偉達宣布NVIDIA H100加速卡全麵投產 最大顯存容量高達188GB – 藍點網,堂堂一表網