英伟达H100核弹级性能显卡为什么被禁了
编辑:宝星微科技 | 发布时间:2023-06-02 13:50 | 浏览次数:211
据电子发烧友网报道今年英伟达可谓风生水起,过去五个月市值增长近三倍,自上周四公布今年一季度财报以来,截至5月30日股价也飙涨27%,市值9632亿美元,有望进入万亿美元俱乐部。
作为在这一轮生成式AI浪潮中的核心算力硬件供应商,已经“赢麻了”的英伟达并未有因此停下脚步,而是趁热打铁继续推出惊人的算力硬件。
英伟达CEO黄仁勋在周一的台北Computex展上带来了2小时的激情演讲,期间他提出了一个“暴论”,他表示“CPU扩张的时代已经结束了”。
在加速计算和AI重塑计算机行业的当下,从需要持续提升算力的数据中心可以看到,CPU的需求越来越少,而GPU的需求则不断增长。黄仁勋认为,如今的计算机是指数据中心、是指云服务,与此同时可以为未来“计算机”编写程序的程序员,如今将面临行业的变革。
“我们已经到达生成式AI的爆点,从此世界的每一个角落,都会有计算需求。”在这样的计算需求背景下,计算的性价比也非常重要。黄仁勋举了两个例子证明GPU比CPU在AI计算时代更有优势:
在1000万美元的成本下,可以用于建设一个有960颗CPU的数据中心,其中可以处理1X LLM(大语言模型)的数据量,同时需要消耗11GWh的能耗;同样成本下,如果用于建设一个有48颗GPU的数据中心,不仅可以处理的LLM数据量是同成本CPU数据中心44倍,在功耗方面还能大幅降低至3.2GWh。
所以,黄仁勋不禁喊出了“The more you buy,The more you save”的口号,买GPU越多,你省下的钱也就越多。
关于H100和A100
A100在2020年公布,使用7纳米工艺支持AI推理和训练。它是H100显卡的上一代产品
H100- 2022年3月发布被誉为核弹级性能显卡,使用了台机电4纳米工艺,具备800亿个晶体管,采用了最新neda hopper架构,且配备了英伟达有史以来最大的80G的显存容量。
同时显存还支持hbm3 最高带宽可达3TB每秒,而第四代MVLINK的带宽900G每秒,是PCI5.0的7倍,比上一代的A100显卡高一倍,显卡对外总带宽达到超高的4.9TB每秒。
性能上H100显卡对于上1代的A100来说可谓是智的飞跃,各项基础性能是A100的3倍之多,同时H100显卡支持通过dgx系统串联,组合成8合一的巨星GPU显卡组,该组合GPU显卡一共拥有640G的hbm三显存,可以提供至今为止最快的单显卡AI运算力。不仅如此,还可以将32个dgx显卡组再次组合成dgx pod运算中心,可以直接得到20480G的hbm三显存以及史诗级的768T比每秒的显存带宽。
2022年全球互联网数据吞吐总量,也不过是接近800TB每秒。拥有如此强大硬件配置和运算能力,也不难解释为何美国政府直接出面干涉
该显卡价格高达24万元左右,主要使用场景是大型数据中心、云计算中心以及人工智能的学习训练和尖端科技的模拟运算等。
由于该系列显卡的超运算能力,也是被美国限制出口至中国的主要原因。