闲芯小叨:英伟达推出全球首款HBM3e GPU,AI芯片性能再次飞跃!
近日,英伟达正式宣布推出全新一代AI芯片——H200,这是在目前最强AI芯片H100基础上的一次巨大升级。H200拥有141GB的内存和惊人的4.8TB/秒带宽,预计在明年二季度开始交付。最令人振奋的消息是,H200与H100相互兼容,而在推理速度上更是几乎达到H100的两倍。
H200最引人注目的改进之一就是内存。搭载世界最快的内存技术HBM3e,H200的141GB内存几乎是A100和H100最高80GB内存的2倍,而4.8TB/秒的带宽更是达到A100的2.4倍,远远超过H100 3.35TB/秒的带宽。
在今年早些时候,关于英伟达等科技巨头竞购SK海力士第五代高带宽内存HBM3e的消息已经传出。HBM系列技术是高性能DRAM的代表,适用于对高存储器带宽有需求的场合。英伟达历代主流训练芯片均配置HBM,而这次H200搭载HBM3e可谓性能上的一次巨大飞跃。
H200配备141GB的HBM3e内存,运行速率约为6.25 Gbps,六个HBM3e堆栈为每个GPU带来4.8 TB/s的总带宽。相比于H100的SXM版本,H200的SXM版本将内存容量和总带宽分别提高了76%和43%。
基于与H100相同的Hopper架构,H200将继承H100的一切功能,特别是Transformer Engine功能,可用于加速基于Transformer架构搭建的深度学习模型。
根据英伟达的官方信息,H200在大模型Llama 2、GPT-3.5的输出速度上分别是H100的1.9倍和1.6倍,在高性能计算HPC方面的速度更是达到了双核x86 CPU的110倍。
在TF32 Tensor Core(张量核心)中,H200可达到989万亿次浮点运算;INT8张量核心下提供3,958 TFLOPS(每秒3958万亿次的浮点运算)。
不仅如此,基于H200芯片构建的HGX H200加速服务器平台,拥有NVLink和NVSwitch的高速互连支持。8个HGX H200提供超过32 petaflops(每秒1000万亿次的浮点运算)的FP8深度学习计算和1.1TB聚合高带宽内存,为科学研究和AI等应用提供更高的性能支持,包括超1750亿参数的大模型训练和推理。
英伟达副总裁Ian Buck表示,为了训练生成式AI和高性能计算应用,必须使用高性能GPU。有了H200,行业领先的AI超级计算平台可以更快地解决一些世界上最重要的挑战。
目前,英伟达的全球合作伙伴服务器制造商生态系统将直接使用H200更新其现有系统。除英伟达自己投资的CoreWeave、Lambda和Vultr之外,亚马逊网络服务、谷歌云、微软Azure和甲骨文云等云服务提供商将从明年开始首批部署H200。
出口限制及中国市场展望
值得关注的是,针对新的H200芯片,英伟达明确表示,如果没有获得出口许可,将不会销往中国。此前,英伟达在中国市场遇到了出口限制,新规管制对公司向中国出售高性能芯片设定了算力和带宽上限。为了应对这一情况,英伟达推出了特供版HGX H20、L20 PCle、L2 PCle产品,以适应中国市场的需求。
根据美国商务部新规,英伟达不少产品都受到限制,包括A100、A800、H100、H800、L40、L40以及RTX 4090等。在新规下,英伟达不仅向中国企业提供了替代版本,而且这些特供版的性能可能会受到一定的影响。这也是美国政府对AI芯片出口管制的一部分。
总体来说,英伟达的H200芯片的发布标志着AI芯片领域的又一次飞跃。随着中国市场的特殊情况,特供版的推出或许是英伟达在全球市场上保持竞争力的一种创新举措。
相关芯片品牌及型号:
Avago ACPL-T350-060E - 用途:工业应用的光耦合器
ON Semiconductor MAX809RTRG - 用途:电子系统的电压监视器
IXYS MCMA110P1600TA - 用途:电机控制应用的功率模块
Freescale MC9S08FL16CLC - 用途:汽车和工业控制的微控制器
STMicroelectronics STW9NK90Z - 用途:电源和电机控制的N沟道功率MOSFET
ON Semiconductor FGH75T65SHDTL4 - 用途:高功率应用的IGBT
交流芯片行情、买卖芯片
我们是一家专业的闲置芯片帮买及帮卖服务公司
您无论是:芯片制造,半导体行业,芯片设计,集成电路,半导体工艺 ,AI芯片,物联网芯片,汽车芯片,5G芯片,边缘计算芯片,芯片市场趋势,半导体行业发展,芯片产业链,技术创新,投资机会,量子芯片,生物芯片,光电芯片,功耗优化,安全芯片等等等等等,还是您有芯片出售或需要购买芯片,欢迎扫描上述二维码添加我们。
●闲芯小叨:AI能耗:迎接“用电革命”的AI时代
●闲芯小叨:新能源汽车降价战:冲刺全年销量目标
●闲芯小叨:NXP S32K系列需求回升,价格小涨
●闲芯小叨:马斯克脑机接口招募志愿者,千名人士争相报名