英伟达的芯片命名很有讲究,它的所有芯片系列都是科学家的名字。这一次发布的超级计算机所用的GH,就是GraceHopper的缩写。咱们就来说说GraceHopper和这款芯片和它的跨时代意义。
编程之母
GraceHopper是美国计算机科学家、数学家和美国海*少将。她是哈佛MarkI计算机的第一批程序员之一,是计算机编程的先驱,发明了最早的链接器之一。霍普是第一个设计出与机器无关的编程语言理论的人,她用这个理论创造的FLOW-MATIC编程语言后来被扩展为COBOL,一种早期的高级编程语言,至今仍在使用。Fortran也有她的功劳。
由于当年的计算机是电子管,会有虫子飞进去导致短路,所以Hopper发明了debug捉虫一词,这个词但凡和编程有点渊源的人都不陌生。
为了纪念这位计算机先驱,英伟达把新一代计算芯片命名为GraceHopper。
强大的GraceHopper芯片
英伟达的GraceHopper是两个处理器做在了一个PCB上,它分为Grace和Hopper两部分,如下图,一左一右。
Grace是CPU,它是ARM架构的。
72个ArmNeoverseV2内核,采用Armv9.0-AISA,每个内核4×位SIMD单元。MB的L3高速缓存。GB的LPDDR5X内存,提供高达GB/s的内存带宽。64X的PCIe5.0通道。英伟达可扩展一致性结构(SCF)网状和分布式缓存,内存带宽高达3.2TB/s。
Hopper是GPU:高达个SM,拥有第四代TensorCores、TransformerEngine、DPX,与英伟达AGPU相比,FP32和FP64的整体性高出3倍。高达96GB的HBM3内存,提供高达GB/s的速度。二级缓存60MB。扩展GPU内存功能使HopperGPU能够将所有CPU内存作为GPU内存进行寻址。每个HopperGPU可以在一个超级芯片内寻址多达GB的内存。
NVIDIANVLink交换系统:使用NVLink4连接多达个NVIDIAGraceHopper超级芯片。每个连接NVLink的HopperGPU可以寻址网络中所有超级芯片的所有HBM3和LPDDR5X内存,从而获得高达TB的GPU可寻址内存,个GraceHopper就是英伟达的GH超级计算机。
个GraceHopper有多强?英伟达表示它有1EB的计算能力!这是什么概念?刚刚出炉的世界超级计算机Top排名,第一名的Frontier也就是1.1E的算力,1EB的算力,约等于Top的25%!当然超级计算机的算力都是针对性的,英伟达的GH有两大优势:第一是量产,第二则是针对AI推理这些的优化,能让大模型LLM运行的更快,或许年底在大企业部署之后,我们使用AI的成本和速度都能得到提升。
AI被成为近40年来3D显卡以后最伟大的发明,英伟达正是提供AI算力的企业。或许