特斯拉并非E级超算 分清算力精度是关键
2021-06-24 来源：互联网 网络编辑：编辑 阅读次日前，特斯拉宣布正式推出了自研的超级计算机Dojo，该套机器将要用于特斯拉自动驾驶神经网络的训练。据特斯拉的AI带头人，高级工程师Karpathy介绍，这台计算机群采用了5760个算力为321TFLOPS的英伟达A100显卡，组成了720个节点，总算力突破了1.8EFLOPS，10PB的存储空间读写速度为1.6TBps。由于总算力突破了1.8EFLOPS，因而有媒体宣传马斯克/特斯拉成功制造E级超算，专家认为，这种描述是值得商榷的。
Dojo并非真正意义上的E级超级算机
Dojo是用于神经网络训练的机器，由于神经网络训练更看重半精度浮点运算以及更低精度的整型计算，因而在宣传上往往以FP16算力来对外报道。因此，官方宣传的1.8EFLOPS其实是其低精度算力，并非双精度浮点FP64算力。根据NV公布的A100 FP64峰值性能计算，57609.7TFlops，特斯拉这台双精度算力大致是50+P,在HPC TOP500排行榜上与第5的位置处于伯仲之间。之前媒体解读的1000PE级性能，并非此排行榜所参考的FP64性能，好比“桔子比苹果”是误解了。必须指出的是，国内外正在研发的E级超算，都是双精度浮点性能超过1000P，而非单精度、半精度超过1000P。
日本超算富岳仍是世界第一超算
目前，全球超算排行都是以双精度浮点算力为标准的，之所以如此重视双精度浮点性能，主要还是因为FP16、FP32根本无法做对国计民生至关重要的运算，要想运行当下的超算应用，必须具备双精度浮点运算能力。而就双精度浮点算力而言，当下日本超算富岳是世界第一，TOP500二至六名分别为Summit、Sierra、神威太湖之光、Selene、天河2A。可以说，在超算方面，基本上处于中美日角逐的状态，三个国家交替领先。日本富岳位居世界第一主要是机器比较新，发布于2020年，中国超算位居第四和第六，主要是机器相对“年龄”大一些，比如神威太湖之光发布于2016年。由于世界各国都在致力于研发E级超算，相信未来的超算格局依旧是几个超算大国交替领先。
结语
由于人工智能的兴起，世界各国都出现了一批用于神经网络训练的机器。由于这些机器更加重视的是半精度浮点运算以及更低精度的整型计算，因而在宣传上其算力时往往被人为夸大，特别是在一些报道中，厂商和媒体非常喜欢用FP16算力去对标现有超算的FP64算力。通过玩弄文字游戏的方式获得所谓性能优势，或者是用这种报道方式作噱头吸引眼球和流量。
就特斯拉的超级计算机Dojo而言，确实是一款性能卓越的机器，其在机器学应用上的算力为1.8EFLOPS，而富岳虽然是一款双精度浮点性能500P的超算，但在机器学应用上的算力可以达到2EFLOPS，这个性能已经超越了特斯拉的Dojo。
