Nvidia H100 Hopper基准测试结果公布

专门从事人工智能性能评估和机器学习硬件的行业组织 MLCommons 已将最新的人工 AI 和 ML 加速器的结果添加到其数据库中，并实质上发布了通过行业获得的 Nvidia 的 H100 和 Biren 的 BR104 计算 GPU 的第一个性能数据-标准测试集。结果与英特尔的 Sapphire Rapids、高通的 AI 100 和 Sapeon 的 X220 上获得的结果进行了比较。

MLCommons 的 MLPerf 是一组训练和推理基准，被数十家支持组织并将其硬件测试结果提交到 MLPerf 数据库的公司认可。MLPerf Inference 2.1 版基准测试集包括数据中心和边缘使用场景以及图像分类(ResNet 50 v1.5)、自然语言处理器(BERT Large)、语音识别(RNN-T)、医学成像(3D U-Net)、对象检测(RetinaNet)和推荐(DLRM)。

参与这些测试的机器在两种模式下进行评估：在服务器模式下，查询以突发形式到达，而在离线模式下，所有数据都是一次性提供的，因此显然在离线模式下它们的性能更好。此外，供应商可以提交在两种条件下获得的结果：在封闭类别中，每个人都必须运行数学上等效的神经网络，而在开放类别中，他们可以修改它们以优化它们的硬件，IEEE Spectrum报告。

在 MLPerf 中获得的结果不仅描述了加速器的纯性能(例如，一个 H100、一个 A100、一个 Biren BR104 等)，还描述了它们的可扩展性和每瓦性能，以绘制更详细的图景。所有结果都可以在数据库中查看，但 Nvidia 根据其自身和第三方提交的信息汇总了每个加速器的性能结果。

Nvidia 的竞争对手尚未提交所有结果，因此 Nvidia 发布的图表缺少一些结果。然而，我们仍然可以在 Nvidia 发布的表格中得出一些非常有趣的发现(但请记住，Nvidia 是这里的利益相关方，所以一切都应该持保留态度)。