近日，NVIDIA宣布其AI推理平台在最新MLPerf基准测试所有类别中展现出的性能均创下纪录。这一AI推理平台通过NVIDIA A30和A10 GPU对主流服务器实现了全新的扩展。

NVIDIA刷新AI推理纪录，推出面向企业级服务器的A30和A10 GPU

      MLPerf是业界公认的AI性能衡量基准，涵盖计算机视觉、医学影像、推荐系统、语音识别和自然语言处理等一系列工作负载。

      此次MLPerf是NVIDIA A30和A10 GPU的首秀。两款GPU集高性能与低功耗于一身，可成为企业在AI推理、训练、图形和传统企业级计算工作负载等诸多方面的主流选择。思科、戴尔科技、慧与、浪潮和联想预计将从今年夏季开始将这两款GPU集成到其最高容量的服务器中。

      NVIDIA能够取得如此佳绩，得益于NVIDIA AI平台的广度，其包含多种类型的GPU和AI软件，包括TensorRT和NVIDIA Triton推理服务器—— 微软、Pinterest、Postmates、T-Mobile、USPS和微信等领先企业都部署了该平台。

      NVIDIA加速计算部门总经理兼副总裁Ian Buck表示：“随着AI持续为各行各业带来变革，MLPerf也成为企业的一项重要工具，能够助力其在IT基础设施投资方面做出明智的决策。如今，所有主要OEM厂商都提交了MLPerf测试结果，NVIDIA及合作伙伴的关注点不仅在于实现全球领先的AI性能，同时还注重通过即将面市的一系列搭载A30和A10 GPU的企业级服务器来实现AI普及化。”

      MLPerf结果

      NVIDIA是唯一一家针对数据中心和边缘类别中的每项测试都提交结果的公司，在所有MLPerf工作负载中均展现出顶级的性能。

      多项提交结果还基于Triton推理服务器，其支持来自所有主要框架的模型，可在GPU及CPU上运行，并针对批处理、实时和串流传输等不同的查询类型进行了优化，可简化在应用中部署AI的复杂性。在配置相当的情况下，采用Triton的提交结果所达到的性能接近于最优化的GPU实现及CPU实现能够达到的性能。

      NVIDIA还使用NVIDIA Ampere架构的多实例GPU性能，在单一GPU上使用7个MIG实例，同时运行所有7项MLPerf离线测试。该配置实现了与单一MIG实例独立运行几乎完全相同的性能。

      这些提交结果展示了MIG的性能和通用性，使基础设施经理能够针对特定应用，配置适当数量的GPU计算，从而让每个数据中心GPU都能发挥最大的效用。

      除NVIDIA公司提交的测试结果外，多家NVIDIA合作伙伴也提交了共360多项基于NVIDIA GPU的测试结果，包括阿里云、戴尔科技、富士通、技嘉科技、慧与、浪潮、联想和超微。

      NVIDIA不断拓展的AI平台

      NVIDIA A30和A10 GPU是NVIDIA AI平台中的最新成员。NVIDIA AI平台包括NVIDIA Ampere架构GPU、NVIDIA Jetson AGX Xavier、Jetson Xavier NX，以及经优化后能够实现AI加速的全栈NVIDIA软件。

      A30能够为行业标准服务器提供通用的性能，支持广泛的AI推理和主流企业级计算工作负载，如推荐系统、对话式AI和计算机视觉。

      NVIDIA A10 GPU可加速深度学习推理、交互式渲染、计算机辅助设计和云游戏，使企业能够基于通用基础设施，为混合型AI和图形工作负载提供支持。通过采用NVIDIA虚拟GPU软件，可改进管理，为设计师、工程师、艺术家和科学家所用的虚拟桌面提高利用率并完善配置。

      NVIDIA Jetson平台基于NVIDIA Xavier系统级模块，可在边缘提供服务器级的AI性能，助力机器人、医疗健康、零售等领域实现更多的创新应用。Jetson基于NVIDIA的统一架构和CUDA-X软件堆栈，是唯一采用紧凑型设计、能够运行所有边缘工作负载且功耗低于30W的平台。

      供货

      NVIDIA A100 GPU搭载于领先服务器制造商的服务器、所有主要云服务提供商的云端，以及NVIDIA DGX系统产品组合（包括NVIDIA DGX Station A100、NVIDIA DGX A100和NVIDIA DGX SuperPOD）。

      预计A30和A10（功耗分别为165W和150W）将从今夏起用于各类服务器中，包括经严格测试以确保在各类工作负载下均可实现高性能的NVIDIA认证系统。

      Jetson AGX Xavier 和Jetson Xavier NX系统级模块已通过全球经销商供货。

      NVIDIA Triton和NVIDIA TensorRT均可通过NVIDIA的软件目录NGC获取。