Nvidia Orin avanza en la IA en el edge y aumenta el liderazgo en las pruebas de MLPerf
En su debut en las evaluaciones MLPerf de la industria, Nvidia Orin, un sistema en chip de baja potencia basado en la arquitectura Ampere, estableció nuevos récords en inferencia de IA. Esto elevó el nivel de rendimiento por acelerador en el edge, informó el fabricante.
Agregó que en general, junto con sus socios, continuó mostrando el rendimiento más alto y el ecosistema más amplio para ejecutar todas las cargas de trabajo y escenarios de machine learning en esta quinta ronda de métricas de la industria para la producción de IA.
En la IA de edge, una versión de preproducción de la Orin lideró cinco de las seis pruebas de rendimiento. Funcionó hasta cinco veces más rápido que la generación anterior Jetson AGX Xavier, al tiempo que ofrece en promedio una eficiencia energética 2 veces mejor, según Nvidia.
Orin está disponible en el kit de desarrollo Jetson AGX Orin para sistemas autónomos y de robótica. Clientes como Amazon Web Services, John Deere, Komatsu, Medtronic y Microsoft Azure, utilizan la plataforma Jetson para la inferencia de IA u otras tareas, mencionó el fabricante.
También indicó que es un componente clave de la plataforma Hyperion para vehículos autónomos. BYD, es el último fabricante de automóviles en anunciar que utilizará la arquitectura Drive Hyperion basada en Orin para sus flotas de vehículos eléctricos automatizados. Además, Orin también es una parte clave de Clara Holoscan para dispositivos médicos, una plataforma que los fabricantes de sistemas y los investigadores están utilizando para desarrollar instrumentos de IA de próxima generación.
Módulo pequeño, Stack grande
Los servidores y dispositivos con las GPU de Nvidia, incluido Jetson AGX Orin, fueron los únicos aceleradores de edge en ejecutar los seis puntos de referencia de MLPerf, a decir de la empresa.
Con su SDK JetPack, Orin ejecuta la plataforma completa de IA de Nvidia, un stack de software ya probada en el data center y el cloud. Además, está respaldada por un millón de desarrolladores que utilizan la plataforma Jetson.
Las evaluaciones de MLPerf cuentan con un amplio respaldo de organizaciones como Amazon, Arm, Baidu, Facebook, Google, Harvard, Intel, Lenovo, Microsoft, Nvidia, Stanford y la Universidad de Toronto.
Más socios y propuestas
El fabricante comentó que su plataforma de IA atrajo el mayor número de propuestas de MLPerf procedentes del ecosistema más amplio de socios.
Azure obtuvo un excelente resultado después de su debut en diciembre en las pruebas de entrenamiento MLPerf, en esta ronda sobre inferencia de IA. Utilizó las GPU Nvidia A100 Tensor Core. La instancia ND96amsr_A100_v4 de Azure igualó las presentaciones de ocho GPU con el rendimiento más alto en casi todas las pruebas de inferencia, lo que demuestra la potencia disponible en el cloud público, según Nvidia.
Los fabricantes de sistemas Asus y H3C hicieron su debut con MLPerf en esta ronda con presentaciones que utilizaron dicha plataforma de IA. Se unieron a los fabricantes de sistemas Dell Technologies, Fujitsu, Gigabyte, Inspur, Nettrix y Supermicro que presentaron los resultados de más de dos docenas de Sistemas Certificados por Nvidia.
Por Qué Es Importante MLPerf
Se destcó que MLPerf es una herramienta valiosa para los clientes que evalúan plataformas y proveedores de IA. Las diversas pruebas de la herramienta abarcan las cargas de trabajo y los escenarios de IA populares. Esto les da a los usuarios, afirmó Nvidia, la confianza de que las evaluaciones reflejarán el rendimiento que pueden esperar en todo el espectro de sus trabajos.
El software brilla
Dos componentes clave que permitieron obtener los resultados de inferencia – TensorRT para optimizar modelos de IA y el Servidor de Inferencia Triton para implementarlos de manera eficiente- están disponibles de forma gratuita en NGC, el catálogo de software optimizado para GPU.
Las organizaciones de todo el mundo están adoptando Triton, incluidos los proveedores de servicios de cloud como Amazon y Microsoft.
Desde Nvidia se incorporan continuamente todas las optimizaciones en contenedores disponibles en NGC. De esta manera, cada usuario puede comenzar a producir IA, concluyó el fabricante.
WhatsApp eSemanal 55 7360 5651
