NVLink and NVLink Switch

Los componentes básicos de la comunicación multi-GPU de alta velocidad para introducir grandes conjuntos de datos más rápidamente en modelos e intercambiar datos rápidamente entre GPU.

La Necesidad de Interconexiones Más Rápidas y Ampliadas

Liberar todo el potencial de la computación a exaescala y los modelos de IA de billones de parámetros depende de una comunicación rápida y fluida entre cada GPU dentro de un clúster de servidores. La quinta generación de NVIDIA® NVLink® es una interconexión ampliada que libera un rendimiento acelerado para modelos de IA con parámetros de billones y multimillonarios.

Rendimiento NVLink

NVLink en NVIDIA H100 aumenta el ancho de banda de comunicación entre GPU 1,5 veces en comparación con la generación anterior, por lo que los investigadores pueden utilizar aplicaciones más grandes y sofisticadas para resolver problemas más complejos.

Aumente el Rendimiento de la GPU con Comunicaciones NVLink

Conecte Completamente las GPU con NVIDIA NVLink y NVLink Switch

NVLink es una interconexión directa bidireccional de GPU a GPU de 1,8 TB/s que escala la entrada y salida (IO) de varias GPU dentro de un servidor. El chip NVIDIA NVLink Switch conecta varios NVLink para proporcionar comunicación GPU entre todos a la velocidad máxima de NVLink dentro de un solo rack y entre racks.

Para permitir operaciones colectivas de alta velocidad, cada Switch NVLink tiene motores para el Protocolo de Reducción y Agregación Jerárquica Escalable de NVIDIA (SHARP)™ para reducciones en la red y aceleración de multidifusión.

Entrene Modelos de Parámetros Multimillonarios con Sistema de Switch NVLink

Con NVSwitch, las conexiones NVLink se pueden extender entre nodos para crear un clúster de GPU multinodo, de alto ancho de banda y sin interrupciones, formando efectivamente una GPU del tamaño de un data center. El sistema de switch NVIDIA NVLink permite 130TB/s de ancho de banda de GPU en un NVL72 para un paralelismo de grandes modelos. Los clústeres de servidores múltiples con NVLink escalan las comunicaciones de GPU en equilibrio con el aumento de la computación, por lo que NVL72 puede admitir 9 veces el rendimiento de GPU que un solo sistema de ocho GPU.

NVIDIA NVLink Switch

El switch NVIDIA NVLink cuenta con 144 puertos NVLink con una capacidad de conmutación sin bloqueo de 14,4 TB/s. El conmutador en rack está diseñado para proporcionar un gran ancho de banda y baja latencia en sistemas NVIDIA GB200 NVL72 que admiten dispositivos externos de conectividad NVLink de quinta generación.


Escalando de la Empresa a la Exaescala

Conexión Completa para un Rendimiento Incomparable

El NVLink Switch es el primer chip de conmutación a nivel de rack capaz de admitir hasta 576 GPU completamente conectadas en una estructura informática sin bloqueo. El conmutador NVLink interconecta cada par de GPU a una increíble velocidad de 1.800 GB/s. Admite una comunicación total entre todos. Las 72 GPU del GB200 NVL72 se pueden utilizar como un único acelerador de alto rendimiento con hasta 1,4 exaFLOPS de potencia de computación de IA.

The Most Powerful AI and HPC Platform

NVLink y Switch NVLink son componentes esenciales de la solución completa de data center de NVIDIA que incorpora hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados del paquete de software NVIDIA AI Enterprise y el catálogo NVIDIA NGC™. La plataforma de IA y HPC de extremo a extremo más potente, permite a los investigadores ofrecer resultados del mundo real e implementar soluciones en producción, impulsando una aceleración sin precedentes en todas las escalas.

Sumérgete en Profundidad en la Arquitectura NVIDIA Blackwell