NVIDIA logra un 40% más de tokens por megavatio con DSX

NVIDIA ha presentado mejoras de eficiencia energética en sus plataformas Vera Rubin para aumentar los tokens por megavatio. La compañía asegura que DSX MaxLPS puede elevar hasta un 40% el rendimiento de tokens por megavatio, mientras Lambda ha alcanzado 5 millones de tokens por segundo con un clúster ajustado al mismo presupuesto energético que utilizaba antes. https://twitter.com/JukicVedran/status/2090827580635025828 La demostración se produjo durante la AI Infra Summit. La demanda de inteligencia artificial ejerce una presión creciente sobre las redes eléctricas. Además, la respuesta de NVIDIA forma parte de una plataforma de fábrica de IA. La plataforma combina sistemas Vera Rubin, software de inferencia Dynamo y bibliotecas NeMo. Además incluye soluciones de red: NVLink para escalar el procesamiento dentro del sistema, Spectrum-X…

Leer el artículo completo en HardwarePremium »