Nemotron Lightning de NVIDIA multiplica por 4 la generación de tokens, pero las tareas agénticas solo mejoran un 30%

NVIDIA ha lanzado Nemotron Lightning, un modelo de IA con 30.000 millones de parámetros que genera tokens hasta 4 veces más rápido. Sin embargo, en tareas agénticas reales existe un cuello de botella IA que limita la mejora a apenas el 30 por ciento. Así lo confirma la propia compañía en su anuncio, apenas horas después de que Meta presentara su modelo Muse Glimmer. https://twitter.com/ryanshrout/status/2087178983783698436 El modelo IA NVIDIA Nemotron Lightning y la orquestación NVIDIA ha diseñado el modelo IA Nemotron Lightning, pensado para sostener agentes que trabajan de forma constante en tareas rutinarias y de alto volumen. La arquitectura híbrida combina Mamba-Transformer con predicción múltiple de tokens. Además, incluye una mixtura de expertos latente y decodificación especulativa. Estos cuatro…

Leer el artículo completo en HardwarePremium »