Los modelos de lenguaje de gran tamaño están adquiriendo cada vez más importancia en el ámbito tecnológico, y Apple es consciente de ello, ya que recientemente firmó un acuerdo con NVIDIA para acelerar estos procesos.
Hoy, Apple anunció los pormenores de una colaboración con NVIDIA que busca mejorar significativamente el rendimiento de los modelos de lenguaje de gran tamaño (LLM) a través de una nueva técnica de generación de texto, la cual ofrece mejoras notables en la velocidad para las aplicaciones de inteligencia artificial.
Recordemos que a principios de este año, Apple hizo público y liberó el código del Recurrent Drafter (ReDrafter). Este método combina beam search y dynamic tree attention para acelerar la generación de texto.
El Beam Search explora múltiples secuencias de texto potenciales simultáneamente, lo que permite obtener resultados superiores, mientras que dynamic tree attention organiza y elimina los solapamientos redundantes entre estas secuencias, mejorando así la eficiencia.
Apple ha integrado esta tecnología en el marco TensorRT-LLM de NVIDIA, que optimiza los LLM en las GPU de NVIDIA, logrando «un rendimiento de vanguardia», según afirma la compañía. Gracias a esta integración, la técnica logró multiplicar por 2.7 la velocidad de generación de tokens por segundo en pruebas realizadas con un modelo de producción que contiene decenas de miles de millones de parámetros.
Con Información de pisapapeles.net