Intel demuestra ChatGPT superintensivo en la nube ejecutándose en un único Xeon de quinta generación

Intel ha iniciado hoy su Evento de Innovación 2023, un evento de dos días, y parece que la mayor parte de la atención se centrará en la Inteligencia Artificial (IA), lo cual es algo esperado dado que la tecnología tiene un gran potencial. .

Entre otras cosas, la compañía ha realizado una demostración de ChatGPT en la nube frente a un modelo de 7 mil millones de parámetros que se ejecuta en un único sistema Xeon. El sistema en cuestión funciona con un único procesador Xeon de quinta generación (con nombre en código “Emerald Rapids”). Si bien no estamos seguros, el modelo de 7 mil millones de parámetros al que Intel se refiere aquí podría ser el Falcon LLM.

Si bien GPT, entre otros LLM (modelos de lenguaje grande), son muy útiles y también divertidos de jugar, pueden ser muy exigentes en el lado del hardware, así como en los requisitos generales. Por ejemplo, una investigación reciente sugirió que ChatGPT «bebía» alrededor de medio litro de agua por cada 20 indicaciones. Desde el punto de vista financiero, un informe de principios de año sugirió que ChatGPT podría costar casi tres cuartos de millón o 700.000 dólares al día . Naturalmente, los proveedores de hardware como Intel, AMD y Nvidia están viendo la oportunidad aquí y por eso están diseñando soluciones de próxima generación teniendo en cuenta la aceleración de la IA.

Además de la demostración de Xeon de quinta generación, Intel también adelantó parte del rendimiento que podemos esperar del “Granite Rapids” de sexta generación de próxima generación. La compañía afirma una mejora de 2 a 3 veces gracias en parte al impulso que obtendrá de la actualización del subsistema de memoria. Intel pasará a 12 canales con soporte para DIMM MCR DDR5-8800 en la sexta generación Xeon en comparación con DDR5-8000 de 8 canales en la quinta generación. El lanzamiento del primero está programado para 2024, mientras que la quinta generación ya está probando para los clientes . .