Intel demonstra ChatGPT superintensivo na nuvem rodando em um único Xeon de 5ª geração

A Intel deu início hoje ao seu Evento de Inovação 2023, um evento de dois dias, e parece que a maior parte do foco estará na Inteligência Artificial (IA), o que é esperado, visto que a tecnologia tem muito potencial. .

Entre outras coisas, a empresa demonstrou o ChatGPT na nuvem versus um modelo de 7 bilhões de parâmetros executado em um único sistema Xeon. O sistema em questão é alimentado por um único processador Xeon de 5ª geração (codinome “Emerald Rapids”). Embora não tenhamos certeza, o modelo de 7 bilhões de parâmetros ao qual a Intel se refere aqui pode ser o Falcon LLM.

Embora GPT, entre outros LLMs (modelos de linguagem grande), sejam muito úteis e também divertidos de brincar, eles podem ser muito exigentes no lado do hardware, bem como nos requisitos gerais. Por exemplo, pesquisas recentes sugeriram que o ChatGPT “beberia” cerca de meio litro de água para cada 20 ou mais solicitações. Financeiramente, um relatório do início do ano sugeriu que o ChatGPT poderia custar quase três quartos de milhão ou US$ 700.000 por dia . Naturalmente, fornecedores de hardware como Intel, AMD e Nvidia estão vendo a oportunidade aqui, e é por isso que estão projetando soluções de próxima geração com a aceleração de IA em mente.

Além da demonstração do Xeon de 5ª geração, a Intel também apresentou alguns dos desempenhos que podemos esperar do “Granite Rapids” de 6ª geração de próxima geração. A empresa afirma uma melhoria de 2 a 3x, em parte graças ao impulso que obterá com a atualização do subsistema de memória. A Intel adotará 12 canais com suporte para DIMMs MCR DDR5-8800 no Xeon de 6ª geração, em comparação com DDR5-8000 de 8 canais na 5ª geração. O primeiro está programado para lançamento em 2024, enquanto a 5ª geração já está testando para os clientes .