A Amazon está trabalhando em dois chips de IA generativos personalizados para treinamento de modelo de linguagem grande da AWS

Nos últimos meses, empresas como Microsoft, Google, OpenAI e NVIDIA receberam manchetes por seus esforços para aprimorar os serviços de hardware e software de IA generativa. Uma grande empresa de tecnologia, a Amazon, também está tentando entrar na conversa sobre IA.

A CNBC relata que sua divisão Amazon Web Services tem trabalhado em dois chips personalizados, Inferentia e Trainium, que espera rivalizar com os fabricados pela NVIDIA com seus superchips Grace Hopper para treinar grandes modelos de linguagem. A NVIDIA acaba de anunciar sua plataforma Grace Hopper de próxima geração, que deve estar disponível em 2024.

AWS não é estranho para fazer chips personalizados. Tudo começou há 10 anos com o Nitro, e a Amazon diz que agora há pelo menos um chip Nitro em cada um de seus servidores AWS.

Atualmente, em seus escritórios em Austin, Texas, a Amazon está trabalhando em novas versões de seus chips Trainium e Inferencial. Esta é a solução da empresa para oferecer aos clientes uma maneira de treinar seus LLMs de IA generativa em servidores AWS, com chips fabricados pela Amazon, sem a necessidade de usar hardware baseado em NVIDIA.

A Amazon diz que uma de suas maiores vantagens é que a AWS já é usada por milhões de clientes, que estão acostumados com os servidores e suas ferramentas. Mai-Lan Tomsen Bukovec, vice-presidente de tecnologia da AWS, afirmou:

É uma questão de velocidade. A rapidez com que essas empresas podem se mover para desenvolver esses aplicativos de IA generativos é impulsionada começando primeiro com os dados que eles têm na AWS e usando ferramentas de computação e aprendizado de máquina que fornecemos.

Enquanto a Amazon está tentando fazer seus próprios chips para treinamento de LLMs, ela também usa alguns chips NVIDIA para o mesmo propósito em seus servidores AWS. Em julho, anunciou que instâncias P5 do Amazon EC2 estavam disponíveis para usuários da AWS. Esses servidores são alimentados por GPUs NVIDIA H100 Tensor Core.

A Amazon declarou à CNBC que “mais de 100.000” de seus clientes estavam usando a AWS para aprendizado de máquina. Embora isso seja apenas uma fração da base geral de clientes da AWS da empresa, mais e mais deles podem começar a usar a solução da Amazon à medida que a IA generativa se expande para mais setores.