O novo LLM de codificação da Microsoft está chegando após o GPT 4

A Microsoft está realmente dando um grande passo no desenvolvimento da IA. No mês passado, a IA estava na vanguarda da conferência Microsoft Build, e a tecnologia baseada em Redmond anunciou que o Copilot está chegando ao Windows 11 . Como um aplicativo integrado nativo, para tudo que você precisa,

A IA também está chegando ao Microsoft Teams, em sua ferramenta Recap Ai . E muitas outras ferramentas da Microsoft usarão IA, incluindo o Microsoft Fabric.

Mas parece que a Microsoft também está financiando pesquisas de IA. Recentemente, a gigante da tecnologia anunciou que o Orca 13B será de código aberto . E LongMem é ​​outro ponto positivo na pesquisa de IA : é a resposta para comprimento de contexto ilimitado.

E agora há tempo para outro grande avanço na pesquisa de IA, vindo da Microsoft, é claro. O novo LLM de codificação de modelo de parâmetro 1.3B, chamado phi-1, está supostamente superando GPT 3.5, em apenas 4 dias de treinamento.

O que é phi-1 e como ele já supera o GPT?

Phi-1 é um novo modelo de linguagem de parâmetro 1.3B para código

Além disso, apesar de ser treinado com muito menos tokens em comparação com os modelos existentes, o phi-1 ainda tem muito potencial.

As melhorias no HumanEval são as maiores conquistas do phi-1, como modelo de linguagem. Após o ajuste, o phi-1 conseguiu executar tarefas que não foram apresentadas no conjunto de dados de ajuste fino. Isso significa que o modelo adaptou e melhorou o processo de ajuste fino.

E o mais notável é que o phi-1 reorganizou e consolidou o conhecimento adquirido durante o pré-treinamento, mesmo que o conhecimento não estivesse explicitamente presente lá em primeiro lugar.

Em palavras mais curtas, o phi-1 não apenas aprende durante o treinamento, mas também expande o conhecimento por conta própria. Ele conseguiu superar o GPT 3.5 em todos os níveis, e é apenas uma questão de tempo até que o modelo pequeno enfrente os grandes, como o GPT 4.

O que você acha desse novo modelo de IA? Para onde você acha que a pesquisa de IA está indo? Certifique-se de nos informar suas opiniões na seção de comentários abaixo.