Microsoft의 새로운 코딩 LLM은 GPT 4 이후에 출시됩니다.

Microsoft는 실제로 AI 개발에 큰 발걸음을 내딛고 있습니다. 지난 달 AI는 Microsoft Build 컨퍼런스의 최전선에 있었고 Redmond 기반 기술은 Copilot이 Windows 11에 출시될 것이라고 발표하기도 했습니다 . 기본 내장 앱으로 필요한 모든 것을 제공합니다.

AI는 Recap Ai 도구를 통해 Microsoft Teams에도 제공됩니다 . 그리고 Microsoft Fabric을 포함하여 Microsoft의 다른 많은 도구에서 AI를 사용할 것입니다.

그러나 Microsoft는 AI 연구에도 자금을 지원하고 있는 것 같습니다. 최근에 거대 기술 기업은 Orca 13B가 오픈 소스가 될 것이라고 발표했습니다 . 그리고 LongMem은 AI 연구의 또 다른 좋은 점입니다 . 무제한 컨텍스트 길이에 대한 해답입니다.

그리고 이제 AI 연구에서 또 다른 큰 돌파구를 마련할 시간이 있습니다. 물론 Microsoft에서 옵니다. 새로운 1.3B 매개변수 모델 코딩 LLM(phi-1이라고 함)은 훈련 4일 만에 GPT 3.5를 능가하는 것으로 알려졌습니다.

phi-1은 무엇이며 이미 GPT를 능가하는 방법은 무엇입니까?

Phi-1 은 코드를 위한 새로운 1.3B 매개변수 언어 모델입니다.

또한 기존 모델에 비해 훨씬 적은 토큰으로 교육을 받았음에도 불구하고 phi-1은 여전히 ​​많은 잠재력을 가지고 있습니다.

HumanEval의 개선은 언어 모델로서 phi-1의 가장 큰 성과입니다. 조정 후 phi-1은 미세 조정 데이터 세트에 포함되지 않은 작업을 실행했습니다. 이는 모델이 미세 조정 프로세스를 조정하고 개선했음을 의미합니다.

그리고 가장 놀라운 점은 phi-1이 사전 훈련 중에 얻은 지식을 재구성하고 통합했다는 것입니다.

간단히 말해서 phi-1은 훈련 중에 학습할 뿐만 아니라 자체적으로 지식을 확장합니다. 모든 수준에서 GPT 3.5를 능가했으며 작은 모델이 GPT 4와 같은 큰 모델을 사용하는 것은 시간 문제입니다.

이 새로운 AI 모델에 대해 어떻게 생각하십니까? AI 연구가 어디로 향하고 있다고 생각하십니까? 아래 의견 섹션에 귀하의 의견을 알려주십시오.