De nieuwe codering LLM van Microsoft komt na GPT 4

Microsoft zet echt een grote stap in de ontwikkeling van AI. Vorige maand stond AI in de voorhoede van de Microsoft Build-conferentie en de op Redmond gebaseerde technologie kondigde zelfs aan dat Copilot naar Windows 11 komt . Als native ingebouwde app, voor alles wat je nodig hebt,

AI komt ook naar Microsoft Teams, in zijn Recap Ai-tool . En veel andere tools van Microsoft zullen AI gebruiken, waaronder Microsoft Fabric.

Maar het lijkt erop dat Microsoft ook AI-onderzoek financiert. Onlangs kondigde de techgigant aan dat Orca 13B open source zal zijn . En LongMem is een ander goed punt in AI-onderzoek : het is het antwoord voor onbeperkte contextlengte.

En nu is er tijd voor een nieuwe grote doorbraak in AI-onderzoek, uiteraard afkomstig van Microsoft. Het nieuwe 1.3B-parameter model codering LLM, genaamd phi-1, presteert naar verluidt beter dan GPT 3.5, in slechts 4 dagen training.

Wat is phi-1 en hoe presteert het al beter dan GPT?

Phi-1 is een nieuw 1.3B-parametertaalmodel voor code

Bovendien heeft phi-1, ondanks dat het op veel minder tokens is getraind in vergelijking met bestaande modellen, nog steeds veel potentieel.

De verbeteringen op HumanEval zijn de phi-1 grootste prestaties, als taalmodel. Na het afstemmen slaagde phi-1 erin om taken uit te voeren die niet in de gegevensset voor fijnafstemming waren opgenomen. Dit betekent dat het model het afstemmingsproces heeft aangepast en verbeterd.

En het meest opmerkelijke is dat phi-1 de opgedane kennis tijdens de vooropleiding reorganiseerde en consolideerde, ook al was de kennis daar in de eerste plaats niet expliciet aanwezig.

Kortom, phi-1 leert niet alleen tijdens de training, maar breidt de kennis ook zelf uit. Het is erin geslaagd om GPT 3.5 op elk niveau te overtreffen, en het is slechts een kwestie van tijd voordat het kleine model het opneemt tegen de grote, zoals GPT 4.

Wat vind je van dit nieuwe AI-model? Waar denk je dat AI-onderzoek naartoe gaat? Laat ons uw mening weten in de opmerkingen hieronder.