Das neue Coding-LLM von Microsoft kommt nach GPT 4

Microsoft macht wirklich einen großen Schritt in der KI-Entwicklung. Letzten Monat stand KI im Mittelpunkt der Microsoft Build-Konferenz, und die in Redmond ansässige Technologie kündigte sogar an, dass Copilot für Windows 11 verfügbar sein wird . Als native integrierte App für alles, was Sie brauchen,

KI kommt mit dem Recap Ai-Tool auch in Microsoft Teams zum Einsatz . Und viele andere Tools von Microsoft werden KI nutzen, darunter auch Microsoft Fabric.

Aber es scheint, dass Microsoft auch die KI-Forschung finanziert. Erst kürzlich gab der Technologieriese bekannt, dass Orca 13B Open Source sein wird . Und LongMem ist ein weiterer guter Punkt in der KI-Forschung : Es ist die Antwort auf unbegrenzte Kontextlänge.

Und jetzt ist Zeit für einen weiteren großen Durchbruch in der KI-Forschung, natürlich von Microsoft. Das neue 1,3B-Parameter-Modell, das LLM codiert und Phi-1 genannt wird, übertrifft Berichten zufolge GPT 3,5 in nur 4 Trainingstagen.

Was ist Phi-1 und wie übertrifft es GPT bereits?

Phi-1 ist ein neues 1,3B-Parameter-Sprachmodell für Code

Darüber hinaus bietet Phi-1, obwohl es im Vergleich zu bestehenden Modellen mit viel weniger Token trainiert wird, immer noch viel Potenzial.

Die Verbesserungen an HumanEval sind die größten Errungenschaften von Phi-1 als Sprachmodell. Nach der Optimierung gelang es phi-1, Aufgaben auszuführen, die nicht im Feinabstimmungsdatensatz enthalten waren. Dies bedeutet, dass das Modell den Feinabstimmungsprozess angepasst und verbessert hat.

Und das Bemerkenswerteste ist, dass phi-1 das im Vortraining erworbene Wissen neu organisiert und gefestigt hat, obwohl das Wissen dort überhaupt nicht explizit vorhanden war.

Kurz gesagt: phi-1 lernt nicht nur während des Trainings, sondern erweitert das Wissen auch selbstständig. Es hat es geschafft, GPT 3.5 auf allen Ebenen zu übertreffen, und es ist nur eine Frage der Zeit, bis das kleine Modell es mit den großen Modellen wie GPT 4 aufnehmen wird.

Was halten Sie von diesem neuen KI-Modell? Wohin geht Ihrer Meinung nach die KI-Forschung? Teilen Sie uns Ihre Meinung unbedingt im Kommentarbereich unten mit.