Microsoft könnte das UFO, einen hochgradig anpassbaren KI-Assistenten, zu seinem nächsten Windows hinzufügen

Microsoft hat kürzlich UFO veröffentlicht, einen hochgradig anpassbaren KI-Assistenten, der in der Lage ist, Benutzerwünsche zu erfüllen, die auf verschiedene Betriebssysteme, einschließlich Windows, zugeschnitten sind.

Der KI-Assistent basiert auf und nutzt die Fähigkeiten von GPT-Vision, um verschiedene visuelle Elemente zu visualisieren und zu verstehen, einschließlich der grafischen Benutzeroberfläche (GUI) und Steuerinformationen von Windows-Anwendungen, und kann Windows-Benutzern zusätzliche Unterstützung bieten, ohne dass dies erforderlich ist Direkter Audioeingang.

Mit anderen Worten, UFO ist ein spezielles Computerprogramm, das Benutzern hilft, mit anderen Programmen auf ihren Windows-Computern zu interagieren. Es verwendet ein cleveres System, um zu verstehen, was auf ihrem Bildschirm passiert, und kann Aufgaben für sie ausführen, wie das Klicken auf Schaltflächen oder das Eingeben von Text. UFO kann all dies automatisch tun, ohne dass ein menschliches Zutun erforderlich ist.

Das KI-Tool wurde von einem Forscherteam für Microsoft Research entwickelt und der Artikel kann hier vollständig gelesen werden .

Die Zusammenfassung lautet:

Nicht nur, dass Microsoft UFO keine menschliche Eingabe benötigt, sondern es kann auch an jeden Benutzer angepasst werden, was bedeutet, dass der Assistent hochgradig personalisiert werden kann, um den Bedürfnissen jedes Windows-Benutzers gerecht zu werden, und er kann automatisiert werden, um bestimmte Aufgaben auszuführen, ohne dass dies erforderlich ist es ausdrücklich darauf hinzuweisen.

Dies geht Hand in Hand mit der Idee, dass Windows zum Leben erweckt wird , etwas, das Microsoft möglicherweise in der nächsten Version von Windows , die angeblich KI-basiert ist, erkunden möchte .

Microsoft hat den Open-Source-Code für UFO auch auf GitHub verfügbar gemacht, Sie können ihn hier finden .

Was denken Sie? Möchten Sie UFO als Ihren Windows-Assistenten haben? Lassen Sie es uns im Kommentarbereich unten wissen.

Wir stellen UFO vor , einen innovativen UI-fokussierten Agenten, der Benutzeranforderungen erfüllt, die auf Anwendungen unter Windows-Betriebssystemen zugeschnitten sind , und dabei die Funktionen von GPT-Vision nutzt. UFO verwendet ein Dual-Agent-Framework, um die grafische Benutzeroberfläche (GUI) und die Steuerinformationen von Windows-Anwendungen sorgfältig zu beobachten und zu analysieren. Dadurch kann der Agent nahtlos innerhalb einzelner Anwendungen und über diese hinweg navigieren und agieren, um Benutzeranforderungen zu erfüllen, selbst wenn er sich über mehrere Anwendungen erstreckt. Das Framework umfasst ein Steuerungsinteraktionsmodul, das die Festlegung von Maßnahmen ohne menschliches Eingreifen erleichtert und eine vollautomatische Ausführung ermöglicht. Folglich verwandelt UFO mühsame und zeitaufwändige Prozesse in einfache Aufgaben, die ausschließlich durch Befehle in natürlicher Sprache erledigt werden können. Wir haben UFO in neun beliebten Windows-Anwendungen getestet und dabei eine Vielzahl von Szenarien berücksichtigt, die die tägliche Nutzung der Benutzer widerspiegeln. Die Ergebnisse, die sowohl aus quantitativen Kennzahlen als auch aus realen Fallstudien abgeleitet wurden, unterstreichen die überlegene Wirksamkeit von UFO bei der Erfüllung von Benutzerwünschen. Nach unserem besten Wissen ist UFO der erste UI-Agent, der speziell auf die Aufgabenerledigung in der Windows-Betriebssystemumgebung zugeschnitten ist.

Microsoft-Forschung