微軟可能會在下一代 Windows 中添加高度可自訂的人工智慧助理 UFO

微軟最近發布了UFO，這是一款高度可自訂的AI助手，能夠滿足用戶針對不同作業系統（包括Windows）量身定制的需求。

AI助理基於並利用GPT-vision的能力來視覺化和理解各種視覺元素，包括圖形使用者介面（GUI）和Windows應用程式的控制訊息，它可以為Windows使用者提供額外的幫助，而無需擁有直接音訊輸入。

換句話說，UFO 是一種特殊的電腦程序，可以幫助使用者與 Windows 電腦上的其他程式互動。它使用一個聰明的系統來了解螢幕上發生的情況，並且可以為他們執行任務，例如單擊按鈕或輸入文字。 UFO 可以自動完成這一切，無需任何人工輸入。

該人工智慧工具是由微軟研究院的一組研究人員開發的，可以在此處閱讀該論文的全文。

摘要如下：

Microsoft UFO 不僅不需要人工輸入即可工作，而且還可以針對每個用戶進行定制，這意味著該助手可以高度個性化，以滿足每個Windows 用戶的需求，並且可以自動運行某些任務，而無需手動操作。明確地讓它知道。

這與讓Windows 煥發活力的想法密切相關，微軟可能有興趣在下一版的 Windows中探索這一點，據報道，該版本是基於人工智慧的。

微軟還在 GitHub 上提供了 UFO 的開源程式碼，您可以在這裡找到它。

你怎麼認為？您想讓 UFO 作為您的 Windows 助理嗎？請在下面的評論部分告訴我們。

我們推出了UFO，這是一種以 UI 為中心的創新代理，利用 GPT-Vision 的功能，滿足針對 Windows 作業系統上的應用程式量身定制的用戶請求。 UFO採用雙代理框架來仔細觀察和分析Windows應用程式的圖形使用者介面（GUI）和控制資訊。這使得代理能夠在各個應用程式內以及跨應用程式無縫導航和操作，以滿足用戶請求，即使跨越多個應用程式也是如此。該框架包含一個控制互動模組，無需人工幹預即可促進操作落地，並實現完全自動化執行。因此，UFO 將艱鉅且耗時的過程轉變為僅透過自然語言命令即可完成的簡單任務。我們對 9 個流行的 Windows 應用程式進行了 UFO 測試，涵蓋了反映用戶日常使用情況的各種場景。來自定量指標和實際案例研究的結果強調了 UFO 在滿足使用者請求方面的卓越有效性。據我們所知，UFO 是第一個專為 Windows 作業系統環境中完成任務而客製化的 UI 代理程式。

微軟研究院