Microsoft potrebbe aggiungere UFO, un assistente AI altamente personalizzabile, al suo prossimo Windows

Microsoft ha recentemente rilasciato UFO, un assistente AI altamente personalizzabile, in grado di soddisfare le richieste degli utenti su misura per diversi sistemi operativi, incluso Windows.

L’assistente AI si basa e utilizza le funzionalità di GPT-vision per visualizzare e comprendere vari elementi visivi, tra cui l’interfaccia utente grafica (GUI) e le informazioni di controllo delle applicazioni Windows, e può fornire agli utenti Windows ulteriore assistenza senza la necessità di avere ingresso audio diretto.

In altre parole, UFO è un tipo speciale di programma per computer che aiuta gli utenti a interagire con altri programmi sui propri computer Windows. Utilizza un sistema intelligente per capire cosa sta succedendo sullo schermo e può eseguire attività per loro, come fare clic su pulsanti o digitare testo. UFO può fare tutto questo automaticamente, senza bisogno di alcun input umano.

Lo strumento di intelligenza artificiale è stato sviluppato da un team di ricercatori che lavorano per Microsoft Research e il documento può essere letto integralmente qui .

L’abstract recita:

Non solo Microsoft UFO non necessita dell’input umano per funzionare, ma può anche essere personalizzato per ciascun utente, il che significa che l’assistente può essere altamente personalizzato per soddisfare le esigenze di ciascun utente Windows e può essere automatizzato per eseguire determinate attività senza dover di farlo sapere esplicitamente.

Ciò va di pari passo con l’idea che Windows prenda vita , qualcosa che Microsoft potrebbe essere interessata a esplorare nella prossima versione di Windows , che secondo quanto riferito è basata sull’intelligenza artificiale.

Microsoft ha anche reso disponibile il codice open source per UFO su GitHub e puoi trovarlo qui .

Cosa ne pensi? Ti piacerebbe avere UFO come assistente di Windows? Fatecelo sapere nella sezione commenti qui sotto.

Presentiamo UFO , un innovativo agente incentrato sull’interfaccia utente per soddisfare le richieste degli utenti su misura per le applicazioni su sistema operativo Windows , sfruttando le funzionalità di GPT-Vision. UFO utilizza una struttura a doppio agente per osservare e analizzare meticolosamente l’interfaccia utente grafica (GUI) e controllare le informazioni delle applicazioni Windows. Ciò consente all’agente di navigare e operare senza problemi all’interno delle singole applicazioni e al loro interno per soddisfare le richieste degli utenti, anche quando si estendono su più applicazioni. Il framework incorpora un modulo di interazione di controllo, facilitando il radicamento dell’azione senza intervento umano e consentendo un’esecuzione completamente automatizzata. Di conseguenza, UFO trasforma processi ardui e dispendiosi in termini di tempo in compiti semplici realizzabili esclusivamente attraverso comandi in linguaggio naturale. Abbiamo condotto test di UFO su 9 popolari applicazioni Windows, comprendendo una varietà di scenari che riflettono l’utilizzo quotidiano degli utenti. I risultati, derivati ​​sia da parametri quantitativi che da studi di casi reali, sottolineano la superiore efficacia di UFO nel soddisfare le richieste degli utenti. Per quanto ne sappiamo, UFO è il primo agente dell’interfaccia utente appositamente studiato per il completamento delle attività all’interno dell’ambiente del sistema operativo Windows.

Ricerca Microsoft