Il rivoluzionario concetto di agenti AI di Microsoft per Windows 11 potrebbe trasformare la tua esperienza con il PC

Immagina se il tuo computer Windows 11 potesse svolgere attività proprio come fa un essere umano. Microsoft sta esplorando proprio questo con un concetto rivoluzionario. WindowsLatest.com ha recentemente parlato con un ricercatore di Microsoft AI per approfondire i dettagli di “Windows Agent Arena”.

Potresti aver incontrato il termine “Agenti AI” nei titoli recenti, in particolare per quanto riguarda l’agente AI di Claude . Tuttavia, Microsoft ha sviluppato l’idea di “Agente AI” per diversi mesi e ha persino pubblicato un documento di ricerca . Il progetto “Windows Agent Arena” è stato rilasciato come open source a settembre .

Se monitorate attentamente i progressi di Microsoft, sapete che sono in prima linea nella corsa all’intelligenza artificiale. La loro divisione AI è in pieno svolgimento, creando strumenti che consentono a sviluppatori e ricercatori indipendenti di lavorare con vari modelli di linguaggio.

Microsoft AI ha svelato Windows Agent Arena completamente open source . Questo framework supporta ricercatori e sviluppatori nella creazione e nel test dei loro agenti AI. È progettato per fornire tutti gli strumenti necessari per sviluppare e valutare agenti AI per Windows 11. Ma cosa comporta un agente AI su un PC?

Per comprenderne l’utilità, esaminiamo alcuni esempi pratici di agenti di intelligenza artificiale.

Ogni mattina, invece di avviare individualmente ciascuna delle tue e-mail, calendario e sito Web di notizie preferito, potresti semplicemente comandare “Avvia la mia configurazione mattutina”. L’agente AI aprirà quindi tutte quelle applicazioni per te in una volta sola.

Un’altra funzione di un agente AI di Windows 11 potrebbe riguardare la modifica delle impostazioni del PC in base alle tue istruzioni verbali. Se sei preoccupato per la privacy online e vuoi attivare la funzionalità “Do Not Track” in Microsoft Edge, l’agente AI può gestirla per te.

Ecco uno sguardo più da vicino a come funzionerebbe:

• L’agente AI interpreterà la tua richiesta, capendo che desideri abilitare la funzionalità “Do Not Track” in Edge.
• Seguendo il tuo comando, verrà avviato Microsoft Edge.
• L’agente può navigare nel menu principale cliccando sui tre puntini, un’attività che esegue in modo autonomo, senza intervento umano.
• Successivamente, seleziona “Impostazioni” dalle opzioni a discesa.
• Nella pagina Impostazioni, troverai la sezione “Privacy, ricerca e servizi” e scorrerai fino a trovare l’opzione “Non tenere traccia”.

L’agente abiliterà quindi automaticamente l’opzione “Do Not Track” proprio davanti ai tuoi occhi!

Microsoft ha condiviso ulteriori esempi sul suo blog dedicato alle scienze applicate, tra cui:

Esempio 1: Agente AI che abilita la funzione Non tracciare in Microsoft Edge

Esempio 2: AI Agent installa l’estensione Pylance in VSCode .

Esempio 3: l’agente AI modifica le impostazioni del motore di ricerca

Esempio 4: l’agente AI modifica le impostazioni VLC per regolare la cartella di archiviazione della registrazione

Esempio 5: l’agente AI apre Paint e crea un disegno per te

Esempio 6: l’agente AI rinomina il tuo profilo Edge

Incredibile, vero?

Il progetto Windows Agent Arena segna un’evoluzione entusiasmante e questi casi rappresentano solo la punta dell’iceberg di ciò che può accadere, soprattutto su un sistema operativo come Windows 11.

Lo scopo di Windows Agent Arena è quello di stabilire un framework open source di supporto, che consenta a sviluppatori e ricercatori di creare e confrontare i propri agenti di intelligenza artificiale su misura per Windows 11.

In cosa consiste esattamente Windows Agent Arena?

“Gli assistenti AI come Copilot e ChatGPT si sono dimostrati immensamente utili per innumerevoli utenti. Questi strumenti utilizzano modelli linguistici sofisticati per assistere in una varietà di attività, dalla correzione del codice al suggerimento di ricette per la cena. Man mano che questi modelli diventano più avanzati, stiamo speculando sulle possibilità future per gli assistenti AI”, ha spiegato Francesco Bonacci, un ricercatore AI di Microsoft coinvolto nel progetto.

“Introduzione a Windows Agent Arena, un framework dedicato al testing e allo sviluppo di agenti AI in grado di eseguire attività in un ambiente Windows. Immagina questi agenti come assistenti intelligenti che possono vedere il tuo schermo, comprenderlo e quindi interagire con il tuo PC cliccando, digitando o avviando applicazioni per aiutarti con le attività, proprio come faresti manualmente.”

Per chi non lo sapesse, Microsoft AI è una nuova divisione di Microsoft che lavora su Copilot, Edge e altre innovazioni AI. Ricordate il rivoluzionario modello di linguaggio di piccole dimensioni Phi-3 ? Anche questo ha avuto origine da Microsoft AI. La divisione è guidata dall’ex dirigente di Google DeepMind Mustafa Suleyman , che attualmente è CEO di Microsoft AI.

Windows Agent Arena (WAA) è in fase di sviluppo per assistere sviluppatori e ricercatori nella creazione, nel test e nel benchmarking di agenti di intelligenza artificiale specializzati per Windows 11.

Il concetto fondamentale è quello di incoraggiare un’ampia partecipazione nella creazione di agenti AI per Windows 11, consentendo l’automazione di varie attività. Il framework è completamente open source e adattabile, consentendo agli sviluppatori di utilizzare risorse locali o l’infrastruttura cloud di Azure Machine Learning di Microsoft per provare ed eseguire più agenti contemporaneamente.

Grazie all’integrazione in Azure, WAA offre l’accesso a un’esperienza Windows 11 realistica, consentendo agli sviluppatori di vedere come funzionerebbero gli agenti di intelligenza artificiale in una configurazione Windows autentica anziché in una simulazione limitata.

Questo potrebbe sembrare un po’ tecnico per un utente medio, ma semplifichiamo il modo in cui sono costruiti gli agenti AI:

• Gli sviluppatori hanno accesso a Windows Agent Arena, una piattaforma dedicata per la codifica, il test e il benchmarking degli agenti di intelligenza artificiale su Windows 11.
• Microsoft ha creato un modello predefinito “Agente AI”, che fornisce una base per gli sviluppatori.
• Utilizzando questi modelli, gli sviluppatori possono iniziare a creare agenti di intelligenza artificiale unici, progettati per risolvere i problemi più comuni degli utenti su Windows 11.
• Ad esempio, se hai numerose foto sparse sul desktop e in varie cartelle, un agente AI potrebbe aiutarti a rinominare, comprimere e modificare automaticamente le estensioni dei file in batch. Questo illustra come gli agenti AI possono risolvere attività del mondo reale su Windows 11.
• Oltre a creare agenti AI, gli sviluppatori possono valutarne le prestazioni e la sicurezza. Mentre gli agenti AI funzionano localmente su Windows 11, Microsoft ha incorporato strumenti di benchmarking in WAA per risolvere i problemi di prestazioni.
• Per iniziare, gli sviluppatori dovranno configurare Docker utilizzando WSL 2, una chiave API OpenAI o AzureOpen, Python 3.9, clonare il repository WAA, installare le dipendenze e utilizzare Windows Enterprise Evaluation ISO.
• Gli sviluppatori possono eseguire i propri agenti di intelligenza artificiale localmente o sfruttare le soluzioni cloud di Azure per i test.

Secondo Francesco Bonacci di Microsoft, questo framework fornisce ai ricercatori gli strumenti per perfezionare i loro modelli di intelligenza artificiale, migliorando la loro capacità di comprendere e interagire con un ambiente desktop standard.

Quanto è affidabile Windows Agent Arena?

Il documento di ricerca ” Windows Agent Arena: valutazione di agenti OS multimodali su larga scala “, redatto da un team che include Rogerio Bonatti , Dan Zhao , Francesco Bonacci , Dillon Dupont , Sara Abdali , Yinheng Li , Yadong Lu , Justin Wagle , Kazuhito Koishida , Arthur Bucker , Lawrence Jang e Zack Hui , indica che il modello WAA iniziale può eseguire con successo fino a 150 attività diverse su Windows 11.

Che tipo di attività potrebbero essere? Sebbene i dettagli possano variare, comprendono la maggior parte delle funzioni che normalmente esegui sul tuo computer.

“Ad esempio”, ha aggiunto Francesco Bonacci, “puoi istruire l’IA a installare estensioni del browser, regolare le impostazioni o persino creare semplici disegni in Paint. L’IA sfrutta modelli avanzati di linguaggio e visione per comprendere le informazioni testuali e visive sullo schermo, consentendole di determinare le azioni appropriate. Windows Agent Arena fornisce un luogo per valutare l’efficacia di questi agenti di IA in una serie di attività, dalla navigazione alla modifica dei documenti, il tutto all’interno di un autentico sistema operativo Windows”.

Le attività possono includere la modifica delle impostazioni in Microsoft Edge o Chrome, ad esempio chiedendo a un agente AI di abilitare la modalità privacy, cancellare i cookie o cambiare il motore di ricerca predefinito.

Puoi sfruttare un AI Agent per applicazioni come LibreOffice Writer o Calc per modificare vari documenti e fogli di calcolo. Per gli sviluppatori, un AI Agent potrebbe assistere nell’installazione di estensioni o nella modifica del codice mentre ne osservi il funzionamento.

Queste sono solo alcune idee; le potenziali applicazioni sono vaste. Gli agenti AI potrebbero interagire con una gamma di applicazioni su Windows 11, tra cui Blocco note, Paint o Orologio. Altri esempi includono:

• Salva un disegno in Paint come “circle.png” nella cartella Download
• Cambia lo sfondo del desktop in un colore pieno
• Disattivare le notifiche di sistema
• Abilita la luce notturna e impostala in modo che funzioni dalle 19:00 all’alba
• Esportare il documento corrente come PDF
• Formattare i primi due paragrafi con spaziatura doppia
• Aggiungi una riga vuota dopo ogni frase
• Allinea il centro dell’intestazione in LibreOffice
• Convertire il numero 2 nel testo in formato pedice
• Imposta Times New Roman come font predefinito
• Rinomina sheet1 in “LARSScienceAssessment” nel tuo foglio di calcolo
• Ordina un elenco di dipendenti in base ai loro compleanni
• Compila i numeri di sequenza come “No. #” nella colonna “Seq No.”
• Abilita l’impostazione “Non tracciare” in Edge per una maggiore privacy online
• Imposta la dimensione predefinita del carattere sull’opzione più grande
• Salva la pagina web corrente che stai visualizzando

Ma quanto è potente Windows Agent Arena per gli sviluppatori? In particolare, gli sviluppatori possono scegliere di affidarsi alla potenza di elaborazione locale o espandere le proprie capacità utilizzando Azure Machine Learning (Azure ML). Questa flessibilità significa che possono testare più agenti AI nel cloud anziché essere limitati ai vincoli di prestazioni di un singolo PC.

Il documento di ricerca ha anche introdotto l’agente AI di Microsoft denominato Navi, che ha raggiunto un tasso di successo del 19,5% nel completamento delle attività. Sebbene questo sia in ritardo rispetto al tasso umano del 74,5%, rappresenta un significativo progresso per le capacità AI.

Microsoft ha spiegato che Navi utilizza il “suggerimento a catena di pensiero”, un metodo per affrontare sistematicamente le attività e determinare come eseguirle in Windows 11.

Navi valuta cosa deve essere fatto, quali azioni sta intraprendendo e cosa dovrebbe eseguire successivamente analizzando il display e comprendendo elementi come la posizione del cursore, completando così l’attività.

Per supportare ulteriormente la creazione di agenti di intelligenza artificiale personalizzati, Microsoft ha anche reso open source ” Omniparser “, un sofisticato modello di comprensione dello schermo.

Cosa riserva il futuro per gli agenti AI su Windows 11?

Windows Agent Arena è più di un semplice concetto: non mi sorprenderebbe vedere Microsoft introdurre le proprie versioni di agenti AI per Windows 11.

Attualmente, si tratta di un progetto open source ancora in corso con un tasso di successo modesto e la tempistica per l’arrivo degli agenti AI su Windows 11 è incerta, ma il loro arrivo sembra inevitabile.

Gli agenti AI potrebbero presto essere in grado di apprendere le tue routine quotidiane, proponendo flussi di lavoro più efficienti o automatizzando i processi senza richiedere comandi espliciti.

Detto questo, gli agenti di intelligenza artificiale devono affrontare delle sfide, soprattutto nell’interpretazione accurata delle informazioni sullo schermo e nella gestione dei movimenti del mouse per attività come il disegno in Paint.

Fonte