Revolutionair Microsoft AI Agents-concept voor Windows 11 kan uw pc-ervaring transformeren

Stel je voor dat je Windows 11-computer taken zou kunnen uitvoeren zoals een mens dat doet. Microsoft onderzoekt dat met een revolutionair concept. WindowsLatest.com sprak onlangs met een onderzoeker van Microsoft AI om dieper in te gaan op de details van de “Windows Agent Arena”.

U bent de term “AI Agents” misschien wel eens tegengekomen in recente krantenkoppen, met name met betrekking tot Claude’s AI Agent . Microsoft is echter al enkele maanden bezig met het ontwikkelen van het idee van “AI Agent” en heeft zelfs een onderzoekspaper gepubliceerd . Het project “Windows Agent Arena” werd in september als open source uitgebracht .

Als u de ontwikkelingen van Microsoft nauwlettend volgt, weet u dat ze vooroplopen in de AI-race. Hun AI-afdeling is in volle gang en ontwikkelt tools waarmee onafhankelijke ontwikkelaars en onderzoekers met verschillende taalmodellen kunnen werken.

Microsoft AI heeft de volledig open-source Windows Agent Arena onthuld . Dit framework ondersteunt onderzoekers en ontwikkelaars bij het maken en testen van hun AI-agenten. Het is ontworpen om alle benodigde tools te bieden om AI-agenten voor Windows 11 te ontwikkelen en evalueren. Maar wat houdt een AI-agent op een pc in?

Om het nut ervan te begrijpen, bekijken we enkele praktische voorbeelden van AI-agenten.

In plaats van elke ochtend elk van uw e-mails, agenda’s en favoriete nieuwswebsites afzonderlijk te starten, kunt u eenvoudigweg de opdracht geven: “Start mijn ochtendinstellingen.” De AI-agent opent dan al die applicaties in één keer voor u.

Een andere functie van een Windows 11 AI Agent kan het aanpassen van uw pc-instellingen zijn op basis van uw mondelinge instructies. Als u zich zorgen maakt over online privacy en de functie ‘Do Not Track’ in Microsoft Edge wilt inschakelen, kan de AI-agent dat voor u regelen.

Hier is een nadere blik op hoe dit zou werken:

• De AI-agent interpreteert uw verzoek en begrijpt dat u de functie ‘Niet volgen’ in Edge wilt inschakelen.
• Na uw opdracht wordt Microsoft Edge gestart.
• De agent navigeert door het hoofdmenu door op de drie puntjes te klikken. Dit is een taak die de agent autonoom uitvoert, zonder menselijke tussenkomst.
• Vervolgens selecteert u ‘Instellingen’ uit de vervolgkeuzelijst.
• Op de pagina ‘Instellingen’ vindt u het gedeelte ‘Privacy, zoeken en services’. Scrol door de sectie totdat u de schakelaar voor ‘Do Not Track’ vindt.

De agent zal dan automatisch de optie “Do Not Track” voor uw ogen inschakelen!

Microsoft heeft op zijn Applied Sciences-blog nog meer voorbeelden gedeeld, zoals:

Voorbeeld 1: AI Agent schakelt Do Not Track in Microsoft Edge in

Voorbeeld 2: AI Agent installeert de Pylance-extensie in VSCode .

Voorbeeld 3: AI-agent wijzigt uw zoekmachine-instellingen

Voorbeeld 4: AI-agent wijzigt VLC-instellingen om de opslagmap voor opnames aan te passen

Voorbeeld 5: AI-agent opent Paint en maakt een tekening voor u

Voorbeeld 6: AI Agent hernoemt uw Edge-profiel

Ongelofelijk, toch?

Het Windows Agent Arena-project markeert een opwindende evolutie en deze gevallen zijn slechts het begin van wat er kan gebeuren, vooral op een besturingssysteem als Windows 11.

Het doel van Windows Agent Arena is om een ​​ondersteunend open-sourceframework te creëren waarmee ontwikkelaars en onderzoekers hun eigen AI-agents kunnen maken en benchmarken, speciaal voor Windows 11.

Wat houdt Windows Agent Arena precies in?

“AI-assistenten zoals Copilot en ChatGPT hebben zich enorm nuttig bewezen voor talloze gebruikers. Deze tools maken gebruik van geavanceerde taalmodellen om te helpen bij verschillende taken, van het repareren van code tot het voorstellen van recepten voor het avondeten. Naarmate deze modellen geavanceerder worden, speculeren we over toekomstige mogelijkheden voor AI-assistenten,” legt Francesco Bonacci uit, een Microsoft AI-onderzoeker die betrokken is bij het project.

“Introductie van Windows Agent Arena, een framework dat is gericht op het testen en ontwikkelen van AI-agents die taken kunnen uitvoeren in een Windows-omgeving. Stel je deze agenten voor als intelligente assistenten die je scherm kunnen zien, begrijpen en vervolgens met je pc kunnen communiceren door te klikken, typen of applicaties te starten om je te helpen met taken, net zoals je dat handmatig zou doen.”

Voor degenen die het niet weten: Microsoft AI is een nieuwe divisie bij Microsoft die werkt aan Copilot, Edge en andere AI-innovaties. Herinnert u zich het baanbrekende kleine taalmodel Phi-3 ? Dat is ook afkomstig van Microsoft AI. De divisie wordt geleid door voormalig Google DeepMind-directeur Mustafa Suleyman , die momenteel CEO is van Microsoft AI.

Windows Agent Arena (WAA) wordt ontwikkeld om ontwikkelaars en onderzoekers te helpen bij het maken, testen en benchmarken van gespecialiseerde AI-agents voor Windows 11.

Het fundamentele concept is om brede deelname aan het creëren van AI Agents voor Windows 11 aan te moedigen, wat de automatisering van verschillende taken mogelijk maakt. Het framework is volledig open-source en aanpasbaar, waardoor ontwikkelaars lokale resources of Microsoft’s Azure Machine Learning cloudinfrastructuur kunnen gebruiken om meerdere agents tegelijkertijd te testen en uit te voeren.

Dankzij de integratie in Azure biedt WAA toegang tot een realistische Windows 11-ervaring, waardoor ontwikkelaars kunnen zien hoe AI-agents zouden functioneren in een echte Windows-installatie in plaats van in een beperkte simulatie.

Voor de doorsnee gebruiker lijkt dit misschien wat technisch, maar laten we de opbouw van AI-agenten eens vereenvoudigen:

• Ontwikkelaars hebben toegang tot Windows Agent Arena, een speciaal platform voor het coderen, testen en benchmarken van AI-agents op Windows 11.
• Microsoft heeft een standaardsjabloon voor AI-agenten gemaakt, die ontwikkelaars een basis biedt.
• Met behulp van deze sjablonen kunnen ontwikkelaars unieke AI-agenten bouwen die zijn ontworpen om veelvoorkomende gebruikersproblemen op Windows 11 op te lossen.
• Als u bijvoorbeeld veel foto’s verspreid over uw bureaublad en in verschillende mappen hebt, kan een AI Agent helpen bij het batchgewijs hernoemen, comprimeren en automatisch wijzigen van hun bestandsextensies. Dit illustreert hoe AI Agents real-world taken op Windows 11 kunnen oplossen.
• Naast het bouwen van AI Agents kunnen ontwikkelaars hun prestaties en beveiliging evalueren. Hoewel AI Agents lokaal op Windows 11 functioneren, heeft Microsoft benchmarkingtools in WAA opgenomen om prestatieproblemen aan te pakken.
• Om te beginnen moeten ontwikkelaars Docker installeren met behulp van WSL 2, een OpenAI- of AzureOpen API-sleutel, Python 3.9, de WAA-repository klonen, afhankelijkheden installeren en de Windows Enterprise Evaluation ISO gebruiken.
• Ontwikkelaars kunnen hun AI-agents lokaal uitvoeren of voor het testen gebruikmaken van de cloudoplossingen van Azure.

Volgens Francesco Bonacci van Microsoft biedt dit raamwerk onderzoekers de tools om hun AI-modellen te verfijnen en zo hun vermogen om een ​​standaard desktopomgeving te begrijpen en ermee te werken te verbeteren.

Hoe robuust is Windows Agent Arena?

Uit het onderzoeksrapport “ Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale ”, geschreven door een team bestaande uit Rogerio Bonatti , Dan Zhao , Francesco Bonacci , Dillon Dupont , Sara Abdali , Yinheng Li , Yadong Lu , Justin Wagle , Kazuhito Koishida , Arthur Bucker , Lawrence Jang en Zack Hui , blijkt dat het initiële WAA-model tot wel 150 verschillende taken op Windows 11 succesvol kan uitvoeren.

Wat voor taken kunnen dit zijn? Hoewel de details kunnen verschillen, omvatten ze de meeste functies die u doorgaans op uw computer uitvoert.

“Bijvoorbeeld,” voegde Francesco Bonacci toe, “kun je de AI instrueren om browserextensies te installeren, instellingen aan te passen of zelfs eenvoudige tekeningen te maken in Paint. De AI maakt gebruik van geavanceerde taal- en visiemodellen om tekstuele en visuele informatie op je scherm te begrijpen, waardoor het de juiste acties kan bepalen. Windows Agent Arena biedt een plek om de effectiviteit van deze AI-agents te evalueren voor een scala aan taken, van browsen tot documentbewerking, allemaal binnen een authentiek Windows-besturingssysteem.”

Taken kunnen bijvoorbeeld bestaan ​​uit het wijzigen van instellingen in Microsoft Edge of Chrome, bijvoorbeeld door een AI-agent te vragen de privacymodus in te schakelen, cookies te wissen of de standaardzoekmachine te wijzigen.

U kunt een AI Agent gebruiken voor applicaties zoals LibreOffice Writer of Calc om verschillende documenten en spreadsheets te bewerken. Voor ontwikkelaars kan een AI Agent helpen bij het installeren van extensies of het wijzigen van code terwijl u de werking ervan observeert.

Dit zijn slechts een paar ideeën; de potentiële toepassingen zijn enorm. De AI Agents zouden met een scala aan applicaties op Windows 11 kunnen werken, waaronder Notepad, Paint of Clock. Andere voorbeelden zijn:

• Sla een tekening in Paint op als “circle.png” in uw Downloads-map
• Verander de bureaubladachtergrond naar een effen kleur
• Systeemmeldingen uitschakelen
• Schakel het nachtlampje in en stel het zo in dat het van 19.00 uur tot zonsopgang werkt
• Exporteer het huidige document als een PDF
• Maak de eerste twee alinea’s op met dubbele regelafstand
• Voeg na elke zin een lege regel toe
• De koptekst centreren in LibreOffice
• Converteer het getal 2 in tekst naar subscript-formaat
• Stel Times New Roman in als standaardlettertype
• Hernoem sheet1 naar “LARSScienceAssessment” in uw spreadsheet
• Sorteer een lijst met werknemers op basis van hun verjaardagen
• Vul de volgnummers in als “Nr. #” in de kolom “Seq No.”
• Schakel de instelling ‘Niet volgen’ in Edge in voor verbeterde online privacy
• Stel de standaardlettergrootte in op de grootste optie
• Sla de huidige webpagina op die u bekijkt

Maar hoe krachtig is Windows Agent Arena voor ontwikkelaars? Ontwikkelaars kunnen er met name voor kiezen om te vertrouwen op lokale rekenkracht of hun mogelijkheden uit te breiden met Azure Machine Learning (Azure ML). Deze flexibiliteit betekent dat ze meerdere AI-agents in de cloud kunnen testen in plaats van beperkt te zijn tot de prestatiebeperkingen van één pc.

Het onderzoeksrapport introduceerde ook Microsofts eigen AI-agent genaamd Navi, die een succespercentage van 19,5% behaalde bij het voltooien van taken. Hoewel dit achterblijft bij het menselijke percentage van 74,5%, vertegenwoordigt het een significante vooruitgang voor AI-mogelijkheden.

Microsoft legde uit dat Navi gebruikmaakt van ‘chain-of-thought prompting’, een methode om taken systematisch aan te pakken en te bepalen hoe ze in Windows 11 moeten worden uitgevoerd.

Navi beoordeelt wat er moet gebeuren, welke acties het onderneemt en wat het vervolgens moet uitvoeren door uw beeldscherm te analyseren en elementen zoals de positie van de cursor te begrijpen. Zo wordt de taak voltooid.

Om de creatie van gepersonaliseerde AI-agenten verder te ondersteunen, heeft Microsoft ook “ Omniparser ” open source gemaakt , een geavanceerd model voor schermbegrip.

Wat zijn de vooruitzichten voor AI-agenten op Windows 11?

De Windows Agent Arena is meer dan alleen een concept; het zou mij niet verbazen als Microsoft hun eigen versies van AI Agents voor Windows 11 introduceert.

Momenteel is het nog steeds een open-sourceproject met een bescheiden succespercentage. De tijdlijn voor AI-agents op Windows 11 is onzeker, maar hun komst lijkt onvermijdelijk.

AI-agenten kunnen binnenkort wellicht uw dagelijkse routines leren kennen, efficiëntere workflows voorstellen of processen automatiseren zonder dat daar expliciete opdrachten voor nodig zijn.

Toch krijgen AI-agenten te maken met uitdagingen, vooral bij het nauwkeurig interpreteren van informatie op het scherm en het beheren van muisbewegingen voor taken zoals tekenen in Paint.

Bron