O conceito revolucionário de agentes de IA da Microsoft para Windows 11 pode transformar sua experiência no PC

Imagine se seu computador Windows 11 pudesse executar tarefas como um humano faz. A Microsoft está explorando exatamente isso com um conceito revolucionário. O WindowsLatest.com falou recentemente com um pesquisador da Microsoft AI para se aprofundar nos detalhes da “Windows Agent Arena”.

Você pode ter se deparado com o termo “AI Agents” em manchetes recentes, especialmente em relação ao AI Agent de Claude . No entanto, a Microsoft vem desenvolvendo a ideia do “AI Agent” por vários meses e até publicou um artigo de pesquisa . O projeto “Windows Agent Arena” foi lançado como código aberto em setembro .

Se você está monitorando de perto os avanços da Microsoft, sabe que eles estão na vanguarda da corrida da IA. Sua divisão de IA está a todo vapor, criando ferramentas que capacitam desenvolvedores e pesquisadores independentes a trabalhar com vários modelos de linguagem.

A Microsoft AI revelou o Windows Agent Arena totalmente de código aberto . Essa estrutura oferece suporte a pesquisadores e desenvolvedores na criação e teste de seus agentes de IA. Ela foi projetada para fornecer todas as ferramentas necessárias para desenvolver e avaliar agentes de IA para o Windows 11. Mas o que um agente de IA em um PC envolve?

Para entender sua utilidade, vamos explorar alguns exemplos práticos de agentes de IA.

Todas as manhãs, em vez de abrir cada um dos seus e-mails, calendários e sites de notícias preferidos individualmente, você pode simplesmente comandar: “Iniciar minha configuração matinal”. O agente de IA então abriria todos esses aplicativos para você de uma só vez.

Outra função de um Agente de IA do Windows 11 pode envolver a modificação das configurações do seu PC com base em suas instruções verbais. Se você está preocupado com a privacidade online e quer ativar o recurso “Não Rastrear” no Microsoft Edge, o agente de IA pode cuidar disso para você.

Veja aqui uma visão mais detalhada de como isso funcionaria:

• O Agente de IA interpretará sua solicitação, entendendo que você deseja habilitar o recurso “Não rastrear” no Edge.
• Seguindo seu comando, o Microsoft Edge será iniciado.
• O agente navegaria pelo menu principal clicando nos três pontos, uma tarefa que ele executa de forma autônoma, sem intervenção humana.
• Em seguida, ele selecionaria “Configurações” nas opções suspensas.
• Na página Configurações, localize a seção “Privacidade, pesquisa e serviços” e role para encontrar a opção “Não rastrear”.

O agente então habilitará automaticamente a opção “Não rastrear” bem diante dos seus olhos!

A Microsoft compartilhou exemplos adicionais em seu blog de Ciências Aplicadas, como:

Exemplo 1: Agente de IA habilitando Não Rastrear no Microsoft Edge

Exemplo 2: Agente de IA instalando a extensão Pylance no VSCode .

Exemplo 3: Agente de IA alterando suas configurações de mecanismo de busca

Exemplo 4: Agente de IA alterando as configurações do VLC para ajustar a pasta de armazenamento de gravação

Exemplo 5: Agente de IA abrindo o Paint e criando um desenho para você

Exemplo 6: Agente de IA renomeando seu perfil Edge

Incrível, não é mesmo?

O projeto Windows Agent Arena marca uma evolução emocionante, e esses casos são apenas a ponta do iceberg do que pode acontecer, especialmente em um sistema operacional como o Windows 11.

O objetivo por trás do Windows Agent Arena é estabelecer uma estrutura de suporte de código aberto, permitindo que desenvolvedores e pesquisadores criem e comparem seus próprios agentes de IA personalizados para o Windows 11.

O que exatamente o Windows Agent Arena envolve?

“Assistentes de IA como Copilot e ChatGPT provaram ser imensamente benéficos para inúmeros usuários. Essas ferramentas utilizam modelos de linguagem sofisticados para auxiliar em uma variedade de tarefas, desde consertar código até sugerir receitas de jantar. À medida que esses modelos se tornam mais avançados, estamos especulando sobre possibilidades futuras para assistentes de IA”, explicou Francesco Bonacci, pesquisador de IA da Microsoft envolvido no projeto.

“Apresentando o Windows Agent Arena, uma estrutura dedicada a testar e desenvolver agentes de IA capazes de executar tarefas em um ambiente Windows. Imagine esses agentes como assistentes inteligentes que podem ver sua tela, compreendê-la e, então, interagir com seu PC clicando, digitando ou iniciando aplicativos para ajudá-lo com tarefas — muito parecido com o que você faria manualmente.”

Para quem não conhece, a Microsoft AI é uma nova divisão da Microsoft trabalhando no Copilot, Edge e outras inovações de IA. Lembra do inovador modelo de linguagem pequena Phi-3 ? Ele também se originou da Microsoft AI. A divisão é liderada pelo ex-executivo do Google DeepMind Mustafa Suleyman , que atualmente atua como CEO da Microsoft AI.

O Windows Agent Arena (WAA) está sendo desenvolvido para auxiliar desenvolvedores e pesquisadores na criação, teste e avaliação comparativa de agentes de IA especializados para o Windows 11.

O conceito fundamental é incentivar ampla participação na criação de Agentes de IA para Windows 11, permitindo a automação de várias tarefas. A estrutura é totalmente de código aberto e adaptável, permitindo que os desenvolvedores usem recursos locais ou a infraestrutura de nuvem do Azure Machine Learning da Microsoft para testar e executar vários agentes simultaneamente.

Com sua integração ao Azure, o WAA fornece acesso a uma experiência realista do Windows 11, permitindo que os desenvolvedores vejam como os agentes de IA funcionariam em uma configuração genuína do Windows em vez de uma simulação limitada.

Isso pode parecer um pouco técnico para um usuário comum, mas vamos simplificar como os agentes de IA são construídos:

• Os desenvolvedores têm acesso ao Windows Agent Arena, uma plataforma dedicada para codificação, teste e benchmarking de agentes de IA no Windows 11.
• A Microsoft criou um modelo padrão de “Agente de IA”, fornecendo uma base para desenvolvedores.
• Usando esses modelos, os desenvolvedores podem começar a criar agentes de IA exclusivos, projetados para resolver problemas comuns de usuários no Windows 11.
• Por exemplo, se você tiver várias fotos espalhadas pela sua área de trabalho e em várias pastas, um Agente de IA pode ajudar a renomear em lote, compactar e alterar suas extensões de arquivo automaticamente. Isso ilustra como os Agentes de IA podem resolver tarefas do mundo real no Windows 11.
• Além de construir agentes de IA, os desenvolvedores podem avaliar seu desempenho e segurança. Enquanto os agentes de IA funcionam localmente no Windows 11, a Microsoft incorporou ferramentas de benchmarking no WAA para abordar preocupações de desempenho.
• Para começar, os desenvolvedores configurarão o Docker usando o WSL 2, uma chave de API OpenAI ou AzureOpen, Python 3.9, clonarão o repositório WAA, instalarão dependências e utilizarão o ISO de avaliação do Windows Enterprise.
• Os desenvolvedores podem executar seus agentes de IA localmente ou aproveitar as soluções de nuvem do Azure para testes.

De acordo com Francesco Bonacci, da Microsoft, essa estrutura dá aos pesquisadores as ferramentas para refinar seus modelos de IA, aumentando sua capacidade de compreender e interagir com um ambiente de desktop padrão.

Quão robusto é o Windows Agent Arena?

O artigo de pesquisa “ Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale ”, escrito por uma equipe que inclui Rogerio Bonatti , Dan Zhao , Francesco Bonacci , Dillon Dupont , Sara Abdali , Yinheng Li , Yadong Lu , Justin Wagle , Kazuhito Koishida , Arthur Bucker , Lawrence Jang e Zack Hui , indica que o modelo WAA inicial pode executar com sucesso até 150 tarefas diferentes no Windows 11.

Que tipos de tarefas poderiam ser essas? Embora as especificidades possam variar, elas abrangem a maioria das funções que você normalmente executa no seu computador.

“Por exemplo”, Francesco Bonacci acrescentou, “você pode instruir a IA a instalar extensões de navegador, ajustar configurações ou até mesmo criar desenhos simples no Paint. A IA aproveita modelos avançados de linguagem e visão para compreender informações textuais e visuais na sua tela, permitindo que ela determine ações apropriadas. O Windows Agent Arena fornece um local para avaliar a eficácia desses agentes de IA em uma variedade de tarefas, desde navegação até edição de documentos, tudo dentro de um autêntico sistema operacional Windows.”

As tarefas podem incluir modificar configurações no Microsoft Edge ou Chrome, por exemplo, solicitar que um agente de IA habilite o modo de privacidade, limpe cookies ou altere o mecanismo de busca padrão.

Você pode aproveitar um AI Agent para aplicativos como LibreOffice Writer ou Calc para editar vários documentos e planilhas. Para desenvolvedores, um AI Agent pode auxiliar na instalação de extensões ou modificação de código enquanto você observa sua operação.

Essas são apenas algumas ideias; as aplicações potenciais são vastas. Os agentes de IA podem interagir com uma variedade de aplicativos no Windows 11, incluindo Notepad, Paint ou Clock. Exemplos adicionais incluem:

• Salve um desenho no Paint como “circle.png” na sua pasta Downloads
• Alterar o plano de fundo da área de trabalho para uma cor sólida
• Desativar notificações do sistema
• Ative a luz noturna e configure-a para operar das 19h até o nascer do sol
• Exportar o documento atual como PDF
• Formate os dois primeiros parágrafos com espaçamento duplo
• Adicione uma linha em branco após cada frase
• Alinhar o título ao centro no LibreOffice
• Converter o número 2 no texto para o formato subscrito
• Definir Times New Roman como fonte padrão
• Renomeie a planilha1 para “LARSScienceAssessment” na sua planilha
• Classifique uma lista de funcionários com base em seus aniversários
• Preencha os números de sequência como “No. #” na coluna “Seq No.”
• Ative a configuração ‘Não rastrear’ no Edge para maior privacidade online
• Defina o tamanho da fonte padrão para a maior opção
• Salve a página da web atual que você está visualizando

Mas quão poderoso é o Windows Agent Arena para desenvolvedores? Notavelmente, os desenvolvedores podem escolher confiar no poder de computação local ou expandir suas capacidades usando o Azure Machine Learning (Azure ML). Essa flexibilidade significa que eles podem testar vários agentes de IA na nuvem em vez de ficarem limitados às restrições de desempenho de um único PC.

O artigo de pesquisa também apresentou o próprio agente de IA da Microsoft chamado Navi, que atingiu uma taxa de sucesso de 19,5% na conclusão de tarefas. Embora isso fique atrás da taxa humana de 74,5%, representa um avanço significativo para as capacidades de IA.

A Microsoft explicou que o Navi emprega “cadeia de pensamento”, um método para abordar tarefas sistematicamente e determinar como executá-las no Windows 11.

O Navi avalia o que precisa ser feito, quais ações ele está realizando e o que deve ser executado em seguida, analisando sua tela e entendendo elementos como a posição do cursor, concluindo assim a tarefa.

Para dar mais suporte à criação de agentes de IA personalizados, a Microsoft também tornou público o “ Omniparser ”, um sofisticado modelo de compreensão de tela.

O que o futuro reserva para os agentes de IA no Windows 11?

O Windows Agent Arena é mais do que apenas um conceito; eu não ficaria surpreso em ver a Microsoft apresentando suas próprias versões de AI Agents para Windows 11.

Atualmente, ele continua sendo um projeto de código aberto ainda em andamento com uma taxa de sucesso modesta, e o cronograma para Agentes de IA no Windows 11 é incerto, mas sua chegada parece inevitável.

Em breve, os agentes de IA poderão aprender suas rotinas diárias, propor fluxos de trabalho mais eficientes ou automatizar processos sem exigir comandos explícitos.

Dito isso, os agentes de IA enfrentam desafios, especialmente na interpretação precisa de informações na tela e no gerenciamento de movimentos do mouse para tarefas como desenhar no Paint.

Fonte