A Microsoft pode adicionar o OVNI, um assistente de IA altamente personalizável, ao seu próximo Windows

A Microsoft lançou recentemente o UFO, um assistente de IA altamente personalizável, capaz de atender às solicitações dos usuários adaptadas a diferentes sistemas operacionais, incluindo o Windows.

O assistente de IA é baseado e usa os recursos do GPT-vision para visualizar e compreender vários elementos visuais, incluindo interface gráfica do usuário (GUI) e informações de controle de aplicativos do Windows, e pode fornecer aos usuários do Windows assistência adicional sem a necessidade de ter entrada de áudio direta.

Em outras palavras, o UFO é um tipo especial de programa de computador que ajuda os usuários a interagir com outros programas em seus computadores Windows. Ele usa um sistema inteligente para entender o que está acontecendo na tela e pode realizar tarefas para eles, como clicar em botões ou digitar texto. O OVNI pode fazer tudo isso automaticamente, sem precisar de nenhuma intervenção humana.

A ferramenta de IA foi desenvolvida por uma equipe de pesquisadores que trabalham para a Microsoft Research, e o artigo pode ser lido na íntegra aqui .

O resumo diz:

Não apenas o Microsoft UFO não precisa de intervenção humana para funcionar, mas também pode ser personalizado para cada usuário, o que significa que o assistente pode ser altamente personalizado para atender às necessidades de cada usuário do Windows e pode ser automatizado para executar determinadas tarefas sem ter para deixá-lo saber explicitamente.

Isso anda de mãos dadas com a ideia de o Windows ganhar vida , algo que a Microsoft pode estar interessada em explorar na próxima versão do Windows , que supostamente é baseada em IA.

A Microsoft também disponibilizou o código-fonte aberto do OVNI no GitHub, e você pode encontrá-lo aqui .

O que você acha? Você gostaria de ter o UFO como seu assistente do Windows? Deixe-nos saber na seção de comentários abaixo.

Apresentamos o UFO , um agente inovador focado em UI para atender às solicitações dos usuários personalizadas para aplicativos no sistema operacional Windows , aproveitando os recursos do GPT-Vision. O UFO emprega uma estrutura de agente duplo para observar e analisar meticulosamente a interface gráfica do usuário (GUI) e controlar as informações dos aplicativos Windows. Isso permite que o agente navegue e opere perfeitamente dentro de aplicativos individuais e entre eles para atender às solicitações dos usuários, mesmo quando abrange vários aplicativos. A estrutura incorpora um módulo de interação de controle, facilitando o aterramento da ação sem intervenção humana e permitindo a execução totalmente automatizada. Consequentemente, o UFO transforma processos árduos e demorados em tarefas simples, alcançáveis ​​apenas através de comandos de linguagem natural. Conduzimos testes de OVNIs em 9 aplicativos populares do Windows, abrangendo uma variedade de cenários que refletem o uso diário dos usuários. Os resultados, derivados de métricas quantitativas e de estudos de casos reais, ressaltam a eficácia superior do OVNI no atendimento às solicitações dos usuários. Até onde sabemos, o UFO se destaca como o primeiro agente de UI especificamente adaptado para a conclusão de tarefas no ambiente do sistema operacional Windows.

Pesquisa da Microsoft