Microsoft podría agregar UFO, un asistente de inteligencia artificial altamente personalizable, a su próximo Windows

Microsoft lanzó recientemente UFO, un asistente de inteligencia artificial altamente personalizable, capaz de satisfacer las solicitudes de los usuarios adaptadas a diferentes sistemas operativos, incluido Windows.

El asistente de IA se basa y utiliza las capacidades de GPT-vision para visualizar y comprender varios elementos visuales, incluida la interfaz gráfica de usuario (GUI) y la información de control de las aplicaciones de Windows, y puede proporcionar a los usuarios de Windows asistencia adicional sin la necesidad de tener Entrada de audio directa.

En otras palabras, UFO es un tipo especial de programa informático que ayuda a los usuarios a interactuar con otros programas en sus ordenadores con Windows. Utiliza un sistema inteligente para comprender lo que sucede en su pantalla y puede realizar tareas por ellos, como hacer clic en botones o escribir texto. UFO puede hacer todo esto automáticamente, sin necesidad de intervención humana.

La herramienta de IA fue desarrollada por un equipo de investigadores que trabajan para Microsoft Research y el artículo se puede leer en su totalidad aquí .

El resumen dice:

Microsoft UFO no sólo no necesita intervención humana para funcionar, sino que también puede personalizarse para cada usuario, lo que significa que el asistente puede personalizarse en gran medida para adaptarse a las necesidades de cada usuario de Windows y puede automatizarse para ejecutar determinadas tareas sin tener que hacerlo. para hacérselo saber explícitamente.

Esto va de la mano con la idea de que Windows cobre vida , algo que Microsoft podría estar interesado en explorar en la próxima versión de Windows , que supuestamente está basada en IA.

Microsoft también ha puesto a disposición el código fuente abierto de UFO en GitHub, y puedes encontrarlo aquí .

¿Qué opinas? ¿Te gustaría tener UFO como tu asistente de Windows? Háganos saber en la sección de comentarios.

Presentamos UFO , un agente innovador centrado en la interfaz de usuario para satisfacer las solicitudes de los usuarios adaptadas a aplicaciones en el sistema operativo Windows , aprovechando las capacidades de GPT-Vision. UFO emplea un marco de agente dual para observar y analizar meticulosamente la interfaz gráfica de usuario (GUI) y controlar la información de las aplicaciones de Windows. Esto permite al agente navegar y operar sin problemas dentro de aplicaciones individuales y entre ellas para satisfacer las solicitudes de los usuarios, incluso cuando abarcan varias aplicaciones. El marco incorpora un módulo de interacción de control, lo que facilita la base de la acción sin intervención humana y permite una ejecución totalmente automatizada. En consecuencia, UFO transforma procesos arduos y que consumen mucho tiempo en tareas simples que se pueden lograr únicamente mediante comandos de lenguaje natural. Realizamos pruebas de UFO en 9 aplicaciones populares de Windows, abarcando una variedad de escenarios que reflejan el uso diario de los usuarios. Los resultados, derivados tanto de métricas cuantitativas como de estudios de casos reales, subrayan la eficacia superior de UFO para satisfacer las solicitudes de los usuarios. Hasta donde sabemos, UFO es el primer agente de interfaz de usuario diseñado específicamente para completar tareas dentro del entorno del sistema operativo Windows.

Investigación de Microsoft