Microsoft może dodać UFO, wysoce konfigurowalnego asystenta AI, do swojego następnego systemu Windows

Firma Microsoft wypuściła niedawno UFO, wysoce konfigurowalnego asystenta AI, zdolnego do spełniania żądań użytkowników dostosowanych do różnych systemów operacyjnych, w tym Windows.

Asystent AI opiera się na możliwościach GPT-vision i wykorzystuje je do wizualizacji i zrozumienia różnych elementów wizualnych, w tym graficznego interfejsu użytkownika (GUI) i informacji sterujących aplikacji Windows, i może zapewnić użytkownikom Windows dodatkową pomoc bez konieczności posiadania bezpośrednie wejście audio.

Innymi słowy, UFO to specjalny rodzaj programu komputerowego, który pomaga użytkownikom wchodzić w interakcję z innymi programami na komputerach z systemem Windows. Wykorzystuje sprytny system, aby zrozumieć, co dzieje się na ich ekranie i może wykonywać za nich zadania, takie jak klikanie przycisków lub wpisywanie tekstu. UFO może to wszystko zrobić automatycznie, bez konieczności udziału człowieka.

Narzędzie AI zostało opracowane przez zespół badaczy pracujących dla Microsoft Research, a całość artykułu można przeczytać tutaj .

Streszczenie brzmi:

Nie tylko Microsoft UFO nie wymaga do działania działania człowieka, ale można go także dostosować do każdego użytkownika, co oznacza, że ​​asystenta można w dużym stopniu spersonalizować, aby odpowiadał potrzebom każdego użytkownika systemu Windows, a także można go zautomatyzować w celu wykonywania określonych zadań bez konieczności wyraźnie o tym poinformować.

Wiąże się to z koncepcją ożywienia systemu Windows , czymś, czym Microsoft może być zainteresowany w kolejnej wersji systemu Windows , który podobno jest oparty na sztucznej inteligencji.

Firma Microsoft udostępniła także kod open source dla UFO w serwisie GitHub, gdzie można go znaleźć tutaj .

Co myślisz? Czy chciałbyś mieć UFO jako swojego asystenta Windows? Daj nam znać w sekcji komentarzy poniżej.

Przedstawiamy UFO , innowacyjnego agenta skupionego na interfejsie użytkownika, który spełnia żądania użytkowników dostosowane do aplikacji w systemie operacyjnym Windows , wykorzystując możliwości GPT-Vision. UFO wykorzystuje platformę dwuagentową do dokładnej obserwacji i analizy graficznego interfejsu użytkownika (GUI) oraz informacji sterujących aplikacjami Windows. Umożliwia to agentowi bezproblemową nawigację i działanie w ramach poszczególnych aplikacji oraz pomiędzy nimi, aby spełniać żądania użytkowników, nawet jeśli obejmują one wiele aplikacji. Struktura zawiera moduł interakcji sterującej, ułatwiający uziemienie działań bez interwencji człowieka i umożliwiający w pełni zautomatyzowane wykonanie. W rezultacie UFO przekształca żmudne i czasochłonne procesy w proste zadania, które można wykonać wyłącznie za pomocą poleceń w języku naturalnym. Przeprowadziliśmy testy UFO w 9 popularnych aplikacjach Windows, uwzględniając różne scenariusze odzwierciedlające codzienne użytkowanie użytkowników. Wyniki, uzyskane zarówno na podstawie wskaźników ilościowych, jak i badań rzeczywistych przypadków, podkreślają wyjątkową skuteczność UFO w spełnianiu żądań użytkowników. Według naszej najlepszej wiedzy UFO jest pierwszym agentem interfejsu użytkownika specjalnie dostosowanym do wykonywania zadań w środowisku systemu operacyjnego Windows.

Badania Microsoftu