마이크로소프트, 고도로 맞춤화 가능한 AI 비서 UFO를 차기 윈도우에 추가할 수도

Microsoft는 최근 Windows를 포함한 다양한 운영 체제에 맞춰 사용자의 요청을 충족할 수 있는 고도로 사용자 정의 가능한 AI 도우미인 UFO를 출시했습니다.

AI 도우미는 GPT-vision의 기능을 기반으로 이를 활용하여 그래픽 사용자 인터페이스(GUI), Windows 애플리케이션 제어 정보 등 다양한 시각적 요소를 시각화하고 이해하며 Windows 사용자에게 별도의 추가 지원 없이도 추가 지원을 제공할 수 있습니다. 직접 오디오 입력.

즉, UFO는 사용자가 Windows 컴퓨터의 다른 프로그램과 상호 작용하는 데 도움이 되는 특별한 종류의 컴퓨터 프로그램입니다. 영리한 시스템을 사용하여 화면에서 무슨 일이 일어나고 있는지 이해하고 버튼을 클릭하거나 텍스트를 입력하는 등의 작업을 수행할 수 있습니다. UFO는 사람의 개입 없이 이 모든 작업을 자동으로 수행할 수 있습니다.

AI 도구는 Microsoft Research의 연구원 팀에 의해 개발되었으며, 논문 전체는 여기 에서 읽을 수 있습니다 .

초록은 다음과 같습니다:

Microsoft UFO는 작동하기 위해 사람의 입력이 필요하지 않을 뿐만 아니라 각 사용자에 맞게 사용자 정의할 수도 있습니다. 즉, 도우미는 각 Windows 사용자의 요구 사항에 맞게 고도로 개인화될 수 있으며, 별도의 작업 없이도 특정 작업을 실행하도록 자동화될 수 있습니다. 명시적으로 알려줍니다.

이는 Windows가 살아난다 는 아이디어와 밀접하게 연관되어 있으며 Microsoft가 AI 기반이라고 알려진 다음 버전의 Windows 에서 탐구하는 데 관심이 있을 수 있습니다 .

Microsoft는 또한 UFO용 오픈 소스 코드를 GitHub에서 사용할 수 있도록 만들었으며 여기에서 찾을 수 있습니다 .

어떻게 생각하나요? UFO를 Windows 도우미로 사용하시겠습니까? 아래 댓글 섹션을 통해 알려주세요.

GPT-Vision의 기능을 활용하여 Windows OS 의 애플리케이션에 맞춰진 사용자 요청을 충족시키는 혁신적인 UI 중심 에이전트인 UFO를 소개합니다 . UFO는 이중 에이전트 프레임워크를 사용하여 Windows 응용 프로그램의 그래픽 사용자 인터페이스(GUI) 및 제어 정보를 꼼꼼하게 관찰하고 분석합니다. 이를 통해 에이전트는 여러 애플리케이션에 걸쳐 있는 경우에도 개별 애플리케이션 내에서 원활하게 탐색하고 작동하여 사용자 요청을 이행할 수 있습니다. 프레임워크에는 제어 상호 작용 모듈이 통합되어 있어 사람의 개입 없이 작업 기반을 촉진하고 완전히 자동화된 실행을 가능하게 합니다. 결과적으로 UFO는 힘들고 시간이 많이 걸리는 프로세스를 자연어 명령을 통해서만 달성할 수 있는 간단한 작업으로 변환합니다. 우리는 사용자의 일상적인 사용을 반영하는 다양한 시나리오를 포괄하는 9개의 인기 있는 Windows 응용 프로그램에 대해 UFO 테스트를 수행했습니다. 정량적 지표와 실제 사례 연구를 통해 얻은 결과는 사용자 요청을 충족하는 데 있어 UFO의 뛰어난 효율성을 강조합니다. 우리가 아는 한, UFO는 Windows OS 환경 내에서 작업 완료를 위해 특별히 맞춤화된 최초의 UI 에이전트입니다.

마이크로소프트 리서치