Windows 11 버전 24H2에서 확인된 AI 기능

• Microsoft는 Windows 11 24H2에서 다양한 새로운 온디바이스 AI 기능을 도입할 예정입니다.
• 주요 기능으로는 Windows Recall, Windows Studio Effects, Live Captions, Auto Super Resolution, Voice Clarity, Voice Focus, Click to Do, Paint 앱의 Cocreator, Photos 앱의 이미지 스타일 변경 등이 있습니다.
• 또한 Windows 11용 Copilot에도 향상된 기능이 추가됩니다.

10월 1일부터 Windows 11 24H2(2024 업데이트)가 적격 기기에 출시되었지만, 처음에는 예상되는 AI 기능이 없습니다. Microsoft는 이러한 기능이 배포를 위해 완전히 준비되도록 시간을 할애하고 있습니다. 그럼에도 불구하고 Windows Copilot Runtime 통합을 시작으로 초기 AI 제공에 대한 세부 정보가 공개되었습니다.

이 개편된 버전의 OS에서는 Copilot+ PC용으로 설계된 Windows Recall, Windows Studio Effects, Live Captions(실시간 번역 포함), Auto Super Resolution, Voice Clarity, Click to Do, Voice Focus, Paint 앱의 Cocreator, Photos 앱 내의 Restyle Image 등 여러 가지 독점적인 AI 기능이 도입됩니다.

이러한 혁신은 장치에서 직접 작동하는 40개 이상의 AI 모델을 통합하여 해당 기능에 필요한 인프라를 제공하는 시스템 구성 요소인 새로운 “Windows Copilot Runtime” 에서 비롯되었습니다.

또한 이를 통해 개발자는 Windows Copilot Library 에서 제공하는 새로운 API를 통해 애플리케이션에 AI 기능을 내장할 수 있습니다 .

Windows 11 버전 24H2의 AI 기능

2024년 이후 Windows에 추가될 것으로 예상되는 AI 기능을 요약했습니다.

윈도우 리콜

Windows Recall은 백그라운드 사진 메모리로 작동하여 컴퓨터에서의 활동 스냅샷을 자동으로 캡처합니다. 로컬에서 실행되는 여러 AI 모델을 활용하여 이 기능은 텍스트든 이미지든 모든 콘텐츠를 자연어로 검색할 수 있게 합니다.

이 혁신적인 리콜 기능은 NPU 지원 프로세서, 16GB RAM, 256GB SSD 스토리지 등 호환 하드웨어가 장착된 Copilot+ PC에서만 사용할 수 있습니다.

초기 OOBE(Out-Of-Box Experience) 중에 사용자는 이 기능을 활성화하거나 비활성화할 수 있으며, 설정 앱이나 그룹 정책을 통해 추가적인 제어가 가능합니다.

윈도우 스튜디오 효과

Windows Studio Effects는 NPU(신경 처리 장치)를 통해 화상 통화 및 오디오 품질을 향상시키기 위해 AI를 활용하는 기능 모음으로 구성되어 있습니다.

현재 자동 프레이밍, 배경 흐림, 눈맞춤, 음성 집중, 크리에이티브 필터 등 5가지 주요 효과가 있습니다.

• 자동 프레이밍: 이 기능을 사용하면 움직이는 동안에도 카메라 시야의 중앙에 피사체가 유지됩니다.
• 배경 흐림: 화상 통화 중 배경을 흐리게 처리하여 프라이버시를 강화하거나 잡동사니를 숨길 수 있습니다. “표준 흐림” 과 “인물 흐림”을 모두 제공합니다.
• 눈맞춤: 눈맞춤이 인식되도록 외모를 조정합니다. “표준” 및 “텔레프롬프터” 모드를 사용할 수 있습니다.
• 음성 집중: 통화 중 더 선명한 오디오를 위해 배경 소음을 최소화합니다. 두 가지 변형이 있는데, 하나는 NPU를 활용하고 다른 하나는 소프트웨어에만 의존합니다.

Studio Effects는 Windows 11에서 한동안 제공되었지만 Microsoft는 특히 Copilot+ PC에서 사용할 수 있도록 버전 24H2로 제공 범위를 확대할 계획입니다.

번역이 포함된 라이브 자막

Windows 11에 존재했던 Live Captions 기능이 업그레이드되어 라이브 번역이 포함됩니다. 이 도구는 모든 사람, 특히 청각 장애가 있는 사람들이 자동 필사를 통해 오디오 콘텐츠를 이해하는 데 도움이 되도록 설계되었습니다.

업그레이드된 기능은 YouTube나 다른 플랫폼 등 출처에 관계없이 비디오나 음성 통화의 오디오를 실시간으로 모국어로 번역합니다. NPU가 지원하는 경우 인터넷 연결 없이도 40개 이상의 언어를 영어로 번역할 수 있습니다.

이 기능이 간단한 필사에서 실시간 오디오 번역으로 바뀌었다는 점에 주목하는 것이 중요합니다.

음성 선명도

음성 선명도 기능은 AI를 사용하여 영상이나 음성 통화는 물론 오디오 녹음 시 배경 소음을 제거하고, 울림을 취소하고, 잔향을 줄입니다.

이 기능은 더 명확한 커뮤니케이션을 제공하여 온라인 게임에도 도움이 됩니다. 애플리케이션은 최적의 오디오 품질을 위해 “Deep Noise Suppression”을 활성화할 수 있습니다. Voice Clarity는 수동 활성화 없이도 NPU가 장착된 호환 하드웨어가 있는 지원 앱에서 자동으로 작동합니다.

클릭하여 수행

Android의 “Circle to Search”나 Chrome의 “Google Lens”에 익숙하다면 “Click to Do”도 비슷하게 느껴질 것입니다. AI를 사용하여 화면 콘텐츠를 인식하고 해석하여 다양한 실행 가능한 작업을 제공합니다.

사용하려면 화면을 클릭하는 동안 “Windows” 키를 길게 눌러 다양한 작업 옵션을 제공하는 오버레이 메뉴를 엽니다. 또한 상단에는 Windows Recall과 통합된 검색 상자가 있습니다.

강화된 Windows 검색

공식적으로 그렇게 명명되지는 않았지만 Windows Search 기능은 AI 기능으로 개편될 예정입니다. 이 개선 사항을 통해 사용자는 키워드에만 의존하지 않고 파일 탐색기, 설정 앱 및 작업 표시줄에서 직접 앱, 파일 및 설정에 대한 자연어 검색을 수행할 수 있습니다.

자동 초고해상도

자동 초고해상도(SR)는 AI 기술을 활용하여 게임 해상도와 시각적 품질을 향상시켜 프레임 속도를 최대화하면서 더 부드럽고 효율적인 게임 플레이 경험에 기여합니다. 기본적으로 AI를 사용하여 게임을 업스케일하여 그래픽과 성능을 개선합니다.

이 기능은 향상된 게임 비주얼을 위해 AI를 활용하는 Nvidia의 DLSS, AMD의 FidelityFX Super Resolution(FSR), Intel의 Xe Super Sampling(XeSS)과 유사합니다.

이 이니셔티브의 일환으로 Microsoft는 Nvidia, AMD 및 Intel과 협력하여 SR을 향후 게임 타이틀에 간소화하기 위해 “DirectSR” API를 개발했습니다 .

그러나 이 기능은 최신 Qualcomm Snapdragon X Elite 프로세서를 탑재한 Copilot+ PC에만 적용되며 일부 게임에만 국한됩니다.

페인트에서 공동 창작자와 생성적 채우기 및 지우기

Microsoft는 AI 이미지를 생성하는 대신 그림을 스캔하는 Paint 앱의 새로운 Cocreator 기능을 소개합니다. 이 기능은 예술적 개념을 다듬고, 편집하고, 개발하는 데 도움이 됩니다.

이 기능은 최소한의 노력으로 고품질 이미지를 생성하는 확산 기반 알고리즘을 사용하며, 창작물을 더 문자적으로 표현하거나 더 표현적으로 표현할 수 있는 설정을 제공합니다.

Cocreator는 Copilot+ PC에서만 사용할 수 있는 기능이며, 클라우드 리소스를 활용해 텍스트 메시지를 시각적 이미지로 변환하는 AI 기능인 “Image Creator”와 혼동되어서는 안 됩니다.

생성 채우기

페인트 내에서 “채우기” 기능을 사용하면 사용자가 이미지의 특정 영역을 선택하고 텍스트 프롬프트에 따라 해당 섹션을 강화하기 위한 새로운 요소를 생성할 수 있습니다. 이 기능은 처음에는 최신 Qualcomm 프로세서가 장착된 Copilot+ PC에서 사용할 수 있습니다.

생성적 지우기

페인트 애플리케이션은 또한 “지우기” 기능을 도입하여 사용자가 AI를 사용하여 이미지의 섹션을 선택하고 제거할 수 있게 합니다. 이는 모바일 기기에서 제공되는 기능과 유사합니다.

AI 지원이 부족한 기기를 포함하여 모든 기기에 이 기능이 출시될 것으로 예상됩니다.

사진의 이미지 스타일 변경, 이미지 생성기 및 초고해상도

사진 앱에는 AI와 장치의 NPU를 통해 사진의 스타일을 변경하는 것을 목표로 하는 새로운 “Restyle Image” 기능이 통합되어 고급 이미지 생성 및 편집 기술을 활용할 예정입니다.

이 기능을 사용하면 사용자가 모바일 앱에서 필터를 적용하는 것처럼 이미지를 선택하여 스타일을 변환할 수 있습니다. 사용자는 텍스트 프롬프트를 입력하여 새 배경을 만들 수도 있습니다.

이미지 생성기

Photos 애플리케이션은 Paint에서 찾을 수 있는 것과 동일한 “Image Creator” 도구를 특징으로 하며, 사용자는 간단한 텍스트 프롬프트를 기반으로 AI 생성 이미지를 만들 수 있습니다. Paint 버전과 달리 이 기능은 DALL-E 언어 모델을 사용하여 클라우드에서 작동하기 때문에 Copilot+ PC에만 국한되지 않습니다.

초고해상도

Super Resolution 기능은 사용자가 Copilot+ PC에서만 사용할 수 있는 AI를 통해 이미지를 업스케일링할 수 있게 해줍니다. NPU를 활용하여 이미지를 원래 해상도의 최대 8배까지 향상시키고 선명하게 합니다.

Microsoft는 사진 앱의 초고해상도 기능을 사용하면 오래되고 품질이 낮은 이미지를 생생하게 복원할 수 있다고 약속했습니다.

Windows 11용 Copilot 업데이트

Copilot은 한동안 Windows 11의 기능이었지만, 버전 24H2에서는 업데이트를 도입할 예정입니다. 이 앱은 작업 표시줄에 고정하거나 제거할 수 있는 표준 애플리케이션으로 작동하여 사용자가 다른 앱과 마찬가지로 크기를 조정하고 이동할 수 있습니다(Windows 11 23H2에서도 사용 가능).

이 애플리케이션은 실제로 Windows 11에 웹 앱으로 설치된 웹 버전입니다. 기본 기능은 동일하지만 더 이상 시스템 설정을 변경할 수 없습니다. 또한 인터페이스가 OpenAI ChatGPT 웹 경험과 유사하도록 새로 고쳐졌습니다.

또한 Copilot이 이제 설정 앱에 통합됩니다. 챗봇을 호출하는 명확한 버튼 대신 사용자는 설정 내에서 “Copilot 제안”을 찾을 수 있습니다. 예를 들어, 시스템 섹션에서 사용자는 오디오 문제 해결, 에너지 절약 설정 활성화 또는 무선 디스플레이로 스트리밍하기 위한 유용한 제안을 볼 수 있습니다.

Microsoft는 파일 탐색기에서 Copilot의 도움을 받아 사용자 작업을 간소화하고, 이미지 위에 마우스를 올리고 Copilot 버튼을 클릭하면 이미지에 적용할 수 있는 작업을 수행할 수 있도록 하려고 합니다.

또한 Copilot도 알림 기능의 일부가 됩니다. 토스트 알림을 받으면 특정 시나리오와 관련된 제안을 제시합니다. 예를 들어, 이메일에 PowerPoint 첨부 파일이 포함되어 있는 경우 Copilot은 해당 내용을 요약하는 것을 권장할 수 있습니다.

이 통합을 통해 사용자는 다양한 작업 중에 도움을 받기 위해 Copilot과 화면을 공유할 수 있습니다.

개발자들은 또한 자사 애플리케이션에 AI 기능을 통합하기 시작할 것이며, 이는 향후 운영 체제 업데이트에서 AI 기능이 더욱 광범위하게 통합될 것임을 시사합니다.

Copilot에 대한 최근 변경 사항은 최근 Surface 출시 이벤트에서 처음 소개되었지만, 그 이후로 Copilot 제안에 대한 자세한 내용은 아직 공개되지 않았습니다.

결론

Windows 11용 2024 업데이트는 현재 사용 가능하며, 새로운 기능과 향상된 기능이 가득하지만 AI 기능은 아직 포함되지 않았습니다. Microsoft는 10월경에 Windows Insider Program을 통해 Copilot+ PC를 대상으로 향상된 보안 기능이 포함된 Windows Recall을 포함한 이러한 AI 기능의 테스트를 시작할 계획이며, 2024년 11월에 더 광범위하게 출시될 예정입니다.

Copilot+ PC는 AI 애플리케이션을 위해 설계된 새로운 종류의 스마트 컴퓨터입니다. 초기 라인업에는 Qualcomm Snapdragon X 시리즈 프로세서와 통합 NPU가 포함되어 광범위한 AI 기능을 지원하면서 하루 종일 배터리 성능을 보장합니다. 이러한 기계에는 최소 16GB의 RAM과 256GB의 스토리지가 장착되어 있습니다. Intel과 AMD의 새로운 제품 에는 이러한 고급 AI 경험을 용이하게 하는 NPU가 있는 프로세서가 포함될 것으로 예상됩니다.

2024년 10월 8일 업데이트: 이 문서는 정확하고 최신 내용을 제공하기 위해 개정되었습니다.

원천