Potwierdzone funkcje AI w systemie Windows 11 w wersji 24H2

• Firma Microsoft planuje wprowadzić szereg nowych funkcji sztucznej inteligencji w systemie Windows 11 24H2.
• Wśród wyróżnionych funkcji znajdują się: Windows Recall, efekty Windows Studio, napisy na żywo, automatyczna superrozdzielczość, przejrzystość głosu, fokusowanie głosu, funkcja Kliknij, aby wykonać, współtwórca w aplikacji Paint oraz zmiana stylu obrazu w aplikacji Zdjęcia.
• Dodatkowo zostaną wprowadzone udoskonalenia w aplikacji Copilot dla systemu Windows 11.

Od 1 października system Windows 11 24H2 (aktualizacja 2024) jest wdrażany na kwalifikujących się urządzeniach, chociaż początkowo brakuje w nim oczekiwanych funkcji AI. Microsoft poświęca czas, aby upewnić się, że te funkcje są w pełni przygotowane do wdrożenia. Niemniej jednak ujawniono szczegóły początkowych ofert AI, zaczynając od integracji środowiska wykonawczego Windows Copilot.

W tej odnowionej wersji systemu operacyjnego wprowadzono kilka ekskluzywnych funkcji AI zaprojektowanych dla komputerów Copilot+, w tym Windows Recall, Windows Studio Effects, Live Captions (w tym tłumaczenia w czasie rzeczywistym), Auto Super Resolution, Voice Clarity, Click to Do, Voice Focus, Cocreator w aplikacji Paint oraz Restyle Image w aplikacji Zdjęcia.

Innowacje te wynikają z nowego „Windows Copilot Runtime”, komponentu systemu integrującego ponad 40 modeli AI działających bezpośrednio na urządzeniu, zapewniając niezbędną infrastrukturę dla ich funkcji.

Ułatwia to również programistom osadzanie funkcji sztucznej inteligencji w swoich aplikacjach za pośrednictwem nowych interfejsów API dostępnych w bibliotece Windows Copilot .

Funkcje AI w systemie Windows 11 w wersji 24H2

Poniżej znajduje się podsumowanie funkcji sztucznej inteligencji, których można się spodziewać w systemie Windows w roku 2024 i kolejnych latach.

Przywracanie systemu Windows

Funkcja Windows Recall działa jako tło pamięci fotograficznej, automatycznie rejestrując migawki Twoich działań na komputerze. Wykorzystując kilka modeli AI działających lokalnie, ta funkcja sprawia, że ​​cała zawartość — czy to tekst, czy obrazy — jest przeszukiwalna przy użyciu języka naturalnego.

Ta innowacyjna funkcja Recall jest dostępna wyłącznie na komputerach Copilot+, które muszą być wyposażone w zgodny sprzęt, w tym procesor z obsługą NPU, 16 GB pamięci RAM i 256 GB dysku SSD.

Podczas pierwszego uruchomienia (OOBE) użytkownicy mogą włączać lub wyłączać tę funkcję, a dodatkowe opcje kontroli są dostępne w aplikacji Ustawienia lub Zasadach grupy.

Efekty programu Windows Studio

Windows Studio Effects obejmuje zestaw funkcji wykorzystujących sztuczną inteligencję do poprawy jakości połączeń wideo i dźwięku za pomocą jednostek przetwarzania neuronowego (NPU).

Obecnie dostępnych jest pięć głównych efektów, w tym: automatyczne kadrowanie, rozmycie tła, kontakt wzrokowy, koncentracja na głosie i filtry kreatywne.

• Automatyczne kadrowanie: Dzięki temu rozwiązaniu pozostaniesz w centrum widoku kamery, nawet gdy się poruszasz.
• Rozmycie tła: rozmywa tło podczas rozmów wideo, zapewniając większą prywatność lub ukrywając bałagan. Dostępne są opcje „Standardowego rozmycia” i „Portretowego rozmycia”.
• Kontakt wzrokowy: Dostosowuje twój wygląd, aby zapewnić postrzeganie kontaktu wzrokowego. Dostępne są tryby „Standardowy” i „Teleprompter” .
• Voice Focus: Minimalizuje szum tła, zapewniając wyraźniejszy dźwięk podczas połączeń. Istnieją dwie wersje, jedna wykorzystująca NPU, a druga polegająca wyłącznie na oprogramowaniu.

Chociaż aplikacja Studio Effects jest dostępna w systemie Windows 11 już od pewnego czasu, Microsoft zamierza rozszerzyć jej dostępność, wydając wersję 24H2 specjalnie dla komputerów Copilot+.

Napisy na żywo z tłumaczeniem

Funkcja Live Captions, która była obecna w systemie Windows 11, zostanie ulepszona o tłumaczenia na żywo. To narzędzie ma pomóc każdemu, szczególnie osobom z wadami słuchu, w zrozumieniu treści audio za pomocą automatycznej transkrypcji.

Ulepszona funkcja tłumaczy dźwięk z rozmów wideo lub głosowych na Twój język ojczysty w czasie rzeczywistym, niezależnie od źródła — czy to z YouTube, czy innej platformy. Jest w stanie tłumaczyć ponad 40 języków na angielski bez potrzeby połączenia internetowego, pod warunkiem, że jest obsługiwany przez NPU.

Należy zauważyć, że ta funkcja zmieniła się z prostej transkrypcji na tłumaczenie audio w czasie rzeczywistym.

Czystość głosu

Funkcja Voice Clarity wykorzystuje sztuczną inteligencję do eliminowania szumów tła, usuwania echa i zmniejszania pogłosu podczas połączeń wideo lub głosowych, a także nagrań audio.

Ta funkcjonalność przynosi również korzyści w grach online, zapewniając wyraźniejszą komunikację. Aplikacje mogą włączyć „Deep Noise Suppression” w celu uzyskania optymalnej jakości dźwięku. Voice Clarity działa automatycznie w obsługiwanych aplikacjach ze zgodnym sprzętem wyposażonym w NPU, bez konieczności ręcznej aktywacji.

Kliknij, aby wykonać

Jeśli znasz „Circle to Search” na Androidzie lub „Google Lens” w Chrome, to „Click to Do” będzie się wydawać podobne. Wykorzystuje sztuczną inteligencję do rozpoznawania i interpretowania zawartości ekranu, oferując różne możliwe do wykonania zadania.

Aby z niego skorzystać, naciśnij i przytrzymaj klawisz „Windows” podczas klikania na ekranie, aby otworzyć menu nakładkowe prezentujące różne opcje akcji. Ponadto na górze dostępne jest pole wyszukiwania, integrujące się z Windows Recall.

Ulepszone wyszukiwanie w systemie Windows

Choć oficjalnie nie jest to nazwane, funkcja wyszukiwania w systemie Windows zostanie odnowiona dzięki możliwościom sztucznej inteligencji. To ulepszenie pozwala użytkownikom na wykonywanie wyszukiwania w języku naturalnym w aplikacjach, plikach i ustawieniach bezpośrednio w Eksploratorze plików, aplikacji Ustawienia i pasku zadań, zamiast polegać wyłącznie na słowach kluczowych.

Automatyczna super rozdzielczość

Auto Super Resolution (SR) wykorzystuje technologię AI do poprawy rozdzielczości gry i jakości wizualnej, przyczyniając się do płynniejszej i wydajniejszej rozgrywki przy jednoczesnym maksymalizowaniu liczby klatek na sekundę. Zasadniczo wykorzystuje AI do skalowania gier, co skutkuje ulepszoną grafiką i wydajnością.

Funkcja ta jest podobna do technologii DLSS firmy Nvidia, FidelityFX Super Resolution (FSR) firmy AMD i Xe Super Sampling (XeSS) firmy Intel — wszystkie te technologie wykorzystują sztuczną inteligencję w celu poprawy jakości grafiki w grach.

W ramach tej inicjatywy firma Microsoft opracowała interfejs API „DirectSR” we współpracy z firmami Nvidia, AMD i Intel, aby usprawnić SR w przyszłych grach.

Funkcja ta będzie jednak dostępna wyłącznie na komputerach Copilot+ wyposażonych w najnowsze procesory Qualcomm Snapdragon X Elite i będzie ograniczona do wybranej liczby gier.

Współtwórca i generatywne wypełnianie i wymazywanie w programie Paint

Microsoft wprowadza nową funkcję Cocreator w aplikacji Paint, która skanuje rysunki zamiast generować obraz AI. Ta funkcja pomoże Ci udoskonalać, edytować i rozwijać Twoje koncepcje artystyczne.

Funkcja ta wykorzystuje algorytm oparty na dyfuzji, aby uzyskać wysokiej jakości obraz przy minimalnym wysiłku, i oferuje ustawienia pozwalające dostosować kreację dosłowną lub ekspresyjną.

Należy wyjaśnić, że Cocreator jest dostępny wyłącznie na komputerach Copilot+ i nie należy go mylić z „Image Creator”, funkcją sztucznej inteligencji wykorzystującą zasoby chmury do konwersji komunikatów tekstowych na elementy wizualne.

Wypełnienie generatywne

W programie Paint funkcja „Fill” pozwala użytkownikom wybrać konkretny obszar obrazu i wygenerować nowe elementy, aby ulepszyć tę sekcję na podstawie monitu tekstowego. Funkcja ta będzie początkowo dostępna na komputerach Copilot+ z najnowszymi procesorami Qualcomm.

Wymazywanie generatywne

Aplikacja Paint wprowadzi również funkcję „Erase”, która umożliwi użytkownikom zaznaczanie i usuwanie fragmentów obrazu za pomocą sztucznej inteligencji — podobnie jak w przypadku funkcji dostępnych na urządzeniach mobilnych.

Można się spodziewać, że ta funkcja będzie dostępna na wszystkich urządzeniach, także tych, które nie obsługują sztucznej inteligencji.

Zmiana stylu obrazu, kreator obrazów i super rozdzielczość w zdjęciach

Aplikacja Zdjęcia będzie zawierać nową funkcję „Zmień styl obrazu”, której celem jest zmiana stylu zdjęcia za pomocą sztucznej inteligencji i procesora NPU urządzenia, wykorzystując zaawansowane techniki generowania i edycji obrazu.

Ta funkcja pozwala użytkownikom wybrać obraz, aby zmienić jego styl, podobnie jak stosowanie filtrów w aplikacjach mobilnych. Użytkownicy mogą również wprowadzić tekst monitu, aby utworzyć nowe tło.

Twórca obrazu

Aplikacja Photos będzie zawierać to samo narzędzie „Image Creator” , które można znaleźć w programie Paint, umożliwiając użytkownikom tworzenie obrazów generowanych przez AI na podstawie prostego monitu tekstowego. W przeciwieństwie do wersji Paint, ta funkcja nie jest dostępna wyłącznie dla komputerów Copilot+, ponieważ działa w chmurze przy użyciu modelu języka DALL-E.

Super rozdzielczość

Funkcja Super Resolution umożliwi użytkownikom skalowanie obrazów za pomocą AI, dostępnej wyłącznie na komputerach Copilot+. Będzie wykorzystywać NPU do ulepszania i wyostrzania obrazów do ośmiu razy w stosunku do oryginalnej rozdzielczości.

Microsoft obiecuje również, że funkcja Super Resolution w aplikacji Zdjęcia pozwoli przywrócić życie starym zdjęciom o niskiej jakości.

Aktualizacje Copilota dla systemu Windows 11

Chociaż Copilot jest funkcją systemu Windows 11 od jakiegoś czasu, wersja 24H2 wprowadzi aktualizacje. Aplikacja będzie działać jako standardowa aplikacja, którą można przypiąć lub usunąć z paska zadań, co pozwoli użytkownikom zmieniać jej rozmiar i przenosić ją tak jak każdą inną aplikację (jest również dostępna w systemie Windows 11 23H2).

Aplikacja jest w rzeczywistości wersją internetową zainstalowaną jako aplikacja internetowa w systemie Windows 11. Podczas gdy jej podstawowe funkcjonalności pozostają takie same, nie będzie już mogła zmieniać ustawień systemowych. Ponadto interfejs został odświeżony, aby przypominał internetowe doświadczenie OpenAI ChatGPT.

Ponadto Copilot zostanie teraz zintegrowany z aplikacją Ustawienia. Zamiast wyraźnego przycisku do przywoływania chatbota, użytkownicy znajdą „sugestie Copilot” w ustawieniach. Na przykład w sekcji System użytkownicy mogą zobaczyć pomocne sugestie dotyczące rozwiązywania problemów z dźwiękiem, aktywowania ustawień oszczędzania energii lub przesyłania strumieniowego do bezprzewodowego wyświetlacza.

W Eksploratorze plików firma Microsoft chce usprawnić zadania użytkownika, korzystając z funkcji Copilot, umożliwiając wykonywanie akcji na obrazach po najechaniu na nie kursorem i kliknięciu przycisku Copilot.

Co więcej, Copilot stanie się również częścią funkcji Powiadomienia. Po otrzymaniu powiadomienia typu toast, przedstawi sugestie związane ze specyficznym scenariuszem. Na przykład, jeśli e-mail zawiera załącznik PowerPoint, Copilot może zalecić podsumowanie jego zawartości.

Ta integracja umożliwi użytkownikom udostępnianie ekranu aplikacji Copilot, która będzie im pomagać w wykonywaniu różnych zadań.

Programiści zaczną również włączać funkcje sztucznej inteligencji do swoich aplikacji, co wskazuje na szerszą integrację możliwości sztucznej inteligencji w przyszłych aktualizacjach systemów operacyjnych.

Ostatnie zmiany w Copilocie zostały po raz pierwszy wprowadzone podczas niedawnego wydarzenia związanego z premierą Surface, ale od tego czasu nie ujawniono dalszych szczegółów na temat sugestii dotyczących Copilota.

Wniosek

Aktualizacja 2024 dla systemu Windows 11 jest obecnie dostępna i zawiera nowe funkcjonalności i ulepszenia, choć funkcje AI nie zostały jeszcze uwzględnione. Microsoft planuje rozpocząć testowanie tych możliwości AI, w tym Windows Recall z ulepszonymi funkcjami bezpieczeństwa, w październiku dla komputerów Copilot+ za pośrednictwem programu Windows Insider Program, a szersze wdrożenie jest spodziewane w listopadzie 2024 r.

Komputery Copilot+ to nowa kategoria inteligentnych komputerów zaprojektowanych do zastosowań AI. Początkowa oferta obejmuje procesory Qualcomm Snapdragon X series wraz ze zintegrowanymi NPU, które obsługują rozbudowane funkcje AI, zapewniając jednocześnie całodniową wydajność baterii. Te maszyny są wyposażone w co najmniej 16 GB pamięci RAM i 256 GB pamięci masowej. Oczekuje się również , że nowe oferty firm Intel i AMD będą obejmować procesory z NPU, aby ułatwić te zaawansowane doświadczenia AI.

Aktualizacja 8 października 2024 r.: Niniejszy artykuł został zmieniony w celu zapewnienia dokładnych i aktualnych treści.

Źródło