KI-Funktionen von Windows 11 für Version 24H2 bestätigt

• Microsoft bestätigt mindestens sieben neue geräteinterne KI-Funktionen für Windows 11 24H2.
• Zu diesen Funktionen gehören Windows Recall, Windows Studio-Effekte, Live-Untertitel, Super Resolution, Voice Clarity, Cocreator für die Paint-App und Restyle Image für die Fotos-App.
• Dies gilt zusätzlich zu verschiedenen Änderungen, die bei Copilot für Windows 11 vorgenommen werden.

Windows 11 24H2 (Update 2024) wird eine Reihe neuer Funktionen einführen, wobei der Schwerpunkt auf KI liegt. In diesem Handbuch werde ich auf diese KI-zentrierten Funktionen eingehen und ihre Bedeutung hervorheben und erklären, wie sie Ihr Erlebnis verbessern.

In dieser neuen Version des Betriebssystems erwarten Sie mindestens sieben neue KI-Funktionen, die auf dem Gerät ausgeführt werden, darunter Windows Recall, Windows Studio Effects, Live Captions (Echtzeitübersetzungen), Super Resolution, Voice Clarity, Cocreator für die Paint-App und Restyle Image für die Fotos-App. (Diese Funktionen sind exklusiv für Copilot+-PCs verfügbar.)

Möglich werden die neuen Features durch die neue „Windows Copilot Runtime“, eine Systemkomponente von Windows 11, die über 40 lokal auf dem Rechner laufende KI-Modelle integriert und die Infrastruktur zu deren Wartung bereitstellt.

Dies ermöglicht Entwicklern auch, ihre Apps mithilfe der neuen APIs über die Windows Copilot Library mit KI-Funktionen zu integrieren .

Darüber hinaus wird das Windows 11 2024 Update auch verschiedene wesentliche Änderungen und neue Funktionen für die Copilot-Chatbot-KI einführen.

Windows 11 KI-Funktionen für Version 24H2

Hier erhalten Sie eine Übersicht über die neuen KI-gestützten Funktionen.

Windows-Rückruf

Windows Recall (oder Recall) ist eine neue Funktion, die als fotografisches Gedächtnis im Hintergrund funktioniert und Schnappschüsse von allem macht, was Sie auf dem Computer tun. Mithilfe mehrerer KI-Modelle, die lokal auf dem Gerät ausgeführt werden, analysiert die Funktion jeden Inhalt, egal ob Text oder Bild, und macht ihn mithilfe natürlicher Sprache durchsuchbar.

Die Recall-Funktion ist eine exklusive Funktion für Copilot+-PCs, da sie den neuesten Qualcomm Snapdragon X-Serie-Prozessor mit NPU, 16 GB RAM und 256 GB SSD erfordert.

Sie haben die Möglichkeit, die Funktion in der Standardeinstellung (OOBE) ein- oder auszuschalten, Sie können „Rückruf“ jedoch auch manuell über die App „Einstellungen“ oder die Gruppenrichtlinie aktivieren oder deaktivieren.

Windows Studio-Effekte

Windows Studio Effects (oder Studio Effects ) ist eine Kombination von Funktionen, die KI nutzt, um Videoanrufe und die Audioqualität mithilfe einer Neural Processing Unit (NPU) zu verbessern.

Derzeit gibt es vier Haupteffekte, darunter automatische Rahmung, Hintergrundunschärfe, Augenkontakt, Stimmfokus, Porträtlicht, Kreativfilter und Augenkontakt-Teleprompter.

• Automatische Rahmung: Sorgt dafür, dass Sie in der Mitte der Kameraansicht bleiben, auch wenn Sie sich bewegen.
• Hintergrundunschärfe: Verwischt den Hintergrund hinter Ihnen während eines Anrufs und sorgt so für mehr Privatsphäre oder verbirgt Unordnung.
• Blickkontakt: Da Sie während eines Anrufs möglicherweise auf Ihren Bildschirm schauen, erweckt diese Funktion den Eindruck, dass Sie den Blickkontakt mit anderen Personen halten.
• Sprachfokus: Dieser Effekt reduziert Hintergrundgeräusche Ihres Mikrofons und sorgt dafür, dass Ihre Stimme bei Anrufen klarer wird.

Es ist wichtig zu beachten, dass Studio Effects bereits seit einiger Zeit Teil von Windows 11 sind, aber ab Version 24H2 plant Microsoft, diese Funktionen auf Copilot+-PCs allgemeiner verfügbar zu machen.

Live-Untertitel mit Übersetzung

Obwohl Windows 11 schon seit einiger Zeit über die Funktion „Live Captions“ verfügt, wird sie jetzt mit Live-Übersetzungen aktualisiert. „Live Captions“ ist eine Funktion, die allen, auch Menschen mit Hörproblemen, helfen soll, Audio durch automatische Transkriptionen zu verstehen.

Als Teil der KI-Integration im Betriebssystem kann die Funktion auch Konvertierungen von Video- oder reinen Sprachanrufen in Ihre Muttersprache übersetzen, einschließlich Videos, die Sie auf YouTube oder aus anderen Quellen ansehen. Technisch gesehen ist die Funktion nun in der Lage, alle Audiodaten, die über den Computer laufen, in Echtzeit zu übersetzen.

Der Ton kann live oder aus einer beliebigen App oder einem Video aufgezeichnet sein. Die Funktion kann über 40 Sprachen auch ohne Internetverbindung ins Englische übersetzen, da sie eine NPU erfordert.

Stimmenklarheit

Unter Windows 11 ist Voice Clarity eine KI-gestützte Funktion, die Hintergrundgeräusche entfernt, Echos unterdrückt und den Nachhall bei Video- oder reinen Sprachanrufen oder bei Audioaufnahmen in Echtzeit reduziert.

Darüber hinaus kommt diese Funktion auch PC-Spielen mit Online-Kommunikation zugute. Apps können „Deep Noise Suppression“ für reine Sprach- oder generische Audioinhalte aktivieren. Voice Clarity sorgt für eine klare Stimme in Online-Meetings und eine reibungslosere Online-Kommunikation.

Voice Clarity funktioniert automatisch bei unterstützten Anwendungen mit unterstützter Hardware, die NPU enthält. Sie werden keine Option zum Aktivieren von Voice Clarity finden.

Auto Super Resolution

Auto Super Resolution (SR) ist eine Funktion, die KI nutzt, um die Auflösung und Bildqualität von Spielen zu verbessern. So wird ein flüssigeres, effizienteres Erlebnis geboten, das sich über die gesamte Hardware skalieren lässt und bessere Bildraten beinhaltet. Mit anderen Worten: Super Resolution nutzt KI, um Spiele zu skalieren und Bildraten sowie Bildqualität zu verbessern.

Die Funktion ähnelt Nvidias DLSS, AMDs FidelityFX Super Resolution (FSR) und Intels Xe Super Sampling (XeSS), das ebenfalls KI zum Upscaling von Spielen verwendet.

Als Teil dieser Funktion hat Microsoft in Zusammenarbeit mit Nvidia, AMD und Intel auch die API „DirectSR“ entwickelt, um SR in die nächste Spielegeneration zu integrieren.

Microsoft bietet die Funktion exklusiv für Copilot+-PCs mit den neuesten Qualcomm Snapdragon X Elite-Prozessoren an und sie wird nur für eine ausgewählte Anzahl von Spielen verfügbar sein.

Co-Creator für Paint

In der Paint-App fügt Microsoft außerdem eine neue Cocreator- Funktion hinzu, die Ihre Zeichnung scannt, anstatt ein KI-Bild für Sie zu erstellen, und Ihnen beim Erstellen eines neuen Kunstwerks hilft, das Sie verfeinern, bearbeiten und mit Ihren Ideen weiterentwickeln können.

Diese Funktion verwendet einen diffusionsbasierten Algorithmus, um mit minimalem Aufwand ein qualitativ hochwertiges Bild zu erzeugen.

Cocreator verfügt sogar über eine Einstellung, um die Zeichnung wörtlicher oder ausdrucksstärker zu gestalten.

Cocreator ist eine KI-Funktion exklusiv für Copilot+-PCs, sollte jedoch nicht mit „Image Creator“ verwechselt werden, ebenfalls einer KI-Funktion, die die Cloud verwendet, um eine Textaufforderung in ein Bild umzuwandeln.

Bild für Fotos neu gestalten

In der Fotos-App fügt Microsoft als Teil von Windows 11 24H2 und exklusiv für die Copilot+-PCs eine neue Funktion „Restyle Image“ hinzu, die KI mit der NPU des Geräts verwendet, um den Stil eines Fotos mithilfe von Bildgenerierungs- und Fotobearbeitungstechniken zu ändern.

Mit dieser Funktion können Sie ein Bild auswählen und es dann mit neuen Stilen transformieren, ähnlich wie bei der Verwendung von Filtern auf Ihrem Telefon. Sie können sogar eine Texteingabeaufforderung verwenden, um einen neuen Hintergrund zu erstellen.

Die Fotos-App erhält außerdem die gleiche „Image Creator“ -Funktion wie die Paint-App, mit der Sie KI-Bilder mit einer einzigen Texteingabeaufforderung erstellen können. Diese Funktion ist nicht exklusiv für Copilot+-PCs, da sie keine NPU erfordert, da der Prozess in der Cloud mit Copilot unter Verwendung des DALL-E-Sprachmodells abläuft.

Copilot für Windows 11

Obwohl Copilot bereits seit einiger Zeit unter Windows 11 verfügbar ist, wird Microsoft ab Version 24H2 einige Änderungen vornehmen. In dieser neuen Version wird Copilot beispielsweise zu einer herkömmlichen App, die Sie an die Taskleiste anheften oder von ihr lösen können. Sie können die Größe auch wie jede andere App ändern und sie verschieben.

Die App ist eigentlich die Webversion von Copilot, die als Web-App unter Windows 11 installiert wurde. Sie funktioniert wie zuvor, der Unterschied besteht jedoch darin, dass sie keine Systemeinstellungen mehr ändern kann. Außerdem wurde die Benutzeroberfläche mit einem neuen Design aktualisiert, das dem OpenAI ChatGPT-Erlebnis im Web ähnelt.

Darüber hinaus plant Microsoft, Copilot bald mit OpenAI GPT-4o (oder GPT-4 Omni) zu aktualisieren, einem neuen leistungsstarken Sprachmodell, das Informationen in verschiedenen Formaten wie Text, Bildern und sogar Audio versteht und verarbeitet.

Copilot kommt auch in die App „Einstellungen“. Sie erhalten jedoch keine Schaltfläche, um den Chatbot aufzurufen. Stattdessen finden Sie in den Einstellungen „Copilot-Vorschläge“. Wenn Sie sich beispielsweise im Abschnitt „System“ befinden, wird möglicherweise eine Sammlung von Vorschlägen angezeigt, um Audioprobleme zu beheben, die Energiesparfunktion einzuschalten oder Ihren Bildschirm auf ein drahtloses Display zu übertragen.

Microsoft plant, Copilot in den Datei-Explorer zu integrieren, damit Sie Aufgaben in weniger Schritten erledigen können. Wenn Sie sich beispielsweise auf der Registerkarte „Galerie“ befinden, können Sie mit der Maus über ein Bild fahren und durch Klicken auf die Schaltfläche „Copilot“ verschiedene Aktionen aufrufen, die Sie auf die Bilddatei anwenden können.

Darüber hinaus wird Copilot auch in die Benachrichtigungen aufgenommen. Wenn Sie eine Toast-Benachrichtigung erhalten, wird Copilot mit einem Vorschlag angezeigt, der in diesem speziellen Fall ausgeführt werden soll. Wenn Sie beispielsweise eine E-Mail mit einem PowerPoint-Anhang erhalten, schlägt der Chatbot möglicherweise vor, den Inhalt zusammenzufassen.

Unter Windows 11 bedeutet dies auch, dass Sie Ihren Bildschirm mit Copilot teilen können, um bei allen Ihren Aktivitäten Unterstützung zu erhalten.

Es ist auch wichtig darauf hinzuweisen, dass Entwickler nun beginnen werden, KI in ihre Apps zu integrieren, was bedeutet, dass wir ab der nächsten Version des Betriebssystems mehr Apps mit KI-Funktionen sehen werden.

Zusammenfassung

Das Betriebssystem erhält ab dem 18. Juni ein neues Funktionsupdate mit einigen der neuen Funktionen für Copilot+-PCs, während die endgültige Version des Funktionsupdates für alle irgendwann im September oder Oktober ausgerollt werden soll. Sobald die neue Version für alle verfügbar ist, wird Microsoft die verbleibenden Funktionen und Änderungen für Copilot+-PCs ausrollen.

https://www.youtube.com/watch?v=o0RSLOuhRzQ

Copilot+-PCs sind eine neue Kategorie von Computern mit KI-Funktionen. Die erste Gerätewelle wird mit Prozessoren der Qualcomm Snapdragon X-Serie mit integrierten NPUs ausgestattet sein, um praktisch jede KI-Funktion zu bewältigen und eine echte ganztägige Akkulaufzeit zu bieten. Diese Geräte werden mit mindestens 16 GB Arbeitsspeicher und 256 GB Speicher ausgestattet sein. In Zukunft werden Intel und AMD voraussichtlich Prozessoren mit NPUs auf den Markt bringen, um diese neuen Erfahrungen zu bewältigen.

Zu diesen neuen Copilot+-PCs gehören unter anderem Surface Pro (11. Edition), Surface Laptop (7. Edition), Acer Swift 14 AI, HP Omnibook X, HP EliteBook Ultra G1q, Lenovo Yoga Slim 7x, Samsung Galaxy Book4 Edge-Serie, ASUS Vivobook S 15 und Dell-Laptops wie XPS 13, Inspiron 14, Inspiron 14 Plus, Latitude 5455 und Latitude 7455.