Bevestigde AI-functies in Windows 11 versie 24H2

• Microsoft gaat een aantal nieuwe AI-functionaliteiten op het apparaat introduceren in Windows 11 24H2.
• Belangrijke functies zijn onder andere Windows Recall, Windows Studio Effects, Live Captions, Auto Super Resolution, Voice Clarity, Voice Focus, Click to Do, Cocreator in de Paint-app en Restyle Image in de Photos-app.
• Daarnaast worden er verbeteringen doorgevoerd in Copilot voor Windows 11.

Sinds 1 oktober is Windows 11 24H2 (2024 Update) uitgerold voor in aanmerking komende apparaten, hoewel het in eerste instantie de verwachte AI-functies mist. Microsoft besteedt tijd aan het garanderen dat deze functies volledig zijn voorbereid op implementatie. Niettemin zijn details van de eerste AI-aanbiedingen onthuld, te beginnen met de integratie van de Windows Copilot Runtime.

Deze vernieuwde versie van het besturingssysteem introduceert diverse exclusieve AI-functies die speciaal zijn ontworpen voor Copilot+ pc’s, waaronder Windows Recall, Windows Studio Effects, Live Captions (inclusief realtime vertalingen), Auto Super Resolution, Voice Clarity, Click to Do, Voice Focus, Cocreator in de Paint-app en Restyle Image in de Foto’s-app.

Deze innovaties zijn afkomstig van de nieuwe “Windows Copilot Runtime”, een systeemcomponent die meer dan 40 AI-modellen integreert die rechtstreeks op het apparaat werken en zo de benodigde infrastructuur voor hun functies biedt.

Hierdoor kunnen ontwikkelaars ook AI-mogelijkheden in hun applicaties integreren via de nieuwe API’s die beschikbaar zijn in de Windows Copilot Library .

AI-functies in Windows 11 versie 24H2

Hieronder vindt u een overzicht van de AI-functies die in 2024 en daarna voor Windows worden verwacht.

Windows-terugroepactie

Windows Recall fungeert als een achtergrondfotografisch geheugen en maakt automatisch snapshots van uw activiteiten op de computer. Met behulp van verschillende AI-modellen die lokaal worden uitgevoerd, maakt deze functie alle content, of het nu tekst of afbeeldingen zijn, doorzoekbaar met behulp van natuurlijke taal.

Deze innovatieve Recall-functie is uitsluitend beschikbaar op Copilot+-pc’s. Deze moeten zijn uitgerust met compatibele hardware, waaronder een NPU-processor, 16 GB RAM en 256 GB SSD-opslag.

Tijdens de eerste out-of-box-ervaring (OOBE) kunnen gebruikers deze functie activeren of deactiveren. Extra controle is beschikbaar via de app Instellingen of Groepsbeleid.

Windows Studio-effecten

Windows Studio Effects omvat een reeks functionaliteiten die AI gebruiken om de kwaliteit van videogesprekken en audio te verbeteren via Neural Processing Units (NPU’s).

Momenteel zijn er vijf hoofdeffecten: Automatisch kaderen, Achtergrondvervaging, Oogcontact, Stemfocus en Creatieve filters.

• Automatisch kaderen: Hiermee blijft u gecentreerd in het camerabeeld, zelfs als u beweegt.
• Achtergrond vervagen: vervaagt uw achtergrond tijdens videogesprekken voor extra privacy of om rommel te verbergen, met zowel ‘Standaard vervagen’ als ‘Portret vervagen’.
• Oogcontact: past uw uiterlijk aan om ervoor te zorgen dat oogcontact wordt waargenomen, met de beschikbare modi ‘Standaard’ en ‘Autocue’ .
• Voice Focus: Minimaliseert achtergrondgeluid voor helderdere audio tijdens gesprekken. Er zijn twee varianten, een die NPU gebruikt en een andere die alleen op software vertrouwt.

Hoewel Studio Effects al een tijdje beschikbaar zijn in Windows 11, is Microsoft van plan om de beschikbaarheid ervan uit te breiden met versie 24H2, specifiek voor Copilot+ pc’s.

Live ondertiteling met vertaling

De Live Captions-functie, die al aanwezig was in Windows 11, krijgt een upgrade met live vertalingen. Deze tool is ontworpen om iedereen, met name mensen met een gehoorbeperking, te helpen bij het begrijpen van audiocontent via automatische transcriptie.

De geüpgradede functie vertaalt audio van video- of spraakoproepen in realtime naar uw moedertaal, ongeacht de bron, of het nu YouTube of een ander platform is. Het kan meer dan 40 talen naar het Engels vertalen zonder dat er een internetverbinding nodig is, mits het wordt ondersteund door een NPU.

Het is belangrijk om te vermelden dat deze functie is verschoven van eenvoudige transcriptie naar realtime audiovertaling.

Stemhelderheid

De Voice Clarity-functie maakt gebruik van AI om achtergrondgeluiden te elimineren, echo’s te onderdrukken en galm te verminderen tijdens video- of spraakoproepen en audio-opnamen.

Deze functionaliteit is ook gunstig voor online gaming door duidelijkere communicatie te bieden. Applicaties kunnen “Deep Noise Suppression” inschakelen voor optimale audiokwaliteit. Voice Clarity werkt automatisch op ondersteunde apps met compatibele hardware die is uitgerust met een NPU, zonder dat handmatige activering nodig is.

Klik om te doen

Als je bekend bent met “Circle to Search” op Android of “Google Lens” in Chrome, dan zal “Click to Do” vergelijkbaar aanvoelen. Het gebruikt AI om scherminhoud te herkennen en te interpreteren, en biedt verschillende uitvoerbare taken.

Om het te gebruiken, houdt u de “Windows”-toets ingedrukt terwijl u op het scherm klikt om een ​​overlay-menu te openen met verschillende actie-opties. Ook is er een zoekvak beschikbaar bovenaan, geïntegreerd met Windows Recall.

Verbeterde Windows-zoekfunctie

Hoewel het niet officieel zo genoemd wordt, zal de Windows Search-functie worden vernieuwd met AI-mogelijkheden. Deze verbetering stelt gebruikers in staat om natuurlijke taalzoekopdrachten uit te voeren voor apps, bestanden en instellingen rechtstreeks in Verkenner, de app Instellingen en de Taakbalk, in plaats van alleen te vertrouwen op trefwoorden.

Automatische superresolutie

Auto Super Resolution (SR) maakt gebruik van AI-technologie om de gameresolutie en visuele kwaliteit te verbeteren, wat bijdraagt ​​aan een vloeiendere en efficiëntere gameplay-ervaring terwijl de framerates worden gemaximaliseerd. In wezen maakt het gebruik van AI om games op te schalen, wat resulteert in verbeterde graphics en prestaties.

Deze functie vertoont overeenkomsten met DLSS van Nvidia, FidelityFX Super Resolution (FSR) van AMD en Xe Super Sampling (XeSS) van Intel, die allemaal gebruikmaken van AI voor verbeterde gamebeelden.

Als onderdeel van dit initiatief heeft Microsoft in samenwerking met Nvidia, AMD en Intel de “DirectSR” API ontwikkeld om SR te stroomlijnen in toekomstige gametitels.

Deze mogelijkheid is echter uitsluitend beschikbaar voor Copilot+-pc’s met de nieuwste Qualcomm Snapdragon X Elite-processors en is beperkt tot een beperkt aantal games.

Mede-maker en generatief vullen en wissen in Paint

Microsoft introduceert een nieuwe Cocreator- functie in de Paint-app die uw tekeningen scant in plaats van een AI-afbeelding te genereren. Deze functie helpt u bij het verfijnen, bewerken en ontwikkelen van uw artistieke concepten.

Deze functie maakt gebruik van een diffusie-algoritme om met minimale inspanning een afbeelding van hoge kwaliteit te produceren. U kunt ook instellen of de creatie meer letterlijk of meer expressief moet zijn.

Het is belangrijk om duidelijk te maken dat Cocreator exclusief is voor Copilot+ pc’s en niet verward moet worden met “Image Creator”, een AI-functie die gebruikmaakt van cloudbronnen om tekstberichten om te zetten in beelden.

Generatieve vulling

Binnen Paint kunnen gebruikers met de functie “Fill” een specifiek gebied van een afbeelding selecteren en nieuwe elementen genereren om dat gedeelte te verbeteren op basis van een tekstprompt. Deze functie zal in eerste instantie toegankelijk zijn op Copilot+ pc’s met de nieuwste Qualcomm-processors.

Generatief wissen

De Paint-applicatie introduceert ook de functie ‘Wissen’, waarmee gebruikers delen van een afbeelding kunnen selecteren en verwijderen met behulp van AI, vergelijkbaar met functies die beschikbaar zijn op mobiele apparaten.

We verwachten dat deze mogelijkheid op alle apparaten wordt uitgerold, ook op apparaten zonder AI-ondersteuning.

Restyle Image, Image Creator en Super Resolution in Foto’s

De Foto’s-app krijgt een nieuwe functie, ‘Afbeelding herstylen’, die gericht is op het veranderen van de stijl van een foto via AI en de NPU van het apparaat, waarbij gebruik wordt gemaakt van geavanceerde technieken voor het genereren en bewerken van afbeeldingen.

Met deze functie kunnen gebruikers een afbeelding selecteren om de stijl ervan te transformeren, net zoals filters op mobiele apps worden toegepast. Gebruikers kunnen ook een tekstprompt invoeren om een ​​nieuwe achtergrond te maken.

Afbeeldingmaker

De Photos-applicatie zal dezelfde “Image Creator” -tool bevatten als in Paint, waarmee gebruikers AI-gegenereerde afbeeldingen kunnen maken op basis van een eenvoudige tekstprompt. In tegenstelling tot de Paint-versie is deze functie niet exclusief voor Copilot+-pc’s, aangezien deze in de cloud werkt met behulp van het DALL-E-taalmodel.

Superresolutie

De Super Resolution-functionaliteit stelt gebruikers in staat om afbeeldingen op te schalen via AI, exclusief beschikbaar op Copilot+ pc’s. Het zal de NPU gebruiken om afbeeldingen te verbeteren en scherper te maken tot acht keer hun oorspronkelijke resolutie.

Microsoft belooft ook dat de functie Superresolutie in Foto’s oude afbeeldingen van lage kwaliteit weer tot leven kan brengen.

Updates voor Copilot voor Windows 11

Hoewel Copilot al een tijdje een feature is van Windows 11, zal versie 24H2 updates introduceren. De app zal functioneren als een standaardapplicatie die kan worden vastgezet of verwijderd van de taakbalk, waardoor gebruikers de app kunnen vergroten en verkleinen en verplaatsen net als elke andere app (het is ook beschikbaar op Windows 11 23H2).

De applicatie is eigenlijk een webversie die als webapp op Windows 11 is geïnstalleerd. Hoewel de basisfunctionaliteiten hetzelfde blijven, kan het niet langer systeeminstellingen wijzigen. Bovendien is de interface vernieuwd om te lijken op de OpenAI ChatGPT-webervaring.

Bovendien wordt Copilot nu geïntegreerd in de app Instellingen. In plaats van een expliciete knop om de chatbot op te roepen, vinden gebruikers ‘Copilot-suggesties’ in de instellingen. In het gedeelte Systeem kunnen gebruikers bijvoorbeeld nuttige suggesties zien voor het oplossen van audioproblemen, het activeren van energiebesparende instellingen of het streamen naar een draadloos scherm.

In de Verkenner wil Microsoft de taken van gebruikers stroomlijnen met behulp van Copilot. Zo kunnen er acties worden uitgevoerd op afbeeldingen wanneer u er met de muis overheen beweegt en op de Copilot-knop klikt.

Bovendien zal Copilot ook deel uitmaken van de Notificaties-functie. Wanneer u een toastmelding ontvangt, zal het suggesties presenteren die gerelateerd zijn aan het specifieke scenario. Bijvoorbeeld, als een e-mail een PowerPoint-bijlage bevat, kan Copilot aanbevelen om de inhoud ervan samen te vatten.

Dankzij deze integratie kunnen gebruikers hun scherm delen met Copilot voor assistentie bij verschillende taken.

Ontwikkelaars zullen ook AI-functies in hun applicaties gaan integreren, wat duidt op een bredere integratie van AI-mogelijkheden in toekomstige updates van besturingssystemen.

De recente wijzigingen in Copilot werden voor het eerst geïntroduceerd tijdens een recent lanceringsevenement van de Surface, maar sindsdien zijn er nog geen verdere details over de Copilot-suggesties bekendgemaakt.

Conclusie

De 2024 Update voor Windows 11 is momenteel beschikbaar, boordevol nieuwe functionaliteiten en verbeteringen, hoewel de AI-functies nog moeten worden opgenomen. Microsoft is van plan om ergens in oktober te beginnen met het testen van deze AI-mogelijkheden, waaronder Windows Recall met verbeterde beveiligingsfuncties, voor Copilot+-pc’s via het Windows Insider Program, met een bredere uitrol die in november 2024 wordt verwacht.

Copilot+ pc’s zijn een nieuwe categorie slimme computers die zijn ontworpen voor AI-toepassingen. De eerste reeks bevat Qualcomm Snapdragon X-serie processors samen met geïntegreerde NPU’s die uitgebreide AI-functionaliteiten ondersteunen en tegelijkertijd de hele dag batterijprestaties garanderen. Deze machines zijn uitgerust met ten minste 16 GB RAM en 256 GB opslag. Nieuwe aanbiedingen van Intel en AMD zullen naar verwachting ook processors met NPU’s bevatten om deze geavanceerde AI-ervaringen te vergemakkelijken.

Update 8 oktober 2024: Dit artikel is herzien om nauwkeurige en actuele inhoud te bieden.

Bron