Microsoft Recall AI-privacyproblemen onbenut door eenvoudig Python-script

Omdat multimodale generatieve AI een van de populairste onderwerpen van de afgelopen jaren is, was het logisch dat Microsoft dit in zoveel mogelijk hoeken en gaten van Windows zou willen integreren. Kort na de aankondiging van de Recall-functie voor Copilot+-systemen op 20 mei bleek echter uit een eenvoudig Python-script dat op GitHub werd gepubliceerd dat Microsoft een behoorlijk cruciale fout maakte: de gegevens die het opslaat, zijn helemaal niet veilig.

Wat achtergrondinformatie over Microsoft Recall

Microsoft Recall is een functie in de nieuwe Copilot+ pc’s van het bedrijf die worden geleverd met een geavanceerde ARM-versie van Windows 11. De chips in de computers zijn ontworpen om zoveel mogelijk bewerkingen uit te voeren met een zo laag mogelijk energieprofiel, waardoor ze in staat zijn AI te integreren in de workflow van de gebruiker zonder dat er externe servers nodig zijn om verzoeken af ​​te handelen.

Recall moet bijdragen aan de Windows-ervaring door periodiek schermafbeeldingen van uw systeem te maken terwijl u het gebruikt, en vervolgens alle informatie te verwerken via een computer vision AI-model dat de elementen op uw scherm interpreteert. Dit kan later worden gebruikt om u te helpen uw sessie te doorzoeken en u te helpen terugkijken op dingen die u eerder in uw sessie hebt gedaan.

Op voorwaarde dat uw scherm op elk moment voortdurend verandert, maakt Recall elke vijf seconden schermafbeeldingen en slaat deze op. Anders wacht het tot er veranderingen plaatsvinden.

Wat is er gebeurd?

Op 7 juni publiceerde een gebruiker met de naam Alexander Hagenah (xaitax) op GitHub een Python-script genaamd TotalRecall dat lokaal kon draaien en alle gegevens kon doorzoeken die veilig hadden moeten worden opgeslagen.

We hebben het script zelf bekeken en in slechts 164 regels code hoefde het alleen maar een SQLite .db- bestand te vinden dat zich op de volgende locatie op het doelsysteem bevond:

Nadat het bestand is gevonden, wordt het eenvoudigweg geopend en gelezen. Dat is het. Er bestaat geen hackermagie. Het grootste deel van de code wordt besteed aan het definiëren en controleren van opslagpaden zodat het script de bestanden correct kan uitpakken. Er is hier geen sprake van misbruik omdat alle bestanden die Recall opslaat, gewoon openbaar en niet-versleuteld zijn.

Het blijkt dat ondanks dat Microsoft een hele sectie over “Ingebouwde beveiliging” aanprijst in hun overzicht van de privacy van Recall , het enige dat nodig is om de Recall-database open te breken, is door naar een map te navigeren en een paar SQL-opdrachten te typen. Alle afbeeldingen worden ook in duidelijke weergave opgeslagen in een submap genaamd “ImageStore”.

Een reden tot zorg?

Het vooruitzicht dat er ongecodeerde schermafbeeldingen zijn van dingen die je hebt gedaan – inclusief wachtwoorden die je misschien in leesbare tekst hebt getypt – die zonder enige bescherming in je bestandssysteem zijn opgeslagen, klinkt eng, maar is niet zo catastrofaal als het klinkt.

De zorgen over privacy zijn nog steeds actueel. Door gebruikers zo gemakkelijk toegang te geven tot de bestanden van Recall zonder enige barrières, wordt het voor bekwame sociale ingenieurs heel gemakkelijk om minder technisch onderlegde mensen ervan te overtuigen de map CoreAIPlatform.00 zonder nadenken in een ZIP-bestand te comprimeren en al die gegevens over te dragen.

Bepaalde toepassingen kunnen zonder enige gevolgen kwaadwillig informatie uit UserActivity- gebeurtenissen extraheren met behulp van de Recall-systeem-API. Het zou zelfs mogelijk kunnen zijn om dit soort gegevensregistratie uit te voeren zonder verhoogde rechten, wat betekent dat gebruikers er niet eens van op de hoogte worden gesteld wanneer dit gebeurt.

Er is echter één lichtpuntje: op afstand toegang krijgen tot al deze gegevens is nog steeds uiterst moeilijk zonder medeweten of toestemming van de gebruiker. Voor alle fouten in dit systeem worden de Recall-gegevens nog steeds lokaal opgeslagen op Copilot+-machines, die worden geleverd met enkele van de veiligste standaardinstellingen van elk Windows-systeem.

Alle compatibele apparaten gebruiken standaard Windows Device Encryption of BitLocker en worden geleverd met verbeterde aanmeldingsbeveiliging via apparaatpincodes en biometrische gegevens. Om eerlijk te zijn, dit laatste is nog steeds vrij eenvoudig te omzeilen met enkele eenvoudige technieken voor het opnieuw instellen van wachtwoorden die meer dan tien jaar hebben gewerkt.

Dit laat Microsoft nog steeds niet los, maar het verklaart in ieder geval waarom het bedrijf er vertrouwen in had dat het niet het ergste ter wereld zou zijn om een ​​niet-versleutelde SQLite-database aan te bieden en alle door Recall gemaakte afbeeldingen in lokale mappen op te slaan. zonder extra encryptie.

Hoe u dit kunt oplossen

Als u een Copilot+-systeem gebruikt en u zich zorgen maakt over het effect van Recall op de beveiliging van uw systeem, kunt u Recall uitschakelen door naar uw menu Instellingen te gaan en via Privacy & beveiliging -> Recall & snapshots te klikken en de optie Snapshots opslaan uit te schakelen . Als u deze optie niet ziet, is het zeer waarschijnlijk dat Recall niet op uw systeem aanwezig is.

Wat betreft wat Microsoft zou moeten doen: er zou een ruimte moeten zijn die is afgeschermd van toegang door lokaal uitgevoerde applicaties en scripts. Als een eenvoudig Python-script de gegevens kan opslurpen en sorteren in de mappen die het maakt, is het ook mogelijk dat hetzelfde script al deze gegevens ergens naar een serverfarm uploadt. Dit zou op zijn minst moeten worden geblokkeerd door een User Access Control-uitdaging, als het niet volledig wordt gecodeerd in een binaire blob, zoals bijna elk ander kritiek onderdeel van het systeem zou moeten zijn.

Beeldcredits: SDXL, alle screenshots door Miguel Leiva-Gomez