Microsoft wil dat gebruikers interactie hebben met elementen, zoals personen en objecten, terwijl ze video-inhoud bekijken

Microsoft heeft onlangs een patent aangevraagd waarin een technologie wordt beschreven waarmee mensen elementen, zoals personen en objecten, nauwkeurig kunnen detecteren, identificeren en ermee kunnen communiceren tijdens het bekijken van video-inhoud.

Het patent, genaamd Detecting Prominence of Objects in Video Information , beschrijft in detail hoe deze technologie zou worden gebruikt om interactief winkelen te vergemakkelijken, maar ook om tracking en identificatie te vergemakkelijken, in een systeem dat zeker rillingen over de rug zou bezorgen.

De gepatenteerde technologie, die hier in zijn geheel te lezen is , werkt als volgt:

• Er is een systeem voor het verwerken van video’s dat machines gebruikt om mensen te vinden en te volgen die in de video’s verschijnen.
• Het systeem geeft vervolgens aan elke persoon een score op basis van hoe belangrijk ze zijn in de video’s, om een ​​lijst met scores te maken.
• De score van een persoon laat zien in hoeverre deze interessant kan zijn voor kijkers. De score van een persoon laat bijvoorbeeld gedeeltelijk zien hoeveel hij of zij in de video’s laat zien.
• Het systeem geeft de scores op basis van informatie die specifiek is voor elke persoon. Het systeem maakt deze informatie door kenmerken op te tellen die bij een bepaalde persoon horen.

De technologie kan in verschillende toepassingen worden gebruikt. Het kan worden gebruikt om een ​​bepaald product op te sporen, zoals een trui die een personage in een film draagt, waardoor de gebruiker het effectief kan identificeren en de informatie kan opslaan voor later gebruik, zoals je kunt zien in de onderstaande afbeelding.

Het kan echter ook worden gebruikt voor het nauwkeurig detecteren en identificeren van personen, publieke personen of privépersonen, door toegang te krijgen tot een database en te zoeken naar soortgelijke gezichten.

Een gezichtsdetectiecomponent bepaalt de identiteit van de mensen die in de video-informatie verschijnen door hun gezichten te herkennen. In sommige implementaties bepaalt de gezichtsdetectiecomponent bijvoorbeeld of een van de individuen die in de video-informatie verschijnen, eerder is geïdentificeerd als publieke personen, zoals beroemdheden of politici.

Een van de meest griezelige aspecten van deze tool is de mogelijkheid om de emoties van elk gezicht vast te leggen, door gebruik te maken van audio- en video-inhoud om een ​​kaart samen te stellen van de emoties die door de onderwerpen van de video worden uitgedrukt.

De emotiedetectiecomponent detecteert interessante emoties door te bepalen of de audio-informatie vooraf bepaalde geluiden bevat die indicatief zijn voor deze emoties.

Als zodanig zou de technologie door verschillende partijen, van ondernemingen en bedrijven tot gewone gebruikers, en/of zelfs politiediensten, kunnen worden gebruikt om producten en personen in video-inhoud te plaatsen, en deze producten en personen later te detecteren en identificeren, met behulp van dezelfde technologie. .

Microsoft heeft veel patenten aangevraagd, zoals het patent dat een technologie beschrijft die Teams-vergaderingen hyperrealistisch zou maken , maar niet veel daarvan zien het levenslicht.

Nu videostreamingplatforms echter steeds meer voet aan de grond krijgen en video-inhoud de overheersende vorm van media is, met platforms als TikTok, Instagram en andere plaatsen, zou een technologie als deze zeker een gamechanger zijn en een revolutie teweegbrengen in de manier waarop we videocontent consumeren.

Maar het is nogal eng.