Microsoft möchte, dass Benutzer beim Ansehen von Videoinhalten mit Elementen wie Personen und Objekten interagieren

Microsoft hat kürzlich ein Patent angemeldet, das eine Technologie beschreibt, mit der Menschen beim Ansehen von Videoinhalten Elemente wie Personen und Objekte genau erkennen, identifizieren und mit ihnen interagieren können.

Das Patent mit dem Titel „ Detecting Prominence of Objects in Video Information“ beschreibt detailliert, wie diese Technologie eingesetzt werden soll, um interaktives Einkaufen, aber auch Tracking und Identifizierung zu erleichtern, und zwar in einem System, das einem sicherlich Gänsehaut bereiten würde.

Die patentierte Technologie, die hier vollständig nachgelesen werden kann , funktioniert folgendermaßen:

• Es gibt ein System zur Verarbeitung von Videos, bei dem Maschinen eingesetzt werden, um Personen zu finden und zu verfolgen, die in den Videos auftauchen.
• Das System gibt dann jeder Person eine Bewertung basierend auf ihrer Wichtigkeit in den Videos und erstellt so eine Liste mit Bewertungen.
• Der Score einer Person zeigt, wie interessant sie für die Zuschauer sein kann. Beispielsweise zeigt die Punktzahl einer Person teilweise, wie oft sie in den Videos auftaucht.
• Das System ermittelt die Bewertungen auf der Grundlage von Informationen, die für jede Person spezifisch sind. Das System stellt diese Informationen her, indem es Merkmale addiert, die zu einer bestimmten Person gehören.

Die Technologie könnte in einer Vielzahl von Anwendungen eingesetzt werden. Es könnte verwendet werden, um ein bestimmtes Produkt aufzuspüren, beispielsweise einen Pullover, den eine Figur in einem Film trägt, und es dem Benutzer effektiv zu ermöglichen, es zu identifizieren und die Informationen für die spätere Verwendung zu speichern, wie Sie im Bild unten sehen können.

Es kann jedoch auch verwendet werden, um Personen, sowohl öffentliche als auch private Personen, genau zu erkennen und zu identifizieren, indem auf eine Datenbank zugegriffen und nach ähnlichen Gesichtern gesucht wird.

Eine Gesichtserkennungskomponente ermittelt die Identität der Personen, die in den Videoinformationen erscheinen, indem sie ihre Gesichter erkennt. In einigen Implementierungen ermittelt die Gesichtserkennungskomponente beispielsweise, ob Personen, die in den Videoinformationen erscheinen, zuvor als öffentliche Personen, beispielsweise Prominente oder Politiker, identifiziert wurden.

Einer der unheimlichsten Aspekte dieses Tools wäre seine Fähigkeit, die Emotionen jedes Gesichts einzufangen, indem es Audio- und Videoinhalte nutzt, um eine Karte der Emotionen zu erstellen, die von den Personen im Video ausgedrückt werden.

Die Emotionserkennungskomponente erkennt Emotionen von Interesse, indem sie bestimmt, ob die Audioinformationen vorgegebene Töne enthalten, die auf diese Emotionen hinweisen.

Daher könnte die Technologie von verschiedenen Parteien, von Unternehmen und Firmen über normale Benutzer bis hin zu Polizeibehörden, genutzt werden, um Produkte und Personen in Videoinhalten zu platzieren und diese Produkte und Personen später mithilfe derselben Technologie zu erkennen und zu identifizieren .

Microsoft hat viele Patente angemeldet, beispielsweise das eine, das eine Technologie beschreibt, die Teams-Besprechungen hyperrealistisch machen würde , aber nicht viele erblicken das Licht der Welt.

Da sich jedoch Video-Streaming-Plattformen durchsetzen und Videoinhalte mit Plattformen wie TikTok, Instagram und anderen Orten die vorherrschende Medienform sind, wäre eine Technologie wie diese sicherlich bahnbrechend und könnte die Art und Weise, wie wir leben, revolutionieren Videoinhalte konsumieren.

Aber es ist ziemlich unheimlich.