Microsoft chce, aby podczas oglądania treści wideo użytkownicy wchodzili w interakcję z elementami, takimi jak osoby i przedmioty

Firma Microsoft złożyła niedawno patent opisujący technologię umożliwiającą ludziom dokładne wykrywanie, identyfikowanie i interakcję z elementami, takimi jak osoby i przedmioty, podczas oglądania treści wideo.

Patent o nazwie Detecting Prominence of Objects in Video Information szczegółowo opisuje, w jaki sposób technologia ta mogłaby zostać wykorzystana do ułatwienia interaktywnych zakupów, ale także śledzenia i identyfikacji w systemie, który z pewnością przyprawiłby o dreszcze.

Opatentowana technologia, z którą w całości można zapoznać się tutaj , działa w następujący sposób:

• Istnieje system przetwarzania filmów, który wykorzystuje maszyny do wyszukiwania i śledzenia osób pojawiających się w filmach.
• Następnie system przyznaje każdej osobie ocenę na podstawie tego, jak ważna jest ona w filmach, tworząc listę ocen.
• Wynik danej osoby pokazuje, jak bardzo może ona zainteresować widzów. Na przykład wynik danej osoby pokazuje częściowo, jak często pojawia się ona w filmach.
• System przyznaje punkty na podstawie informacji specyficznych dla każdej osoby. System tworzy te informacje poprzez sumowanie cech należących do konkretnej osoby.

Technologię tę można wykorzystać w różnorodnych zastosowaniach. Można go wykorzystać do wyśledzenia określonego produktu, np. swetra, który ma na sobie bohater filmu, skutecznie umożliwiając użytkownikowi jego identyfikację i zapisanie informacji do późniejszego wykorzystania, jak widać na obrazku poniżej.

Można go jednak również wykorzystać do dokładnego wykrywania i identyfikacji osób, zarówno publicznych, jak i prywatnych, poprzez dostęp do bazy danych i wyszukiwanie podobnych twarzy.

Komponent wykrywania twarzy określa tożsamość osób pojawiających się w informacjach wideo, rozpoznając ich twarze. Na przykład w niektórych implementacjach moduł wykrywania twarzy sprawdza, czy którakolwiek z osób pojawiających się w informacjach wideo została wcześniej zidentyfikowana jako osoba publiczna, na przykład celebryci lub politycy.

Jednym z najbardziej niesamowitych aspektów tego narzędzia jest jego zdolność do uchwycenia emocji każdej twarzy za pomocą treści audio i wideo w celu stworzenia mapy emocji wyrażanych przez podmioty filmu.

Komponent wykrywania emocji wykrywa interesujące emocje poprzez określenie, czy informacja dźwiękowa zawiera z góry określone dźwięki wskazujące na te emocje.

W związku z tym technologia ta może być wykorzystywana przez różne strony, od przedsiębiorstw i firm po zwykłych użytkowników, a nawet policję, do umieszczania produktów i osób w treściach wideo, a następnie wykrywania i identyfikowania tych produktów i osób przy użyciu tej samej technologii .

Microsoft zgłosił wiele patentów, jak choćby ten opisujący technologię, która sprawi, że spotkania w aplikacji Teams staną się hiperrealistyczne , ale niewiele z nich ujrzy światło dzienne.

Jednakże w miarę upowszechniania się platform do strumieniowego przesyłania wideo i dominującej formy mediów, w tym treści wideo, takich jak TikTok, Instagram i inne miejsca, taka technologia z pewnością zmieniłaby reguły gry i mogłaby zrewolucjonizować sposób, w jaki konsumować treści wideo.

Ale to jest dość niesamowite.