Microsoft は、ユーザーがビデオ コンテンツを見ながら人物や物体などの要素と対話できるようにしたいと考えています。

Microsoft は最近、ビデオ コンテンツの視聴中に人や物体などの要素を正確に検出、識別し、操作できるようにする技術を説明する特許を申請しました。

この特許は、「ビデオ情報におけるオブジェクトの顕著性の検出」と呼ばれ、背筋がぞっとするようなシステムにおいて、この技術がインタラクティブなショッピングだけでなく追跡や識別を容易にするためにどのように使用されるかを詳細に説明しています。

特許取得済みのテクノロジーは、ここで全文を読むことができ、次のように機能します。

• 機械を使用してビデオに登場する人物を見つけて追跡するビデオ処理システムがあります。
• 次に、システムはビデオ内での重要度に基づいて各人にスコアを与え、スコアのリストを作成します。
• 人のスコアは、その人が視聴者にとってどれだけ興味を引くことができるかを示します。たとえば、人物のスコアは、その人物がビデオにどの程度登場しているかを部分的に示します。
• システムは、各個人に固有の情報に基づいてスコアを与えます。システムは、特定の人物に属する特徴を合計することによってこの情報を作成します。

この技術はさまざまな用途に使用できる可能性があります。これは、映画の登場人物が着ているセーターなどの特定の製品を追跡するために使用でき、以下の画像に示すように、ユーザーがそれを効果的に識別し、後で使用できるように情報を保存できるようになります。

ただし、データベースにアクセスして類似の顔を検索することにより、公的人物または私人を正確に検出および識別するために使用することもできます。

顔検出コンポーネントは、ビデオ情報に登場する人物の顔を認識することにより、その人物の身元を特定します。例えば、いくつかの実装形態では、顔検出コンポーネントは、ビデオ情報に登場する個人のいずれかが、有名人や政治家などの公人として以前に特定されているかどうかを判断する。

このツールの最も不気味な側面の 1 つは、オーディオとビデオのコンテンツを利用して、ビデオの被写体が表現する感情のマップを作成することで、各顔の感情を捕捉する機能です。

感情検出コンポーネントは、オーディオ情報にこれらの感情を示す所定の音が含まれているかどうかを判断することによって、関心のある感情を検出します。

そのため、この技術は、企業や企業から一般ユーザー、さらには警察に至るまで、さまざまな関係者によって使用され、ビデオ コンテンツに製品や人物を配置し、後で同じ技術を使用してそれらの製品や人物を検出および識別することができます。 。

Microsoft は、 Teams の会議を超現実的にするテクノロジを説明する特許など、多くの特許を申請していますが、日の目を見る特許は多くありません。

しかし、動画ストリーミング プラットフォームが定着し、TikTok、Instagram などのプラットフォームで動画コンテンツがメディアの主流となっている現在、このようなテクノロジーは確実にゲームチェンジャーとなり、私たちの生き方に革命をもたらす可能性があります。ビデオコンテンツを消費します。

しかし、それはかなり不気味です。