Microsoft kündigt das Vision-Sprachmodell Turing Bletchley v3 für die Bing-Bildsuche an

Microsoft hat die dritte Version seines Turing Bletchley Multilingual Vision-Language Foundation-Modells offiziell angekündigt. Es wird jetzt für eine Reihe von Microsoft-Produkten eingeführt, darunter auch für Bing , um die Bildsuche zu verbessern.

Microsoft brachte die erste Version des Turing-Bletchley-Modells bereits im November 2021 auf den Markt. In einem heutigen Beitrag im offiziellen Bing-Blog sagte Microsoft, dass man im Herbst 2022 mit dem Testen der dritten Version des Modells begonnen habe, bevor man es zu Bing und anderen Produkten hinzufüge .

Das Modell verwendet Eingaben aus Text und Bildern, um die Dinge zu finden, nach denen eine Person in der Bing-Suchmaschine von Microsoft sucht. Ziel ist es, das Modell so nah wie möglich zu bringen, sodass ein Text, der beispielsweise „ein Hund isst Eis“ beschreibt, den Bildern eines Hundes beim Eisessen in einem Suchergebnis so nahe wie möglich kommt.

Ein Teil der Art und Weise, wie Turing Bletchley v3 diese Verbindungen herstellt, ist umfangreich und betrifft das Modell. Microsoft gibt an:

Bei einem Bild und einer das Bild beschreibenden Bildunterschrift werden einige Wörter in der Bildunterschrift maskiert. Anschließend wird ein neuronales Netzwerk darauf trainiert, die verborgenen Wörter vorherzusagen, die sowohl vom Bild als auch vom Text abhängig sind. Die Aufgabe kann auch umgedreht werden, um Pixel anstelle von Wörtern auszublenden. Diese Art des maskierten Trainings zusammen mit einem großen transformatorbasierten Modell führt zu einem starken vorab trainierten Modell, das auf eine Vielzahl nachgelagerter Aufgaben abgestimmt werden kann.

Zusätzlich zur Bildsuche in Bing. Das neue Modell Turing Bletchley v3 wird für die Inhaltsmoderation seines Xbox-Spieledienstes verwendet. Es hilft diesem Team beispielsweise, Bilder und Videos zu identifizieren, die von Xbox-Spielern in ihre Profile hochgeladen werden und die als unangemessen gelten und gegen den Community-Standard des Unternehmens auf der Xbox-Plattform verstoßen würden.