Microsoft kondigt Turing Bletchley v3 vision-taalmodel aan voor zoekopdrachten naar Bing-afbeeldingen

Microsoft heeft officieel de derde versie aangekondigd van zijn Turing Bletchley meertalige visie-taalbasismodel. Het wordt nu uitgerold naar een aantal Microsoft-producten, waaronder Bing , voor verbeteringen in het zoeken naar afbeeldingen.

Microsoft lanceerde de eerste versie van het Turing Bletchley-model in november 2021. In een bericht vandaag op de officiële Bing-blog zei Microsoft dat het in de herfst van 2022 begon met testen voor de derde versie van het model voordat het aan Bing en andere producten werd toegevoegd. .

Het model gebruikt input uit zowel tekst als afbeeldingen om de dingen te vinden waarnaar iemand zoekt in de Bing-zoekmachine van Microsoft. Het doel is om het model zo dicht mogelijk te laten benaderen, zodat een tekst die bijvoorbeeld ‘een hond die ijs eet’ beschrijft zo dicht mogelijk bij afbeeldingen van een hond die ijs eet in een zoekresultaat komt.

Een deel van de manier waarop Turing Bletchley v3 deze verbindingen maakt, heeft veel betrekking op het model. Microsoft stelt:

Bij een afbeelding en een bijschrift dat de afbeelding beschrijft, zijn sommige woorden in het bijschrift gemaskeerd. Een neuraal netwerk wordt vervolgens getraind om de verborgen woorden te voorspellen, afhankelijk van zowel het beeld als de tekst. De taak kan ook worden omgedraaid om pixels in plaats van woorden te maskeren. Dit soort gemaskerde training samen met een groot op transformatoren gebaseerd model leidt tot een sterk, vooraf getraind model dat kan worden verfijnd op een diverse reeks stroomafwaartse taken.

Naast het gebruik voor het zoeken naar afbeeldingen in Bing. het nieuwe Turing Bletchley v3-model wordt gebruikt voor contentmoderatie op de Xbox-gameservice. Het helpt dat team bijvoorbeeld bij het identificeren van afbeeldingen en video’s die door Xbox-spelers naar hun profielen worden geüpload en die als ongepast worden beschouwd en in strijd zijn met de communitystandaard van het bedrijf op het Xbox-platform.