Le nouveau brevet de Microsoft dévoile Copilot pour créer de la musique pour accompagner des vidéos et des présentations PowerPoint

Microsoft, le géant technologique basé à Redmond, a récemment commencé à mettre à jour son outil Copilot avec une nouvelle interface épurée qui améliore l’expérience utilisateur. Cependant, l’entreprise a des projets encore plus ambitieux pour cet assistant piloté par l’IA.

Dans un nouveau brevet, Microsoft dévoile le développement d’un modèle d’intelligence artificielle pour la composition de partitions audio . Cette technologie innovante vise à créer de la musique ou du son qui s’adapte à diverses formes de médias, notamment des vidéos, du texte, des présentations PowerPoint, des réalités virtuelles et même des jeux vidéo actuellement en phase de production.

Le brevet, intitulé de manière intrigante « Modèle d’intelligence artificielle pour la composition de partitions audio » , explore les méthodes par lesquelles cet outil Copilot avancé générerait de la musique.

Dans un premier temps, le processus implique l’accumulation de données de formation substantielles à partir d’un large éventail d’ensembles de données audiovisuelles englobant à la fois des éléments visuels et audio.

Ces ensembles de données sont soumis à une analyse approfondie pour extraire une variété de caractéristiques. Cela comprend l’examen des caractéristiques visuelles de la vidéo, telles que les couleurs, les formes, les mouvements et les scènes. De plus, tous les éléments textuels présents dans la vidéo, comme les sous-titres ou le texte à l’écran, sont également collectés. L’outil analysera également les fonctionnalités audio existantes dans la vidéo elle-même, les différenciant d’une partition musicale.

Une fois les données extraites, Copilot évaluera ces caractéristiques pour établir des corrélations. Par exemple, il pourra identifier que certaines scènes, comme un coucher de soleil, correspondent généralement à des types de musique spécifiques, comme des mélodies apaisantes.

Grâce à la formation sur ces fonctionnalités, le modèle d’IA utilisera son système de corrélation pour générer des scores audio appropriés qui correspondent aux attributs visuels et textuels du nouveau contenu vidéo.

Cette technologie révolutionnaire ouvre de nombreuses applications potentielles, notamment :

• Production de films et de vidéos : création automatique de musiques de fond pour des longs métrages, des séries télévisées ou du contenu vidéo en ligne.
• Marketing : Composer une musique qui correspond parfaitement au ton et au message des publicités.
• Jeux : création de bandes sonores adaptatives qui changent en réponse aux visuels du jeu et aux actions des joueurs.
• Réalité virtuelle : améliorer les expériences immersives grâce à un son qui évolue avec l’environnement visuel.

Grâce à sa capacité à générer de la musique, Copilot pourrait réduire considérablement le temps nécessaire à la production audio, garantissant que la bande sonore complète parfaitement le contenu visuel en automatisant le processus de composition des partitions audio.

Il est important de noter que le modèle d’IA offre actuellement des capacités de composition musicale de base via le plugin SUNO, lancé plus tôt cette année.

Néanmoins, une amélioration de ce plugin serait bénéfique, permettant aux créatifs d’établir leur vision des compositions musicales avant de la présenter à un compositeur de musique professionnel.

Même si les craintes de remplacer les compositeurs humains sont légitimes, donner à Copilot la possibilité de composer de la musique améliorerait principalement la productivité à long terme. Que pensez-vous de cette innovation ?

Vous pouvez lire le brevet ici .

Source