Google : cette nouvelle IA est capable de générer des bruitages pour vos vidéos

Google DeepMind vient de dévoiler V2A, une IA capable d’analyser une vidéo, puis d’en générer l’intégralité de la bande son. L’utilisateur peut également fournir des instructions écrites afin d’affiner le résultat.

L’IA est déjà capable de générer des vidéos. On pense notamment à Sora, un puissant générateur de vidéos développé par OpenAI (ChatGPT). Google a rapidement contre-attaqué en lançant Veo, une IA semblable à celle proposée par OpenAI. Mais la plupart de ces IA se contentent de générer des images, sans pour autant proposer la bande son qui va avec. Dans ce cadre, DeepMind, une sous-division de Google, vient de lancer une IA vouée à générer des sons en s’appuyant sur des vidéos. Celle-ci peut alors générer des bruitages, des effets sonores et même du doublage.

DeepMind affirme que son nouveau système peut générer “un nombre illimité de bandes sonores pour n’importe quelle entrée vidéo“. L’utilisateur peut simplement exprimer ses préférences afin d’affiner le travail de l’IA. Celui-ci peut, par exemple, écrire “moins de bruits de fond” ou encore “plus de bruit de voiture”.

V2A : une technologie loin d’être parfaite

L’un des points forts de cette nouvelle IA, baptisée V2A (Video To Audio), est sans doute le fait qu’elle est capable de synchroniser le son et l’image, une tâche habituellement plutôt fastidieuse pour les monteurs vidéos. DeepMind précise ainsi : “En s’entraînant sur la vidéo, l’audio et les annotations supplémentaires, notre technologie apprend à associer des événements audio spécifiques à diverses scènes visuelles, tout en répondant aux informations fournies dans les annotations ou les transcriptions“.

Toutefois, DeepMind va devoir affiner son IA, qui, pour l’instant, est loin d’être parfaite. En effet, la qualité audio de sortie dépend de la fidélité de l’entrée vidéo, et l’IA peut être perturbée par certains éléments à l’écran. Par conséquent, la génération de doublages et leur synchronisation peuvent parfois poser problème.

DeepMind précise ainsi : “V2A tente de générer de la parole à partir des transcriptions d’entrée et de la synchroniser avec les mouvements des lèvres des personnages. Mais le modèle de génération de vidéo jumelée peut ne pas être conditionné par les transcriptions. Cela crée un décalage, qui se traduit souvent par une synchronisation labiale étrange”.

Source : digitaltrends