AccueilÉDITO

Avec NSynth, Google demande à son IA de créer des sons entièrement inédits

Publié le

par Thibault Prévost

L’IA artistique multitâches du projet Magenta a trouvé une nouvelle occupation : mélanger différents samples pour créer de nouveaux instruments.

Après avoir peint des tableaux sous psychotropes, composé des petites ballades pop, dessiné des vêtements avant-gardistes et joué un peu de piano, Tensor Flow, le réseau neuronal de Google à l’œuvre derrière la plateforme techno-arty Magenta s’est trouvé une nouvelle occupation : créer des sons entièrement nouveaux à partir d’un panel d’instruments existants. Basée comme ses prédécesseurs sur le machine learning, qui permet à l’algorithme d’apprendre et de se perfectionner sans l’aide d’êtres humains, la nouvelle expérience a déjà commencé à produire des résultats.

Début avril, se remémore Wired, Google nous présentait son nouveau joujou, le "synthétiseur neural" ("neural synthetiser", devenu NSynth, le nom du projet) dans un long et technique post de blog pour nous expliquer, tant que faire se peut, comment ça fonctionne et pourquoi c’est "une approche novatrice de la synthèse musicale pensée pour accompagner le processus créatif", selon les mots de la compagnie de Mountain View.

En gros, NSynth pioche deux sons d’instruments analogiques dans une base de données – disons une flûte traversière et un orgue Hammond – et les mélange pour créer quelque chose de nouveau. Pas de quoi impressionner n’importe quel producteur amateur, qui sait très bien qu’il est possible de superposer des couches d’instruments sur un même contrôleur MIDI pour obtenir des sonorités uniques. La différence, c’est que l’IA ne superpose pas les sons, elle les mélange réellement.

À chaque instrument son "vecteur"

Pour ce faire, le réseau neuronal dissèque les sons le plus précisément possible, transformant un sample audio en un assemblage de données mathématiques – de la même manière qu’un logiciel transformant de l’audio en MIDI, mais en beaucoup plus puissant. Une fois l’opération effectuée, l’IA attribue à chaque instrument un "vecteur" mathématique, que la machine peut utiliser pour reproduire sa sonorité… ou en combiner plusieurs et générer un nouveau vecteur, entièrement original, composé de "l’espace" déniché entre deux, trois, quatre sons parfois totalement différents.

Pour faire profiter de son outil à tous ceux qui le souhaitent, Google a publié ses algorithmes dans un papier arXiv, rendu sa base de données de sons téléchargeable et monté une petite plateforme pour écouter les résultats de ses tripatouillages sonores. Bon, on ne va pas se mentir, ce n’est toujours pas du Dre, mais à force de bosser à cette vitesse, les équipes du Google Brain Project vont bien finir par permettre à des êtres mathématiques de nous sortir des tubes. Entre-temps, les producteurs amateurs seraient avisés de garder un œil sur l’évolution de cette banque de nouveaux instruments – difficile de faire plus classe pour sa prod que d’utiliser un sample qui n’existe pas, non ?

À voir aussi sur konbini :