fbpx

Нейромережа перетворила музику Ріанни на Моцарта. Також зачепило Баха, Гайдна та інших

24 Травня 2018
музика технології штучний інтелект

Дослідники навчилися перетворювати музичні композиції на зовсім інші записи з зовсім іншими інструментами, стилем і жанром. Це вдалося зробити за допомогою машинного навчання.

Машинне навчання часто застосовується для створення картин, схожих на роботи відомих художників, або високоякісних фотографій, подібних за стилем на інші знімки. Однак технології перетворення музики в записи інших стилів поки слабо розвинені.

Робота авторів з дослідницького підрозділу Facebook під керівництвом Яніва Тейгмана ґрунтується на нейромережі WaveNet, яка призначена для синтезу реалістичних аудіозаписів і є найбільш прогресивною в цій сфері. Вони використовували алгоритм NSynth, який складається з єдиного кодувальника та безлічі декодувальників. Кодувальник витягує з запису лише основні елементи, не враховуючи специфіку конкретного стилю, а декодувальники переводять їх в аудіозапис певного стилю.

Дослідники натренували нейромережу на музиці Моцарта, Гайдна, Баха і Бетховена, після чого провели кілька експериментів для перевірки роботи. В одному з них троє досвідчених піаністів повинні були перетворити 60 п’ятисекундних відрізків музичних записів у фортепіанну музику. Це були записи творів Баха для клавішних інструментів, симфонії Моцарта та уривки свінгових джазових пісень, гітарних рифів і китайської інструментальної музики. Нейромережа робила те ж саме і в результаті отримала нижчі оцінки за якість перекладу, але все одно досить непогано впоралася.

Звучить це, наприклад, так:

Коли дослідники попросили відрізнити роботу нейромережі від оригінальних записів, ставлячи їх у випадковому порядку, в більшості випадків у людей це не виходило. З безлічі прикладів роботи нейромережі можна почути, наприклад, перетворення пісень Metallica, Елвіса Преслі та Ріанни в класичну музику.

Найцiкавiше на сайтi