Нейросеть научили преобразовывать изображение в музыку

11.09.2019 23:35 303 Наука и техника

Нидерландские ученые продемонстрировали нейросеть, которая сопоставляет визуальные ощущения со звуками и перевоплощает картины в музыку.

Во время обучения алгоритма специалисты не объясняли ему, каким образом сопоставлять изображение с музыкой — нейросеть самостоятельно овладевала этими способностями посредством методики обучения без учителя.

Алгоритм основывается по принципу автошивровальщика и включает себя кодировщика и дешифровальщика, которые обрабатывают разные данные - с изображениями и звуками.

Шифровальщик тренировался на датасете MNIST, в котором имеются 60 тысяч символов, написанных от руки и на датасете Behance Artistic Media, где содержится порядка 180 тысяч картин маслом и акварелью.

Сперва нейросеть осуществляет преобразование из изображения в музыку, затем получившуюся музыку она превращает в новое изображение, после чего оно сравнивается с имеющимся.

Fan.Az

Похожие новости

Лента новостей