Нидерландские ученые продемонстрировали нейросеть, которая сопоставляет визуальные ощущения со звуками и перевоплощает картины в музыку.
Во время обучения алгоритма специалисты не объясняли ему, каким образом сопоставлять изображение с музыкой — нейросеть самостоятельно овладевала этими способностями посредством методики обучения без учителя.
Алгоритм основывается по принципу автошивровальщика и включает себя кодировщика и дешифровальщика, которые обрабатывают разные данные - с изображениями и звуками.
Шифровальщик тренировался на датасете MNIST, в котором имеются 60 тысяч символов, написанных от руки и на датасете Behance Artistic Media, где содержится порядка 180 тысяч картин маслом и акварелью.
Сперва нейросеть осуществляет преобразование из изображения в музыку, затем получившуюся музыку она превращает в новое изображение, после чего оно сравнивается с имеющимся.
