Google пытается воссоздать феномен синестезии⁠⁠

Корпорация Google запустила новый проект под кодовым названием  «Play a Kandinsky». Суть его в том, чтобы создать такой сложнейший феномен, как синестезия при помощи ИИ.

Если вкратце, то синестезия - это явление, при котором один вид чувств порождает ощущения в другом, например, визуальная картинка начинает «звучать». Художник Василий Кандинский считается одним из важнейших визионеров в этой сфере, его творчество построено на соединении изображения и звучания.

Понять, ощутить синестезию на личном опыте могут считанные единицы, поэтому обучение нейросети технологии ее создания во многом является экспериментом. Нет никаких стандартов и правил, нельзя провести параллели и выявить закономерности, но именно это и должна попытаться сделать новая нейросеть. За основу взята система Google Transformer, в обучении которой приняли участие музыкант Антуан Бертен и группа NSDOS.

Нейросеть анализирует оригинальные картины Кандинского, такие как полотно «Желтый, красный, синий» 1925 года, которое художник писал под влиянием эффекта синестезии. И пытается подобрать звучание отдельных элементов, чтобы зритель перевоплотился в слушателя и, как и задумывал художник, услышал в переплетении линий и оттенков на картине музыку. В частности, красный цвет для Кандинского звучал как скрипка, а вот желтый отдавался ревом трубы, но что увидят и услышат другие зрители – зависит от ИИ.