Про вклад советской науки в появлении нейросетей⁠⁠

Комментарий анона на пикабу менее весомый, чем мнение академика Кашина, по моему мнению

Это потому, что вы далеки от научной работы. Академик несомненно весомее анонима, но, будь у вас такая склонность, за три минуты вы могли бы проверить мои слова. И теорема не секретная, легко можете загуглить. И зацепку я дал: в прошлом году была опубликована статья, предлагающая строить нейросети непосредственно на колмогоровской теореме, придумали для них название KAN - откройте статью да убедитесь, что это - новый подход, отличающийся от принятого последние 60 лет. https://arxiv.org/abs/2404.19756 Авторы статьи хоть и не академики РАН (хотя последний соавтор все-таки член Американского физического общества - ближайший аналог российского академика), зато, в отличие от Кашина, специалисты непосредственно в нейросетях. И не интервью "Правде" дают, а на профильной конференции выступают.

Да собственно и Ваши мысли подводят к тому, что и о чем говорил Кашин про фундаментальный вклад Колмогорова в появление нейросетей.

Кашин-то возможно говорил и об этом, а вы - нет. Теорема Колмогорова не внесла вклад в появление нейросетей. Собственно, они появились раньше теоремы Колмогорова.

Влияние теоремы Колмогорова-Арнольда опосредованное. Если ее и можно применить непосредственно, пока что это никому не удалось. Она вообще не про нейросети. Фигня в том, что люди, которые развивали нейросети, с самого начала (еще до Колмогорова) верили, что сети могут аппроксимировать любую осмысленную функцию. Сомнения иногда звучали, но редко и не у практиков. Когда осознали, что есть такая теорема и она описывает перспективы нейросетей, сети уже давно развивались, и проблемы с ними теоремой Колмогорова не решались. Даже наоборот: теорема говорит, что при достаточно большой сети можно хорошо подобрать ее параметры при любой функции активации. А на практике ровно наоборот: надо найти не любую, а самую лучшую функцию активации, и тут теорема Колмогорова ничего не даёт. И сеть надо взять не сколь угодно большую, а как раз поменьше, но чтобы все равно работало - тут теорема тоже бесполезна. Наконец, самая главная проблема нейросетей вообще никак не связана с теоремой Колмогорова-Арнольда: теорема утверждает, что идеальные параметры сети существуют, но ничего не говорит о том, как их найти. Но именно в этом и состоит задача при разработке нейросетей в частности и машинного обучения в целом.

Ведь обосновать и в том числе формульно, например, что с помощью ракеты можно выйти в космическое пространство это много же чего значит. Циолковский в космос не выходил со своими ракетами, но его теоретические работы повлияли на Королева.

Верно. Но Циолковский был раньше Королева и повлиял на него. А теорема Колмогорова появилась намного позже первых нейросетей и одновременно с глубокими сетями.

Несмотря на то, что теорема Колмогорова известна, вы вряд ли найдете учебники по нейросетям, где Колмогоров будет назван среди основателей. И вовсе не потому, что русских задвигают: напротив, немец Шмидхубер первым обратил внимание на то, что глубокие сети придумали Ивахненко и Лапа, их вклад упомянут в разных публикациях как основополагающий (пусть даже не они напрямую повлияли на другие работы). Вы легко найдете работы, где ключевой подход к тренировке нейросетей - метод обратного распространения ошибки - приписывают Галушкину, а иногда указывают и Понтрягина (хотя он сам нейросетями не занимался).

Да и Колмогорова все математики в мире знают и уважают, это самый известный советский математик, и его часто называют основателем современной теории вероятности.

Но вот основоположником нейросетей его ни в каких профильных книгах не называют.

Принцип Гамильтона лежит в основе всей теоретической механики. Например, учебник Ландау-Лифшица выводит всю механику из этого принципа и соображений симметрии. Но он совершенно не понадобился для создания практически никаких механизмов, уж точно хронометры с турбийоном, трансатлантические пароходы, первые вантовые мосты и детальные работы по небесной механике созданы еще до Гамильтона.