Про вклад советской науки в появлении нейросетей⁠⁠

Комментарий анона на пикабу менее весомый, чем мнение академика Кашина, по моему мнению

Это потому, что вы далеки от научной работы. Академик несомненно весомее анонима, но, будь у вас такая склонность, за три минуты вы могли бы проверить мои слова. И теорема не секретная, легко можете загуглить. И зацепку я дал: в прошлом году была опубликована статья, предлагающая строить нейросети непосредственно на колмогоровской теореме, придумали для них название KAN - откройте статью да убедитесь, что это - новый подход, отличающийся от принятого последние 60 лет. https://arxiv.org/abs/2404.19756 Авторы статьи хоть и не академики РАН (хотя последний соавтор все-таки член Американского физического общества - ближайший аналог российского академика), зато, в отличие от Кашина, специалисты непосредственно в нейросетях. И не интервью "Правде" дают, а на профильной конференции выступают.

Да собственно и Ваши мысли подводят к тому, что и о чем говорил Кашин про фундаментальный вклад Колмогорова в появление нейросетей.

Кашин-то возможно говорил и об этом, а вы - нет. Теорема Колмогорова не внесла вклад в появление нейросетей. Собственно, они появились раньше теоремы Колмогорова.

Влияние теоремы Колмогорова-Арнольда опосредованное. Если ее и можно применить непосредственно, пока что это никому не удалось. Она вообще не про нейросети. Фигня в том, что люди, которые развивали нейросети, с самого начала (еще до Колмогорова) верили, что сети могут аппроксимировать любую осмысленную функцию. Сомнения иногда звучали, но редко и не у практиков. Когда осознали, что есть такая теорема и она описывает перспективы нейросетей, сети уже давно развивались, и проблемы с ними теоремой Колмогорова не решались. Даже наоборот: теорема говорит, что при достаточно большой сети можно хорошо подобрать ее параметры при любой функции активации. А на практике ровно наоборот: надо найти не любую, а самую лучшую функцию активации, и тут теорема Колмогорова ничего не даёт. И сеть надо взять не сколь угодно большую, а как раз поменьше, но чтобы все равно работало - тут теорема тоже бесполезна. Наконец, самая главная проблема нейросетей вообще никак не связана с теоремой Колмогорова-Арнольда: теорема утверждает, что идеальные параметры сети существуют, но ничего не говорит о том, как их найти. Но именно в этом и состоит задача при разработке нейросетей в частности и машинного обучения в целом.

Ведь обосновать и в том числе формульно, например, что с помощью ракеты можно выйти в космическое пространство это много же чего значит. Циолковский в космос не выходил со своими ракетами, но его теоретические работы повлияли на Королева.

Верно. Но Циолковский был раньше Королева и повлиял на него. А теорема Колмогорова появилась намного позже первых нейросетей и одновременно с глубокими сетями.

Несмотря на то, что теорема Колмогорова известна, вы вряд ли найдете учебники по нейросетям, где Колмогоров будет назван среди основателей. И вовсе не потому, что русских задвигают: напротив, немец Шмидхубер первым обратил внимание на то, что глубокие сети придумали Ивахненко и Лапа, их вклад упомянут в разных публикациях как основополагающий (пусть даже не они напрямую повлияли на другие работы). Вы легко найдете работы, где ключевой подход к тренировке нейросетей - метод обратного распространения ошибки - приписывают Галушкину, а иногда указывают и Понтрягина (хотя он сам нейросетями не занимался).

Да и Колмогорова все математики в мире знают и уважают, это самый известный советский математик, и его часто называют основателем современной теории вероятности.

Но вот основоположником нейросетей его ни в каких профильных книгах не называют.

Принцип Гамильтона лежит в основе всей теоретической механики. Например, учебник Ландау-Лифшица выводит всю механику из этого принципа и соображений симметрии. Но он совершенно не понадобился для создания практически никаких механизмов, уж точно хронометры с турбийоном, трансатлантические пароходы, первые вантовые мосты и детальные работы по небесной механике созданы еще до Гамильтона.

Я достаточно глубоко знаком с темой, чтобы опираться не на интервью академика Кашина газете "Правда", а на научные публикации. Несмотря на то, что теорема Колмогорова в некотором смысле "лежит в основе" нейросетей, придавая математический смысл всей этой деятельности, нейросети как развивались без этой теоремы, так и дальше развиваются без нее. Да, ученые в области нейросетей и часть прикладников знают эту теорему, а некоторые даже пытаются ее использовать. Но практически нейросети развиваются без этой теоремы, они придуманы до теоремы, лет двадцать развивались, когда люди вообще не видели связи с теоремой, и продолжают развиваться людьми, ее не использующими.

Примерно как теорема Нетер. В некотором смысле она лежит в основе всей теоретической физики, но теоретическая физика как развивалась триста лет до Нетер, так и после теоремы несколько десятилетий двигалась без нее.

Вы просто не потрудились поинтересоваться, в чем состоит теорема Колмогорова. Она утверждает, что какую непрерывную функцию одной переменной ни возьми, из нее с помощью только сложения можно состряпать (как именно - не говорится) любую непрерывную функцию скольких хочешь переменных. То есть какую активацию в нейросеть не засунь, достаточно большая сеть обязательно аппроксимирует любую гладкую функцию. Так что пилите, Шура, пилите: Колмогоров доказал, что ваши надежды, что большая сеть опишет любую ситуацию, обязательно оправдаются.

Реально же развитие нейросетей требовало прогресса в двух околонаучных направлениях (как бы все-таки подобрать функцию получше, чтобы обойтись сетью попроще и количеством тренировочных данных поменьше, и как эту "маленькую" сеть на миллиарды операций заставить работать побыстрее) и одном инженерном (где взять данные).

Но вот судя по описаниям Кашина открытие Колмогорова это есть тот самый прорыв основа

Не совсем. Нейросети все-таки не абстрактная фундаментальная наука, а очень прикладная математика/информатика, если не наукоемкая инженерия. Нейросети развивались достаточно долго, пока исследователи не понимали связи с теоремой Колмогорова-Арнольда (и даже не знали о ней), и продолжают развивать, никак эту теорему не используя. Она всего лишь дает надежду на то, что результат в принципе достижим. Даже аналогичная, но более приближенная к нейросетям теорема Цыбенко оказала скорее морально подбадривающий эффект на развитие нейросетей. По сути, эти теоремы говорят: "Путь, которым люди пошли по наитию, правильный, это доказали мудрые математики, продолжайте в том же духе".

Собственно, первая успешная попытка применить теорему Колмогорова-Арнольда напрямую для создания нейросетей была осуществлена только в прошлом году (KAN - сети Колмогорова-Арнольда. По крайней мере, ее авторы считают, что их попытка - первая успешная), большого интереса не вызвала и к прикладным прорывам не привела.

Ну и у автомобилей фундамент как у телеги

типа нейросети созданы лишь капиталистами

Ну тогда получается что современные автомобили созданы в том числе и древними месопотамцами