Что такое оптимизатор Adam?

Делаю такой клиповый курс «Что такое», где за 20 секунд объясняю термины по разработке нейросетей и искусственному интеллекту.

Если пост наберёт 30 плюсов, продолжу выкладывать другие клипы в сообществе «Наука | Научпоп».

Линейная регрессия — один из самых фундаментальных и широко применяемых методов в машинном обучении. Несмотря на простоту, её эффективность сильно зависит от двух ключевых компонентов:

1. Функции потерь (loss function) — что именно мы минимизируем?

2. Метода оптимизации (solver) — как мы ищем решение?

В этой статье мы разберём популярные функции потерь — MSE, MAE, Huber и Log-Cosh — их свойства, плюсы и минусы. А также покажем, как выбор функции потерь определяет выбор алгоритма оптимизации.

Почему функция потерь так важна?

Функция потерь измеряет, насколько предсказания модели отличаются от реальных значений. От её формы зависят:

• Чувствительность к выбросам

• Наличие замкнутого решения

• Выпуклость задачи

• Скорость и стабильность обучения

Давайте сравним четыре ключевые функции потерь в контексте линейной регрессии.

1. MSE (Mean Squared Error) — стандарт по умолчанию

• Эквивалентна максимуму правдоподобия при нормальном шуме.

Замкнутое решение (метод наименьших квадратов):

Плюсы:

Выпуклая, гладкая, дифференцируемая → легко оптимизировать

Минусы:

• Чувствительна к выбросам (ошибки возводятся в квадрат).

Solver:

• Normal Equation (аналитическое решение)

• SGD, SAG, LBFGS (в scikit-learn: solver='auto', 'svd', 'cholesky' и др.)

Когда использовать: когда данные «чистые», ошибки гауссовские, и важна интерпретируемость.

2. MAE (Mean Absolute Error) — робастная альтернатива

Плюсы:

• Робастна к выбросам (ошибки в первой степени).

• Минимизирует медиану ошибок (а не среднее).

Минусы:

• Недифференцируема в нуле → нет аналитического решения.

• Требует итеративных методов.

Solver:

• Linear Programming (например, через симплекс-метод)

• Subgradient Descent (в scikit-learn: QuantileRegressor с quantile=0.5)

Когда использовать: когда в данных есть аномалии или тяжёлые хвосты (например, цены, доходы).

3. Huber Loss — лучшее из двух миров

Плюсы:

• Гладкая и дифференцируемая.

• Робастна к выбросам (линейная штраф за большие ошибки).

• Гибкость через параметр δδ.

Минусы:

• Нужно настраивать δδ (часто выбирают как процентиль ошибок).

• Нет замкнутого решения.

Solver:

• Gradient Descent, LBFGS, Newton-CG(в scikit-learn: HuberRegressor с fit_intercept=True)

Когда использовать: когда вы подозреваете наличие выбросов, но хотите сохранить гладкость оптимизации.

4. Log-Cosh Loss — гладкая робастность

Плюсы:

• Гладкая везде (бесконечно дифференцируема).

• Ведёт себя как MSE при малых ошибках и как MAE при больших.

• Устойчива к выбросам, но без «изломов».

Минусы:

• Вычислительно дороже (логарифм и гиперболический косинус).

• Не так распространена в классических библиотеках.

Solver:

• Gradient-based методы: SGD, Adam, LBFGS(в TensorFlow/PyTorch легко реализуется; в scikit-learn — через кастомный регрессор)

Когда использовать:

• когда вы ищете баланс между робастностью MSE и гладкостью MAE.

• Вы хотите избежать чувствительности MSE к выбросам, но сохранить дифференцируемость.

• Вы строите гибридную модель, где loss должен быть всюду гладким (например, для вторых производных).

Правило:

• Если loss квадратичен → можно решить напрямую.

• Если loss неквадратичен → нужен итеративный численный метод.

И помните: нет универсально «лучшей» функции потерь — только та, что лучше всего подходит вашим данным и задаче.

Сердце всех ML алгоритмов это функция потерь, научившись её оптимизировать мы поймём как обучаются машины.

Дальше в посте, я опишу свойства функции среднеквадратичной ошибки (MSE), затем методы её оптимизации (аналитические, численные, стохастические и гибридные), укажу важные формулы, поведение градиента/Гессиана, оценки сходимости и практические рекомендации.

Основные свойства MSE

1. Дифференцируемость

MSE — гладкая (бесконечно дифференцируема) функция параметров для линейной модели она квадратичная — что сильно упрощает анализ.

2 Квадратичность и выпуклость

MSE — квадратичная функция, такая функция выпукла (всегда), а если X⊤X положительно определена (то есть признаки линейно независимы и строго выпукла и имеет единственный глобальный минимум.

Для нелинейных параметрических моделей выпуклость обычно не выполняется — могут быть локальные минимума.

3. Градиент и Гессиан

Гессиан положительно полуопределён. Его собственные значения управляют «кривизной» функции (вдоль направлений с большими э-величинами функция круто меняется).

4 Шкала, чувствительность к выбросам и статистическая интерпретация

MSE сильно чувствительна к выбросам (квадратичная зависимость даёт большим ошибкам непропорционально большой вклад).

Если ошибки в модели нормальны, то MSE (максимизация правдоподобия) соответствует MLE — минимизация MSE = максимизация нормального правдоподобия.

5. Аналитическое решение

Закрытая форма (normal equations).

6. Алгоритмы численной оптимизации

Градиентный спуск (Batch Gradient Descent)

7. Стохастический градиентный спуск (SGD) и мини-батчи

Стохастичность даёт возможность выйти из плохих локальных минимумов (для нелинейных задач).

8. Ускоренные и адаптивные методы

Momentum (classical momentum) — ускоряет спуск по узким долинам.

Nesterov Accelerated Gradient (NAG) — улучшенный momentum с теоретическими гарантиями.

Адаптивные алгоритмы: Adagrad, RMSProp, Adam, AdamW. Они подбирают адаптивный шаг для каждого параметра.

9. Второго порядка и квазиньютоновские методы

Newton’s method (использует Гессиан) Kвазиньютоновские: BFGS, L-BFGS Conjugate Gradient (CG) часто используют для ridge регрессии

10. Проксимальные и координатные методы (для регуляризации)

Coordinate Descent — особенно эффективен для L1-регуляризованных задач (LASSO), когда функция частично сепарабельна.

11. Прямые методы оптимизации

SVD, cholesky, QR

Обратите внимание что в посте вы не увидите саму модель линейной регресии, где мы точки прямой аппроксимируем, потому что это вообще неинтересно с точки зрения понимания моделей машинного обучения, интересно только сердце ML моделей - функция потерь.

Данное дерево отражает иерархическую структуру основных видов линейной регрессии и методов решения задачи наименьших квадратов (МНК) — от аналитических к численным и итерационным.

Общая структура

На верхнем уровне различают три формы линейной регрессии:

1. Простая линейная регрессия — частный случай множественной, когда используется одна независимая переменная.

2. Множественная линейная регрессия — базовая форма, включающая несколько независимых переменных.

3. Полиномиальная регрессия — частный случай множественной, в которой вектор признаков дополнен степенными преобразованиями исходных переменных.

Методы наименьших квадратов (МНК)

Решение задачи линейной регрессии сводится к минимизации функции ошибок (суммы квадратов отклонений между наблюдаемыми и предсказанными значениями).

В зависимости от подхода различают аналитические, численные и итерационные методы.

1. Аналитический метод (закрытая форма)

• Применяется, когда матрица признаков имеет полную ранговую структуру и система допускает точное решение.

• Решение выражается формулой:

  normal equation

• Используется в простой и множественной линейной регрессии.

• Базируется на нормальном уравнении.

2. Численные методы (приближённые)

• Используются при больших объёмах данных или плохо обусловленных матрицах.

• Основаны на разложениях матриц:

  • Сингулярное разложение (SVD)

  • QR-разложение

  • Разложение Холецкого

• Обеспечивают численную устойчивость и более эффективные вычисления.

3. Итерационные методы

• Применяются при очень больших данных, когда аналитическое решение невозможно вычислить напрямую.

• Основной подход — градиентный спуск, при котором веса обновляются пошагово:

Особенности полиномиальной регрессии

Полиномиальная регрессия представляет собой множительную регрессию, где вектор признаков дополнен степенными функциями исходных переменных.
Хотя аналитическая форма возможна, на практике применяются численные методы, обеспечивающие стабильность и точность вычислений при высоких степенях полинома.

Взаимосвязь моделей

На схеме представлена визуальная взаимосвязь:

• Простая регрессия — частный случай множественной.

• Полиномиальная — частный случай множественной с расширенным базисом признаков.

• Все три формы объединяются через метод наименьших квадратов.

Значимость статьи и вклад в Data Science

Представленный древовидный роадмап методов линейной регрессии является первой в истории попыткой системно и визуально объединить все формы линейной регрессии — простую, множественную и полиномиальную — через призму методов наименьших квадратов (МНК), включая аналитические, численные и итерационные подходы.

Традиционно в учебной и академической литературе методы линейной регрессии рассматриваются фрагментарно:

• отдельно описываются простая и множественная регрессии,

• разрозненно излагаются методы решения (нормальное уравнение, QR, SVD, градиентный спуск),

• редко подчеркивается иерархическая связь между ними.

Разработанная структура впервые:

1. Объединяет все виды линейной регрессии в едином древовидном представлении, где показаны отношения "частный случай – обобщение".

2. Классифицирует методы МНК по принципу:

   • аналитические (точные, закрытая форма)

   • численные (разложения матриц)

   • итерационные (оптимизационные процедуры)

3. Визуализирует связь между теориями линейной алгебры и машинного обучения, показывая, как фундаментальные методы (SVD, QR, Холецкий, градиентный спуск) вписываются в единую систему.

4. Формирует когнитивную карту обучения — от интуитивных понятий к вычислительным и теоретическим аспектам, что делает её удобной как для студентов, так и для исследователей.

Научная и практическая новизна

1. Впервые создана иерархическая модель линейной регрессии, отражающая связи между всеми основными вариантами и методами решения.

2. Предложен универсальный визуальный формат (древовидный роадмап), который объединяет как статистическую, так и вычислительную перспективы анализа.

3. Показано, что полиномиальная и простая регрессии являются не отдельными методами, а вложенными случаями множественной регрессии.

4. Дана структурная типология МНК, которая ранее отсутствовала в учебных материалах и научных публикациях в таком виде.

5. Работа имеет прикладную значимость для Data Science, так как облегчает построение ментальной модели всех алгоритмов регрессии и их реализации в библиотечных инструментах (NumPy, SciPy, scikit-learn).

Вклад в Data Science

• Для практиков Data Science роадмап служит навигационной схемой:
  он показывает, какой метод выбрать в зависимости от типа задачи, объёма данных и требований к точности.

• Для преподавателей и студентов он обеспечивает структурную основу обучения, позволяя переходить от интуитивного понимания к строгим математическим методам.

• Для исследователей — даёт целостное представление об эволюции МНК и связи между аналитическими и численными методами, что важно при разработке новых алгоритмов оптимизации и регуляризации.

  
  До момента публикации не существовало единой визуальной структуры, описывающей всю иерархию методов линейной регрессии в рамках одной системы координат

Как сравнивать графы? Подходы разные: Канторовича-Рубинштейна, Громова-Хаусдорфа, Васерштейна (Леонида Нисоновича).

Одно из главных нововведений Си++? Обобщенное программирование, реализованное в Си++ (в виде библиотеки STL) и разработанное несколько ранее для "Ады" Степановым. Правда, уже в США, но на основании его идей, придуманных еще в СССР. Кстати, Степанов тоже, как и Червоненкис, в старости перебрался на родину.

Применяются и диаграммы Вороного, и полиномы Чебышева, и регуляризация Тихонова. Кстати, последняя - важная часть машинного обучения. Например, пседообратная матрица Мура - Пенроуза также определяется через регуляризацию Тихонова.

Вернемся к машинному обучению и искусственному интеллекту. Мало того, что они основаны на теории вероятности, а отцом современной теории вероятности считается Колмогоров.

Не одним Колмогоровым. Взять, скажем, такие методы как HMM (скрытые марковские модели), или, если двигаться к более современным методам, CRF (условные случайные поля) и в конце концов некоторые LLM (БЯМы, например Bert) - восходит к работам Маркова.

Есть еще мутная история Руса Салахутдинова. Интерес к почти протухшей теме нейросетей в нулевых годах вернули Лекун и Хинтон. Хинтону как раз в 2024 году дали за это Нобелевскую премию. Его главный помощник - Руслан Салахутдинов. Другое дело, что биография Салахутдинова не афишируется, откуда он родом и где учился до американских вузов - неизвестно. Может, он к советским достижениям не имеет никакого отношения. Вероятно, не связан с советской наукой и Цыбенко, доказавший универсальную теорему аппроксимации - математическую основу всех этих нейросетей. Впрочем, параллельно подобное сделал и Колмогоров, из-за чего теорему иногда в западной литературе называют Cybenko-Kolmogorov. Не учился и не работал в СССР/РФ и Илья Ефимович Суцкевер, возможно и Алекс Крижевский (создатели OpenAI и AlexNet).

Зато отцом глубокого обучения считается Алексей Григорьевич Ивахненко, опубликовавший свою книгу о многослойных сетях еще в 1965 году (в США - двумя годами позднее).

Так что хотя китайцы, конечно, не опирались на "код советского интернета, разработанного Глушковым", самоуничижение тоже неуместно. Советские разработки в математике, информатике и непосредственно в машинном обучении и даже именно нейросетях внесли не самый существенный, но весьма заметный вклад.

Последние десятилетия с этим стало похуже, но связано это со зрелостью технологий машинного обучения и невообразимым отставанием российской электроники и финансовых трудностях. Прорывные методы больше не основаны на свежих фундаментальных открытиях, теоремах: это эвристические приемы, которые могут сработать, но гораздо чаще не работают. Успех приходит после многочисленных проб и ошибок на больших вычислительных кластерах. Три года назад российские фирмы и тем более НИИ не могли себе такое позволить финансово. Сейчас - еще и из-за эмбарго. Так что да, если в скором будущем мы услышим новые русские фамилии, связанные с успехами искусственного интеллекта, скорее всего, эти русские будут работать в западных компаниях и университетах. Но это не значит, что в СССР или современной России плохие разработки ИИ.