Что такое функция потерь?
Что такое оптимизатор Adam?
Делаю такой клиповый курс «Что такое», где за 20 секунд объясняю термины по разработке нейросетей и искусственному интеллекту.
Если пост наберёт 30 плюсов, продолжу выкладывать другие клипы в сообществе «Наука | Научпоп».
Линейная регрессия — один из самых фундаментальных и широко применяемых методов в машинном обучении. Несмотря на простоту, её эффективность сильно зависит от двух ключевых компонентов:
Функции потерь (loss function) — что именно мы минимизируем?
Метода оптимизации (solver) — как мы ищем решение?
В этой статье мы разберём популярные функции потерь — MSE, MAE, Huber и Log-Cosh — их свойства, плюсы и минусы. А также покажем, как выбор функции потерь определяет выбор алгоритма оптимизации.
Функция потерь измеряет, насколько предсказания модели отличаются от реальных значений. От её формы зависят:
Чувствительность к выбросам
Наличие замкнутого решения
Выпуклость задачи
Скорость и стабильность обучения
Давайте сравним четыре ключевые функции потерь в контексте линейной регрессии.
Эквивалентна максимуму правдоподобия при нормальном шуме.
Чувствительна к выбросам (ошибки возводятся в квадрат).
Normal Equation (аналитическое решение)
SGD, SAG, LBFGS (в scikit-learn: solver='auto', 'svd', 'cholesky' и др.)
Когда использовать: когда данные «чистые», ошибки гауссовские, и важна интерпретируемость.
Робастна к выбросам (ошибки в первой степени).
Минимизирует медиану ошибок (а не среднее).
Недифференцируема в нуле → нет аналитического решения.
Требует итеративных методов.
Linear Programming (например, через симплекс-метод)
Subgradient Descent (в scikit-learn: QuantileRegressor с quantile=0.5)
Когда использовать: когда в данных есть аномалии или тяжёлые хвосты (например, цены, доходы).
Гладкая и дифференцируемая.
Робастна к выбросам (линейная штраф за большие ошибки).
Гибкость через параметр δδ.
Нужно настраивать δδ (часто выбирают как процентиль ошибок).
Нет замкнутого решения.
Gradient Descent, LBFGS, Newton-CG(в scikit-learn: HuberRegressor с fit_intercept=True)
Когда использовать: когда вы подозреваете наличие выбросов, но хотите сохранить гладкость оптимизации.
Гладкая везде (бесконечно дифференцируема).
Ведёт себя как MSE при малых ошибках и как MAE при больших.
Устойчива к выбросам, но без «изломов».
Вычислительно дороже (логарифм и гиперболический косинус).
Не так распространена в классических библиотеках.
Gradient-based методы: SGD, Adam, LBFGS(в TensorFlow/PyTorch легко реализуется; в scikit-learn — через кастомный регрессор)
Когда использовать:
когда вы ищете баланс между робастностью MSE и гладкостью MAE.
Вы хотите избежать чувствительности MSE к выбросам, но сохранить дифференцируемость.
Вы строите гибридную модель, где loss должен быть всюду гладким (например, для вторых производных).
Правило:
Если loss квадратичен → можно решить напрямую.
Если loss неквадратичен → нужен итеративный численный метод.
И помните: нет универсально «лучшей» функции потерь — только та, что лучше всего подходит вашим данным и задаче.
Дальше в посте, я опишу свойства функции среднеквадратичной ошибки (MSE), затем методы её оптимизации (аналитические, численные, стохастические и гибридные), укажу важные формулы, поведение градиента/Гессиана, оценки сходимости и практические рекомендации.
Основные свойства MSE
1. Дифференцируемость
MSE — гладкая (бесконечно дифференцируема) функция параметров для линейной модели она квадратичная — что сильно упрощает анализ.
2 Квадратичность и выпуклость
MSE — квадратичная функция, такая функция выпукла (всегда), а если X⊤X положительно определена (то есть признаки линейно независимы и строго выпукла и имеет единственный глобальный минимум.
Для нелинейных параметрических моделей выпуклость обычно не выполняется — могут быть локальные минимума.
3. Градиент и Гессиан
Гессиан положительно полуопределён. Его собственные значения управляют «кривизной» функции (вдоль направлений с большими э-величинами функция круто меняется).
4 Шкала, чувствительность к выбросам и статистическая интерпретация
MSE сильно чувствительна к выбросам (квадратичная зависимость даёт большим ошибкам непропорционально большой вклад).
Если ошибки в модели нормальны, то MSE (максимизация правдоподобия) соответствует MLE — минимизация MSE = максимизация нормального правдоподобия.
5. Аналитическое решение
Закрытая форма (normal equations).
6. Алгоритмы численной оптимизации
Градиентный спуск (Batch Gradient Descent)
7. Стохастический градиентный спуск (SGD) и мини-батчи
Стохастичность даёт возможность выйти из плохих локальных минимумов (для нелинейных задач).
8. Ускоренные и адаптивные методы
Momentum (classical momentum) — ускоряет спуск по узким долинам.
Nesterov Accelerated Gradient (NAG) — улучшенный momentum с теоретическими гарантиями.
Адаптивные алгоритмы: Adagrad, RMSProp, Adam, AdamW. Они подбирают адаптивный шаг для каждого параметра.
9. Второго порядка и квазиньютоновские методы
Newton’s method (использует Гессиан) Kвазиньютоновские: BFGS, L-BFGS Conjugate Gradient (CG) часто используют для ridge регрессии
10. Проксимальные и координатные методы (для регуляризации)
Coordinate Descent — особенно эффективен для L1-регуляризованных задач (LASSO), когда функция частично сепарабельна.
11. Прямые методы оптимизации
SVD, cholesky, QR
Обратите внимание что в посте вы не увидите саму модель линейной регресии, где мы точки прямой аппроксимируем, потому что это вообще неинтересно с точки зрения понимания моделей машинного обучения, интересно только сердце ML моделей - функция потерь.
Юрий Сергеевич Осипов — советский и российский математик, академик РАН, специалист в области теории управления, дифференциальных уравнений и их приложений. Президент Российской академии наук в 1991-2013 годах.
Область науки Вклад Значение
Теория управления Разработка теории позиционного управления и дифференциальных игр Создание новых методов управления сложными динамическими системами
Дифференциальные уравнения Исследования устойчивости решений дифференциальных уравнений Развитие качественной теории дифференциальных уравнений
Обратные задачи Разработка методов решения обратных задач динамики Создание основ для идентификации параметров сложных систем
Математическая теория устойчивости Исследования устойчивости по Ляпунову и её обобщений Развитие методов анализа устойчивости динамических систем
Прикладная математика Применение математических методов в механике и технике Решение практических задач управления и стабилизации
Разработал теорию позиционного управления динамическими системами, которая позволяет строить алгоритмы управления в условиях неполной информации о состоянии системы.
Внес фундаментальный вклад в теорию дифференциальных игр, разработав методы решения задач преследования и уклонения для сложных динамических систем.
Создал новые подходы к решению обратных задач динамики, позволяющие восстанавливать параметры системы по наблюдаемому движению.
Развил теорию устойчивости нелинейных систем, предложив новые критерии устойчивости и методы их анализа.
Научное направление Основные результаты Годы
Теория управления Разработка принципа позиционного управления с обратной связью 1970-1980
Дифференциальные игры Создание методов решения задач группового преследования 1980-1990
Обратные задачи Разработка алгоритмов идентификации параметров динамических систем 1990-2000
Устойчивость Обобщение методов Ляпунова для нелинейных систем 2000-2010
Прикладные задачи Применение теоретических результатов в технических системах 1970-настоящее время
Период Должность Вклад
1991-2013 Президент Российской академии наук Руководство крупнейшей научной организацией страны в переходный период
1986-1993 Директор Института математики и механики УрО РАН Развитие математической школы на Урале
1993-2013 Академик-секретарь Отделения математики РАН Координация математических исследований в России
2002-2013 Президент Международного математического союза Развитие международного сотрудничества в области математики
1991-2013 Главный редактор журнала "Известия РАН. Серия математическая" Руководство ведущим математическим журналом России
"Математика — это не только язык науки, но и мощный инструмент познания мира. Без развития математики невозможно развитие других наук и технологий."
— Юрий Осипов
Окончание Уральского государственного университета, начало научной работы в области дифференциальных уравнений
Защита кандидатской диссертации по теории устойчивости дифференциальных уравнений
Защита докторской диссертации по теории управления динамическими системами
Назначение заведующим отделом теории управления в Институте математики и механики УрО РАН
Избрание членом-корреспондентом АН СССР
Избрание академиком АН СССР
Избрание президентом Российской академии наук
Избрание президентом Международного математического союза
Форма признанияОписаниеГосударственные наградыОрден "За заслуги перед Отечеством" I, II, III и IV степеней, Орден Ленина, Орден Октябрьской РеволюцииНаучные премииПремия имени А.М. Ляпунова РАН, Государственная премия РФ в области науки и техникиЧленство в академияхАкадемик РАН (1987), член-корреспондент с 1984 года, иностранный член многих зарубежных академийНаучные публикацииБолее 200 научных работ, включая монографии и учебные пособияПамятьПремия имени Ю.С. Осипова для молодых ученых, именные стипендииНаучная школаСоздал одну из ведущих российских школ теории управления и дифференциальных уравнений
"Юрий Сергеевич Осипов — это не только выдающийся математик, но и блестящий организатор науки, сумевший сохранить российскую академическую науку в сложнейшие годы."
— Академик Владимир Фортов
Разработал теорию управления по принципу обратной связи, когда управляющие воздействия формируются на основе текущей информации о состоянии системы.
Создал метод последовательных приближений для решения задач оптимального управления, позволяющий находить решения сложных нелинейных задач.
Развил математический аппарат для анализа конфликтно управляемых систем, когда несколько участников имеют противоположные цели.
Предложил новые критерии устойчивости для нелинейных динамических систем, обобщающие классические методы Ляпунова.
НаправлениеВклад ОсиповаМировое значениеТеория управленияРазработка принципов позиционного управления и методов обратной связиСоздание основ современных систем автоматического управленияДифференциальные игрыРазвитие математической теории конфликтно управляемых системПрименение в экономике, экологии, военном делеМатематическое образованиеПодготовка научных кадров, руководство математическими школамиСохранение и развитие математических традиций в РоссииМеждународное сотрудничествоРазвитие связей российской науки с мировым научным сообществомИнтеграция российской науки в мировое научное пространствоОрганизация наукиРуководство РАН в переходный период, сохранение научного потенциалаСохранение одной из ведущих научных школ мира
"Работы Юрия Сергеевича Осипова по теории управления и дифференциальным играм стали классическими и вошли в учебники по всему миру."
— Математик Джон Бэлл
Название работыГодОбластьЗначение"Позиционные дифференциальные игры"1973Теория игрФундаментальная монография по теории дифференциальных игр"Обратные задачи динамики"1985Теория управленияСистематическое изложение методов решения обратных задач"Управление в условиях неопределенности"1992Теория управленияРазработка методов управления при неполной информации"Стабилизация нелинейных систем"2001Теория устойчивостиНовые подходы к анализу устойчивости сложных систем"Избранные труды по теории управления"2009Теория управленияСборник ключевых работ по различным аспектам теории управления
Информация о вкладе Юрия Сергеевича Осипова в мировую науку
Страница создана нейросетью DeepSeek
Мало кому из людей удавалось в ходе жизни создать целые миры. Сегодняшний юбиляр – из таких редких представителей человечества.
Михаил Алексеевич Лаврентьев своей деятельностью полностью переформатировал карту отечественной науки, в реальность воплотив слова Ломоносова о том, что могущество России будет прирастать богатствами Сибири.
Именно Лаврентьева следует нам благодарить за то, что эти богатства не только природные – но и человеческие.
Путь ученого начинался еще в царской Казани, а продолжился уже в советской Москве: там он попадает в «Лузитанию», легендарную научную школу великого математика Николая Лузина. Лаврентьев среди всех лузинских учеников выделялся способностью ставить необычные задачи и находить к ним новые подходы. О молодом специалисте заговорили не только в Союзе, но и по всей Европе.
Настоящий успех пришел к математику после прихода в ЦАГИ (Центральный аэрогидродинамический институт). Исследования аэродинамики привели Лаврентьева к вопросу изучения взрывных процессов, особенно кумулятивных взрывов. Накануне войны подобные исследования были критически важны, так ученый стал работать на советский ВПК, получив по итогам этих работ Сталинскую премию.
Но по-настоящему ученый проявил себя в организаторской деятельности: где Лаврентьев только не работал. Он руководил институтами в Киеве и Москве, участвовал в создании первых советских вычислительных машин, успел поработать и в атомном проекте, активно развивал МФТИ, по сути, став одним из отцов-основателей этого института.
Но главным его делом стали Сибирское отделение АН СССР и Академгородок – крупнейший научный эксперимент XX века, когда сумрачный гений советской плановой системы решил объединить в одном пространстве фундаментальную науку, инженерную деятельность, образование и урбанистику.
Правдами и неправдами Лаврентьеву удалось собрать в Сибири лучших людей, тех, кто впоследствии создал то, чем Академгородок знаменит сегодня.
А ведь достижения новосибирской науки сейчас известны во всем мире.
Здесь был создан один из первых в мире ускорителей на встречных пучках, так называемый «коллайдер», наработки которого позволили участвовать в создании оборудования для Большого адронного коллайдера и внести вклад в открытие бозона Хиггса.
Именно в Академгородке, в Институте цитологии и генетики был проведён знаменитый эксперимент Дмитрия Беляева по приручению лис, уникальный научный проект, изменивший наше понимание эволюции и поведения животных.
В Денисовой пещере Алтайских гор археологи из Новосибирска открыли ранее неизвестный подвид человека, что стало одним из крупнейших достижений современной мировой антропологии.
А технопарк Академгородка уже в нашем столетии превратил углеродные нанотрубки из редкого лабораторного материала в достаточно распространенный продукт, готовый к уже практически промышленному использованию.
Все эти достижения сибирских ученых невозможно было бы представить без той основы, которую заложил свидетель века, академик Лаврентьев, сегодняшний юбиляр.
Источник данных:
Куперштох Н. А. Академик МА Лаврентьев: документальные страницы биографии //Гуманитарные науки в Сибири. – 2000. – №. 3. – С. 3-6.
Учёные провели измерения пропорций лиц различных знаменитостей, используя технологии анализа. По результатам исследования лицо Эммы Стоун, известной по фильмам «Бедные несчастные» и «Ла‑Ла‑Ленд», соответствует золотому сечению на 94,72 %, что считается стандартом красоты.
Следующей по красоте в рейтинге оказалась Зендая, а на третьем месте — Фрида Пинто, звезда «Миллионера из трущоб». В топ также вошли Дженна Ортега, Марго Робби и Бейонсе.
Пожалуй, каждый школьник, нахватавшись плохих оценок, слышал от родных и близких подобные слова поддержки:
"Да не расстраивайся ты. Эйнштейн вообще был двоечником!"
Так родители утешают детей, учителя мотивируют отстающих, а в интернете плодятся мемы про "двоечника, перевернувшего науку".
Но тут есть загвоздка: это абсолютная ложь. Эйнштейн не был двоечником. Напротив, он был одним из самых усидчивых, внимательных и умных детей во всей школе.
Откуда же взялся этот устойчивый миф, в который по сей день верят миллионы людей?
Маленький Альберт поздно заговорил — до трех лет он молчал, предпочитая наблюдать за миром. Родители Герман и Паулина даже подозревали, что у них растет умственно отсталый наследник.
Но когда мальчик наконец открыл рот, то он сразу стал формулировать целые предложения. Просто до этого его мозг был занят более важными вещами, чем генерация детского лепета.
В швейцарской школе Арау, где учился Эйнштейн, в то время действовала оценочная система, в корне отличавшаяся от той, к которой привыкли мы с вами. Там высшим баллом была единица, а не пятерка.
Альберт Эйнштейн в 14 лет / © jrbenjamin.com
Поэтому, когда люди слышали, что у Эйнштейна были сплошные "единицы" по математике и физике, они воспринимали его как ни на что неспособного неуча. По факту же это были замечательные оценки — максимально возможные в той системе.
У Эйнштейна были сложные отношения с некоторыми преподавателями, и дело было не в его неуспеваемости. Наоборот — он все схватывал на лету и быстро разбирался в любой теме, но презрительно относился к педагогам, которые допускали ошибки или говорили глупости.
В порыве гнева один из учителей даже сказал, что Альберт "никогда ничего не достигнет". Ирония судьбы в том, что едва ли кто-нибудь вспомнит имя этого преподавателя, а вот Эйнштейн стал символом человеческой гениальности.
Эйнштейн не смог поступить в Федеральную политехническую школу Цюриха с первого раза. Но завалил он не физику или математику — по этим предметам у него были как всегда блестящие результаты.
Проблемы возникли с гуманитарными дисциплинами, особенно с французским языком, который не был для него родным. Будущий ученый просто не желал тратить время на изучение того, что его не увлекало, предпочитая заниматься физикой, с которой уже тогда планировал связать свою жизнь.
В 12 лет Альберт самостоятельно изучил Евклидову геометрию, которую обычно проходят в старших классах.
В 15 лет будущий лауреат Нобелевской премии уже свободно владел дифференциальным и интегральным исчислением.
"Я никогда не делал ошибок в математике, а дифференциальное и интегральное исчисление освоил к 15 годам", — писал ученый в своем дневнике.
В подростковом возрасте он увлекся философией Канта — произведения, над которыми ломают голову студенты университетов и их седовласые наставники.
Разве это портрет двоечника? Скорее гения, который с детства интеллектуально опережал сверстников на годы (или десятилетия).
Альберт Эйнштейн, 1927 год / © boredpanda.com
Стоит отдать дань уважения студенту медицинского вуза Максу Талмуду, который был наставником юного Эйнштейна, познакомившим его с чудесами науки, не связанными с сухой и скучной зубрежкой, принятой в школе.
Люди обожают истории из серии "из грязи да в князи". Многим хочется верить, что великие достижения доступным каждому, даже двоечнику. Легенда про "неудачника Эйнштейна" дает надежду родителям плохо успевающих детей и оправдание тем, кто не желает учиться.
Но не стоит кормить двоечников мифами! Будущее поколение нужно учить тому, что успех требует адского труда и нечеловеческого упорства.
Альберт Эйнштейн — идеальный пример того, как выдающиеся способности, помноженные на страсть к познанию и трудолюбие, привели к революционным открытиям, перевернувшим наши представления об устройстве Вселенной.
Математику ценю больше чем другие науки. Но в то же время считаю недопустимыми попытки оценивать результаты развития техники лишь количественными критериями.
Когда я начинал свою научно-техническую карьеру в Ленинградском ВНИИ Мощного Радиостроения, каждый понедельник в крайне богатой по тому времени институтской научно-технической библиотеке мне посчастливилось регулярно посещать выставки отечественной и иностранной профессиональной периодики по электронике. И довльно часто бывало, что материалы на русском не уступали публикациям на западно-европейских языках…
Единственное мощное отличие научных журналов было в том, что по любой проблеме именно в советских изданиях считалось хорошим тоном безмерно изощряться в ворохе математических выкладок. Как же без тройного интеграла! Ну и частенько было не протиснуться читателю к сути излагаемого сквозь сложнущие математические выражнния.
А в периодике о тех же проблемах того же уровня и значимости на английском обычно хватало двух–трех резюмирующих формул, не затеняющих технического смысла статьи.
Но у нас без сложной математики почему-то было невозможно…
Да и в диссертациях сплошь и рядом оценивались не сами результаты эффективности технических изобретений , а изощренность математических выкладок.
Петр Новыш
Санкт –Петербург
