Данное дерево отражает иерархическую структуру основных видов линейной регрессии и методов решения задачи наименьших квадратов (МНК) — от аналитических к численным и итерационным.

Общая структура

На верхнем уровне различают три формы линейной регрессии:

1. Простая линейная регрессия — частный случай множественной, когда используется одна независимая переменная.

2. Множественная линейная регрессия — базовая форма, включающая несколько независимых переменных.

3. Полиномиальная регрессия — частный случай множественной, в которой вектор признаков дополнен степенными преобразованиями исходных переменных.

Методы наименьших квадратов (МНК)

Решение задачи линейной регрессии сводится к минимизации функции ошибок (суммы квадратов отклонений между наблюдаемыми и предсказанными значениями).

В зависимости от подхода различают аналитические, численные и итерационные методы.

1. Аналитический метод (закрытая форма)

• Применяется, когда матрица признаков имеет полную ранговую структуру и система допускает точное решение.

• Решение выражается формулой:

  normal equation

• Используется в простой и множественной линейной регрессии.

• Базируется на нормальном уравнении.

2. Численные методы (приближённые)

• Используются при больших объёмах данных или плохо обусловленных матрицах.

• Основаны на разложениях матриц:

  • Сингулярное разложение (SVD)

  • QR-разложение

  • Разложение Холецкого

• Обеспечивают численную устойчивость и более эффективные вычисления.

3. Итерационные методы

• Применяются при очень больших данных, когда аналитическое решение невозможно вычислить напрямую.

• Основной подход — градиентный спуск, при котором веса обновляются пошагово:

Особенности полиномиальной регрессии

Полиномиальная регрессия представляет собой множительную регрессию, где вектор признаков дополнен степенными функциями исходных переменных.
Хотя аналитическая форма возможна, на практике применяются численные методы, обеспечивающие стабильность и точность вычислений при высоких степенях полинома.

Взаимосвязь моделей

На схеме представлена визуальная взаимосвязь:

• Простая регрессия — частный случай множественной.

• Полиномиальная — частный случай множественной с расширенным базисом признаков.

• Все три формы объединяются через метод наименьших квадратов.

Значимость статьи и вклад в Data Science

Представленный древовидный роадмап методов линейной регрессии является первой в истории попыткой системно и визуально объединить все формы линейной регрессии — простую, множественную и полиномиальную — через призму методов наименьших квадратов (МНК), включая аналитические, численные и итерационные подходы.

Традиционно в учебной и академической литературе методы линейной регрессии рассматриваются фрагментарно:

• отдельно описываются простая и множественная регрессии,

• разрозненно излагаются методы решения (нормальное уравнение, QR, SVD, градиентный спуск),

• редко подчеркивается иерархическая связь между ними.

Разработанная структура впервые:

1. Объединяет все виды линейной регрессии в едином древовидном представлении, где показаны отношения "частный случай – обобщение".

2. Классифицирует методы МНК по принципу:

   • аналитические (точные, закрытая форма)

   • численные (разложения матриц)

   • итерационные (оптимизационные процедуры)

3. Визуализирует связь между теориями линейной алгебры и машинного обучения, показывая, как фундаментальные методы (SVD, QR, Холецкий, градиентный спуск) вписываются в единую систему.

4. Формирует когнитивную карту обучения — от интуитивных понятий к вычислительным и теоретическим аспектам, что делает её удобной как для студентов, так и для исследователей.

Научная и практическая новизна

1. Впервые создана иерархическая модель линейной регрессии, отражающая связи между всеми основными вариантами и методами решения.

2. Предложен универсальный визуальный формат (древовидный роадмап), который объединяет как статистическую, так и вычислительную перспективы анализа.

3. Показано, что полиномиальная и простая регрессии являются не отдельными методами, а вложенными случаями множественной регрессии.

4. Дана структурная типология МНК, которая ранее отсутствовала в учебных материалах и научных публикациях в таком виде.

5. Работа имеет прикладную значимость для Data Science, так как облегчает построение ментальной модели всех алгоритмов регрессии и их реализации в библиотечных инструментах (NumPy, SciPy, scikit-learn).

Вклад в Data Science

• Для практиков Data Science роадмап служит навигационной схемой:
  он показывает, какой метод выбрать в зависимости от типа задачи, объёма данных и требований к точности.

• Для преподавателей и студентов он обеспечивает структурную основу обучения, позволяя переходить от интуитивного понимания к строгим математическим методам.

• Для исследователей — даёт целостное представление об эволюции МНК и связи между аналитическими и численными методами, что важно при разработке новых алгоритмов оптимизации и регуляризации.

  
  До момента публикации не существовало единой визуальной структуры, описывающей всю иерархию методов линейной регрессии в рамках одной системы координат

В результате уравнение получилось, но с одной переменной.