Метод наименьших квадратов

Метод наименьших квадратов — метод нахождения оптимальных параметров линейной регрессии, таких, что сумма квадратов ошибок (регрессионных остатков) минимальна. Метод заключается в минимизации евклидова расстояния  между двумя векторами — вектором восстановленных значений зависимой переменной и вектором фактических значений зависимой переменной.

Задача метода наименьших квадратов состоит в выборе вектора , минимизирующего ошибку . Эта ошибка есть расстояние от вектора  до вектора . Вектор лежит в простанстве столбцов матрицы , так как  есть линейная комбинация столбцов этой матрицы с коэффициентами . Отыскание решения  по методу наименьших квадратов эквивалентно задаче отыскания такой точки , которая лежит ближе всего к  и находится при этом в пространстве столбцов матрицы . Таким образом, вектор должен быть проекцией  на пространство столбцов и вектор невязки  должен быть ортогонален этому пространству. Ортогональность состоит в том, что каждый вектор в пространстве столбцов есть линейная комбинация столбцов с некоторыми коэффициентами , то есть это вектор . Для всех  в пространстве , эти векторы должны быть перпендикулярны невязке :

Так как это равенство должно быть справедливо для произвольного вектора , то

Решение по методу наименьших квадратов несовместной системы , состоящей из  уравнений с  неизвестными, есть уравнение

которое называется нормальным уравнением. Если столбцы матрицы  линейно независимы, то матрица  обратима и единственное решение

Проекция вектора  на пространство столбцов матрицы имеет вид

Матрица  называется матрицей проектирования вектора  на пространство столбцов матрицы . Эта матрица имеет два основных свойства: она идемпотентна, , и симметрична, . Обратное также верно: матрица, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов.

Пример построения линейной регрессии

Задана выборка — таблица

Задана регрессионная модель — квадратичный полином

Назначенная модель является линейной. Для нахождения оптимального значения вектора параметров  выполняется следующая подстановка:

Тогда матрица  значений подстановок свободной переменной  будет иметь вид

Задан критерий качества модели: функция ошибки

Здесь вектор . Требуется найти такие параметры , которые бы доставляли минимум этому функционалу,

Требуется найти такие параметры , которые доставляют минимум  — норме вектора невязок .

Для того, чтобы найти минимум функции невязки, требуется приравнять ее производные к нулю. Производные данной функции по  составляют

Это выражение также называется нормальным уравнением. Решение этой задачи должно удовлетворять системе линейных уравнений

то есть,

После получения весов можно построить график найденной функции.

При обращении матрицы  предполагается, что эта матрица невырождена и не плохо обусловлена.

Анализ множественная регрессия.

Множественная регрессия помогает решить проблему использования более чем одной предикторной неременной. В исследовании, проводимом методом множественной регрессии, применяется одна критериальная, а также две или более предикторных переменных. Такой анализ позволяет вам не только выяснить, что на основании этих двух или более переменных можно предсказать определенный критерий, но также определить относительную предсказательную силу этих переменных. Эта сила отображается в формуле множественной регрессии для исходных данных, которая представляет собой расширенный вариант формулы простой регрессии:

Простая регрессия:

Множественная регрессия: где каждый X — это отдельная предикторная переменная, Y — это критериальная переменная, а величина показателей b отражает относительную важность каждой предикторной переменной. Этот показатель называют «весом регрессии» (Licht, 1995). В результате анализа по методу множественной регрессии получают множественный коэффициент корреляции (R) и множественный коэффициент детерминации (R2). R — это корреляция между объединенными предикторными переменными и критерием, а R2 — показатель степени изменчивости критериальной переменной, вызванной объединенными предикторными переменными. Необходимо обратить внимание на использование больших букв для обозначения многомерных R u R2 — тем самым их можно отличить от двумерных пирсонова ru r2. Однако их интерпретации весьма схожи. И R, и r обозначают силу корреляции, a R2 и r2 — долю изменчивости, общей для нескольких переменных. Преимущество анализа методом множественной регрессии заключается в том, что при объединении влияния нескольких предикторных переменных (особенно если они не слишком сильно коррелируют друг с другом) возможность сделать верные предположения заметно увеличивается в сравнении с обычным регрессионным анализом. Высокие школьные оценки уже сами по себе говорят о будущей хорошей успеваемости в колледже, так же как и оценки теста SAT, но на основании двух этих показателей можно делать предсказания с большей уверенностью (Sprinthall, 2000). Чтобы получить представление о том, в каких исследованиях применяют анализ методом множественной регрессии, рассмотрим следующие примеры.

1. Исследование, предсказывающее развитие эмпатии (сопереживания) на основании двух аспектов событий раннего детства (Barnett & McCoy, 1989): студенты, сопереживающие другим людям, обычно имели в детстве стрессовые переживания, что сделало их более чувствительными к переживаниям других. Тяжесть полученной в детстве травмы, как признак развития будущей эмпатии, имеет больший вес, чем общее число травматических событий.

2. Исследование, предсказывающее развитие восприимчивости к простуде на основании негативных событий жизни, воспринимаемого стресса и отрицательных эмоций (Cohen, Tyrell & Smith, 1993). Возможно, многие думают, что простуда развивается потому, что они провели обеденное время слишком близко от непрерывно чихавшего человека. Однако данное исследование показало, что простудные заболевания можно предсказать на основании трех факторов, связанных со стрессом. Чаще всего простужаются те студенты, которые: а) в недавнее время пережили стрессовое событие, б) чувствуют, что к ним предъявляются завышенные требования, и в) описывают свой общий эмоциональный стресс.