Ответы по гос эконометрике

    e = (e₁, e₂,... e_n)' — матрица-столбец, или вектор возмущений (случайных ошибок, остатков) размера n.

      Тогда в матричной форме модель регрессии  по генеральной совокупности (5.4) примет вид:

      Y= X×b+e.   (5.5)

      Оценкой (приближением) этой модели по выборке  является уравнение

      Y=X×b+e,   (5.5')

где b = (b₀, b₁,...,b_p), е = (е₁, е₂,...,. е_n)'.

      Для оценки вектора неизвестных параметров b применим метод наименьших квадратов. Так как произведение транспонированного вектора е' на сам вектор е равно

       ,

то условие  минимизации остаточной суммы квадратов  запишется в виде:

         (5.6)

      

      Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (Xb)'=b'X' после раскрытия скобок получим:

       .

      Произведение Y'Xb есть матрица размера (1хn)[nх(p+1)]х [(p+l)xl]=(lxl), т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е. Y'Xb = (Y'Xb)' = b'X'Y. Поэтому условие минимизации (5.6) примет вид:

       .  (5.7)

      На  основании необходимого условия  экстремума функции нескольких переменных S(b₀, b₁,..., b_p), представляющей (5.6), необходимо приравнять нулю частные производные по этим переменным или в матричной форме — вектор частных производных

       .

      Для вектора частных производных  в курсе высшей математики доказаны  следующие формулы :

       ,

где b и с — вектор-столбцы; А — симметрическая матрица, в которой элементы, расположенные симметрично относительно главной диагонали, равны.

      Справедливость  приведенных формул проиллюстрируем  на примере. 

Пример 1. Пусть 

.

      Так как 

.

,

      то 

       ,

      и

       .

      Поэтому, полагая с = X'Y, а матрицу А = X'∙X  (она является симметрической), найдем

,

откуда получаем систему нормальных уравнений в матричной форме для определения вектора b:

.  (5.8)

      Найдем  матрицы, входящие в это уравнение. (Здесь под знаком S подразумевается ). Матрица А = Х'Х представляет матрицу сумм первых степеней, квадратов и попарных произведений n наблюдений объясняющих переменных:

      

       . (5.9)

      Матрица  X'Y есть  вектор  произведений n наблюдений объясняющих и зависимой переменных:

       .(5.10)

      В частном случае из рассматриваемого матричного уравнения (5.8) с учетом (5.9) и (5.10) для одной объясняющей переменной (р = 1) нетрудно получить систему нормальных уравнений. Действительно,  в этом случае матричное уравнение (5.8) принимает вид:

       ,

откуда непосредственно  следует система нормальных уравнений для парной линейной регрессии.

 

    8. Дисперсионный анализ. Суть и методика  его расчета.

    . Дисперсионный анализ позволяет выявить взаимосвязи между исследуемыми переменными, то есть определить влияние отдельных факторов на переменную y.

    На  основе дисперсионного анализа можно  рассчитать F-критерий Фишера и оценить значимость уравнения в целом.

    Dобщ=Dфакт+Dост

    Центральное место в нём занимает разложение общей суммы  квадратов отклонений переменной у от среднего значения   на две части – “объяснённую” и “необъяснённую”:

       (8.21)

    Sобщ=Sфакт+Sост

    Здесь     

    Любая сумма квадратов связана с  числом степеней свободы (df – degrees of freedom), с числом  свободы независимого варьирования признака. Число степеней свободы связано с числом единиц совокупности n и с числом определяемых по ней констант.

    Существует  равенство между числом степеней свободы общей, факторной и остаточной суммой квадратов отклонений. Число степеней свободы остаточной суммы квадратов при линейной регрессии составляет n-2. Число степеней свободы общей суммы квадратов определяется числом единиц варьируемых признаков, и поскольку мы используем среднюю вычисленную по данным выборки, то теряем одну степень свободы, т.е. dfобщ. = n–1.

    Итак, имеем два равенства:

,  (8.27)

            n-1  =     1   + (n-2)

    Разделив  каждую сумму квадратов на соответствующее ей число степеней свободы, получим средний квадрат отклонений, или, что то же самое, дисперсию на одну степень свободы D.   

     ;

     ;

     .

    Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчёте на одну степень свободы, получим величину F-критерия Фишера 

    

,

где F-критерий для проверки нулевой гипотезы H₀: D_факт = D_ост.  

    Если Fфакт> Fтабл , то модель значимая

    Если Fфакт< Fтабл , то модель не значимая, то есть x никак не влияет на y. (b=0)

    Величина F-критерия связана с коэффициентом  детерминации . Факторную сумму квадратов отклонений можно представить как

    

,

    а остаточную сумму квадратов – как

    

.

    Тогда значение F-критерия можно выразить как

    

.

    В линейной регрессии обычно оценивается  значимость не только уравнения в  целом, но и отдельных его параметров. С этой целью по каждому из его параметров определяется его стандартная ошибка: m_b и m_a. 

    Стандартная ошибка m_b коэффициента регрессии b, определяется по формуле

    

где - остаточная дисперсия D_ост на одну степень свободы.

    Стандартная ошибка коэффициента регрессии a определяется по формуле

    

где – остаточная дисперсия D_ост на одну степень свободы.

    Процедура оценивания существенности данного  параметра а такая же, как и для параметра b: вычисляется t-критерий , его величина сравнивается с табличным значением при определённом уровне значимости α и числе степеней свободы (n-2).