Обобщённый метод наименьших квадратов

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Обобщённый метод наименьших квадратов (ОМНК, GLS — англ. Generalized Least Squares) — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — , где  — вектор остатков,  — симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной.

Необходимо отметить, что обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.

Сущность обобщённого МНК

[править | править код]

Известно, что симметрическую положительно определенную матрицу можно разложить как , где P- некоторая невырожденная квадратная матрица. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков . Для линейной регрессии это означает, что минимизируется величина:

где , то есть фактически суть обобщённого МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы используется обратная ковариационная матрица случайных ошибок (то есть ), преобразование P приводит к тому, что преобразованная модель удовлетворяет классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид:

Ковариационная матрица этих оценок равна:

Доступный ОМНК (FGLS, Feasible GLS)

[править | править код]

Проблема применения обобщённого МНК заключается в неизвестности ковариационной матрицы случайных ошибок. Поэтому на практике используют доступный вариант ОМНК, когда вместо V используется её некоторая оценка. Однако, и в этом случае возникает проблема: количество независимых элементов коварационной матрицы равно , где -количество наблюдений (для примера — при 100 наблюдениях нужно оценить 5050 параметров!). Следовательно, такой вариант не позволит получить качественные оценки параметров. На практике делаются дополнительные предположения о структуре ковариационной матрицы, то есть предполагается, что элементы ковариационной матрицы зависят от небольшого числа неизвестных параметров . Их количество должно быть намного меньше числа наблюдений. Сначала применяется обычный МНК, получают остатки, затем на их основе оцениваются указанные параметры . С помощью полученных оценок оценивают ковариационную матрицу ошибок и применяют обобщённый МНК с этой матрицей. В этом суть доступного ОМНК. Доказано, что при некоторых достаточно общих условиях, если оценки состоятельны, то и оценки доступного ОМНК будут состоятельны.

Взвешенный МНК

[править | править код]

Если ковариационная матрица ошибок диагональная (имеется гетероскедастичность ошибок, но нет автокорреляции), то обобщённая сумма квадратов является фактически взвешенной суммой квадратов, где веса обратно пропорциональны дисперсиям ошибок. В этом случае говорят о взвешенном МНК (ВМНК, WLS, Weighted LS). Преобразование P в данном случае заключается в делении данных на среднеквадратическое отклонение случайных ошибок. К взвешенным таким образом данным применяется обычный МНК.

Как и в общем случае, дисперсии ошибок неизвестны и их необходимо оценить из тех же данных. Поэтому делают некоторые упрощающие предположения о структуре гетероскедастичности.

Дисперсия ошибки пропорциональна квадрату некоторой переменной

[править | править код]

В этом случае собственно диагональными элементами являются величины, пропорциональные этой переменной (обозначим её Z) . Причем коэффициент пропорциональности не нужен для оценки. Поэтому фактически процедура в данном случае следующая: разделить все переменные на Z (включая константу, то есть появится новая переменная 1/Z). Причем Z может быть одной из переменных самой исходной модели (в этом случае в преобразованной будет константа). К преобразованным данным применяется обычный МНК для получения оценок параметров:

Однородные группы наблюдений

[править | править код]

Пусть имеется n наблюдений разбитых на m однородных групп, внутри каждой из которых предполагается одинаковая дисперсия. В этом случае сначала модель оценивают обычным МНК и находят остатки. По остаткам внутри каждой группы оценивают дисперсии ошибок групп как отношение сумм квадратов остатков к количеству наблюдений в группе. Далее данные каждой j-й группы наблюдений делятся на и к преобразованным подобным образом данным применяется обычный МНК для оценки параметров.

ОМНК в случае автокорреляции

[править | править код]

Если случайные ошибки подчиняются AR(1) модели , то без учета первого наблюдения преобразование P будет заключаться в следующем: из текущего значения переменных отнимаются предыдущие, умноженные на :

Данное преобразование называется авторегрессионным преобразованием. Для первого наблюдения применяется поправка Прайса — Уинстена — данные первого наблюдения умножаются на . Случайная ошибка преобразованной модели равна , которая по предположению есть белый шум. Следовательно применение обычного МНК позволит получить качественные оценки такой модели.

Поскольку коэффициент авторегрессии неизвестен, то применяются различные процедуры доступного ОМНК.

Процедура Кохрейна-Оркатта

[править | править код]

Шаг 1. Оценка исходной модели методом наименьших квадратов и получение остатков модели.

Шаг 2. Оценка коэффициента автокорреляции остатков модели (формально её можно получить также как МНК-оценку параметра авторегрессии во вспомогательной регрессии остатков )

Шаг 3. Авторегрессионное преобразование данных (с помощью оцененного на втором шаге коэффициента автокорреляции) и оценка параметров преобразованной модели обычным МНК.

Оценки параметров преобразованной модели и являются оценками параметров исходной модели, за исключением константы, которая восстанавливается делением константы преобразованной модели на 1-r. Процедура может повторяться со второго шага до достижения требуемой точности.

Процедура Хилдрета — Лу

[править | править код]

В данной процедуре производится прямой поиск значения коэффициента автокорреляции, которое минимизирует сумму квадратов остатков преобразованной модели. А именно задаются значения r из возможного интервала (-1;1) с некоторым шагом. Для каждого из них производится авторегрессионное преобразование, оценивается модель обычным МНК и находится сумма квадратов остатков. Выбирается тот коэффициент автокорреляции, для которого эта сумма квадратов минимальна. Далее в окрестности найденной точки строится сетка с более мелким шагом и процедура повторяется заново.

Процедура Дарбина

[править | править код]

Преобразованная модель имеет вид:

Раскрыв скобки и перенеся лаговую зависимую переменную вправо получаем

Введем обозначения . Тогда имеем следующую модель

Данную модель необходимо оценить с помощью обычного МНК. Тогда коэффициенты исходной модели восстанавливаются как .

При этом полученная оценка коэффициента автокорреляции может быть использована для авторегрессионного преобразования и применения МНК для этой преобразованной модели для получения более точных оценок параметров.

Литература

[править | править код]
  • Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс . — 2004.