WikiDer > Кредитное плечо (статистика)

В статистика и в частности в регрессивный анализ, использовать это мера того, как далеко независимая переменная ценности наблюдение взяты из других наблюдений.

Пункты с высоким кредитным плечом это те наблюдения, если таковые имеются, сделанные при экстремальных или выпадающих значениях независимых переменных, так что отсутствие соседних наблюдений означает, что подобранная регрессионная модель будет проходить близко к этому конкретному наблюдению.^[1]

Определение

в линейная регрессия модель, оценка кредитного плеча для я-е наблюдение определяется как:

${ displaystyle h_ {ii} = left [ mathbf {H} right] _ {ii},}$

то я-й диагональный элемент матрица проекции ${ displaystyle mathbf {H} = mathbf {X} left ( mathbf {X} ^ { mathsf {T}} mathbf {X} right) ^ {- 1} mathbf {X} ^ { mathsf {T}}}$, куда ${ displaystyle mathbf {X}}$ это матрица дизайна (чьи строки соответствуют наблюдениям, а столбцы - независимым или объясняющим переменным).

Интерпретация

Оценка кредитного плеча также известна как самочувствительность наблюдения или самовлияние,^[2] из-за уравнения

${ displaystyle h_ {ii} = { frac { partial { widehat {y ,}} _ {i}} { partial y_ {i}}},}$

в котором говорится, что рычаги я-е наблюдение равно частная производная приспособленных я-ое зависимое значение ${ Displaystyle { widehat {у ,}} _ {я}}$относительно измеренного я-ое зависимое значение ${ displaystyle y_ {i}}$. Эта частная производная описывает степень, в которой я-ое измеренное значение влияет на я-е подходящее значение. Обратите внимание, что это плечо зависит от значений объясняющих (x-) переменных всех наблюдений, но не от каких-либо значений зависимых (y-) переменных.

Уравнение ${ displaystyle h_ {ii} = { frac { partial { widehat {y ,}} _ {i}} { partial y_ {i}}}}$следует непосредственно из вычисления подобранных значений через шляпа матрица в качестве ${ displaystyle { mathbf { widehat {y}}} = { mathbf {H}} { mathbf {y}}}$; то есть кредитное плечо - это диагональный элемент матрицы дизайна:

${ displaystyle h_ {ii} = mathbf {H} (i, i).}$

Границы кредитного плеча

${ Displaystyle 0 Leq H_ {II} Leq 1.}$

Доказательство

Во-первых, обратите внимание, что ЧАС является идемпотентная матрица: ${ displaystyle H ^ {2} = X (X ^ { top} X) ^ {- 1} X ^ { top} X (X ^ { top} X) ^ {- 1} X ^ { top } = XI (X ^ { top} X) ^ {- 1} X ^ { top} = H.}$ Также обратите внимание, что ${ displaystyle H}$ симметричен (т. е .: ${ displaystyle h_ {ij} = h_ {ji}}$). Итак, приравнивая ii элемент ЧАС к тому из ЧАС ², у нас есть

${ displaystyle h_ {ii} = h_ {ii} ^ {2} + sum _ {j neq i} h_ {ij} ^ {2} geq 0}$

и

${ displaystyle h_ {ii} geq h_ {ii} ^ {2} подразумевает h_ {ii} leq 1.}$

Влияние на остаточную дисперсию

Если мы находимся в обыкновенный метод наименьших квадратов установка с фиксированным X и гомоскедастический ошибки регрессии ${ displaystyle varepsilon _ {я},}$

${ Displaystyle Y = X бета + varepsilon; OperatorName {Var} ( varepsilon) = sigma ^ {2} I}$

затем я-th остаток регрессии

${ displaystyle e_ {i} = Y_ {i} - { widehat {Y}} _ {i}}$

имеет отклонение

${ displaystyle operatorname {Var} (e_ {i}) = (1-h_ {ii}) sigma ^ {2}}$

Другими словами, оценка рычага наблюдения определяет степень шума в неверном прогнозе модели для этого наблюдения, причем более высокий рычаг приводит к меньшему шуму.

Доказательство

Во-первых, обратите внимание, что ${ Displaystyle I-H}$ идемпотентно и симметрично, и ${ displaystyle { widehat {Y}} = HY}$. Это дает

${ displaystyle operatorname {Var} (e) = operatorname {Var} ((IH) Y) = (IH) operatorname {Var} (Y) (IH) ^ { top} = sigma ^ {2} (IH) ^ {2} = sigma ^ {2} (IH).}$

Таким образом ${ displaystyle operatorname {Var} (e_ {i}) = (1-h_ {ii}) sigma ^ {2}.}$

Студентизированные остатки

Соответствующие студенизированный остаток- остаток, скорректированный на его оценочную остаточную дисперсию для конкретного наблюдения, - тогда

${ displaystyle t_ {i} = {e_ {i} over { widehat { sigma}} { sqrt {1-h_ {ii} }}}}$

куда ${ displaystyle { widehat { sigma}}}$ является подходящей оценкой ${ displaystyle sigma.}$

Связанные понятия

Частичное кредитное плечо

Частичное кредитное плечо - это мера вклада отдельного независимые переменные Современные компьютерные пакеты для статистического анализа включают, как часть их средств для регрессионного анализа, различные количественные меры для идентификации влиятельные наблюдения, включая такую ​​меру того, как независимая переменная вносит свой вклад в общий рычаг данных.

Расстояние Махаланобиса

Кредитное плечо тесно связано с Расстояние Махаланобиса^[3] (см. доказательство: ^[4]).

В частности, для некоторой матрицы ${ displaystyle X_ {n, p}}$ квадрат расстояния Махаланобиса некоторого вектора-строки ${ displaystyle { vec {x_ {i}}} = X_ {i, cdot}}$ от вектора среднего ${ displaystyle { hat { mu}} = { bar {X}}}$, длины ${ displaystyle p}$, а с оценкой ковариационная матрица ${ Displaystyle S = cov (X)}$ является:

${ displaystyle D ^ {2} ({ vec {x_ {i}}}) = ({ vec {x_ {i}}} - { hat { mu}}) ^ {T} S ^ {- 1} ({ vec {x_ {i}}} - { hat { mu}})}$

Это связано с кредитным плечом ${ displaystyle h_ {ii}}$ матрицы шляпы ${ displaystyle X_ {n, p}}$ после добавления к нему вектора-столбца из единиц. Отношения между ними следующие:

${ displaystyle D ^ {2} ({ vec {x_ {i}}}) = (n-1) (h_ {ii} - { tfrac {1} {n}})}$

Взаимосвязь между кредитным плечом и расстоянием Махаланобиса позволяет нам разложить кредитное плечо на значимые компоненты, чтобы можно было аналитически исследовать некоторые источники высокого кредитного плеча. ^[5]

Программные реализации

Многие программы и статистические пакеты, такие как р, Pythonи т. д., включают реализации кредитного плеча.

Смотрите также

• Матрица проекции - чьи основные диагональные записи являются рычагами наблюдений
• Расстояние Махаланобиса - а (масштабированный) мера рычага базы данных
• Расстояние повара - мера изменений коэффициентов регрессии при удалении наблюдения
• DFFITS
• Выброс - наблюдения с экстремальным Y значения
• Степени свободы (статистика), сумма баллов кредитного плеча

Рекомендации