WikiDer > Объясненная сумма квадратов

Explained sum of squares

В статистика, то объясненная сумма квадратов (ESS), также известный как модельная сумма квадратов или же сумма квадратов из-за регрессии («ССР» - не путать с остаточная сумма квадратов RSS или сумма квадратов ошибок) - величина, используемая для описания того, насколько хороша модель, часто регрессионная модель, представляет моделируемые данные. В частности, объясненная сумма квадратов измеряет, насколько сильно изменяются смоделированные значения, и это сравнивается с общая сумма квадратов (TSS), который измеряет, насколько вариативны наблюдаемые данные, и остаточная сумма квадратов, который измеряет разброс ошибки между наблюдаемыми данными и смоделированными значениями.

Определение

В объясненная сумма квадратов (ESS) представляет собой сумму квадратов отклонений прогнозируемых значений от среднего значения переменной отклика в стандартном регрессионная модель - Например, уя = а + б1Икс1я + б2Икс2я + ... + εя, куда уя это я th наблюдение за переменная ответа, Иксджи это я th наблюдение за j th объясняющая переменная, а и бj находятся коэффициенты, я индексирует наблюдения от 1 до п, и εя это я th ценность срок ошибки. В целом, чем больше ESS, тем лучше работает оценочная модель.

Если и являются оценочными коэффициенты, тогда

это я th прогнозируемое значение переменной ответа. ESS тогда:

куда значение, оцененное линией регрессии.[1]

В некоторых случаях (см. Ниже): общая сумма квадратов (TSS) =объясненная сумма квадратов (ESS)остаточная сумма квадратов (RSS).

Разбиение в простой линейной регрессии

Следующее равенство, гласящее, что общая сумма квадратов (TSS) равна остаточной сумме квадратов (= SSE: сумма квадратов ошибок предсказания) плюс объясненная сумма квадратов (SSR: сумма квадратов из-за регрессии или объясненных сумма квадратов), как правило, верно в простой линейной регрессии:

Простой вывод

Возведите обе стороны в квадрат и просуммируйте все я:

Вот как последний член выше равен нулю из простая линейная регрессия[2]

Так,

Следовательно,

Разбиение в общей обычной модели наименьших квадратов

Общая регрессионная модель с п наблюдения и k объяснители, первый из которых представляет собой постоянный единичный вектор с коэффициентом пересечения регрессии,

куда у является п × 1 вектор наблюдений зависимых переменных, каждый столбец п × k матрица Икс вектор наблюдений на одном из k толкователи, это k × 1 вектор истинных коэффициентов, и е является п × 1 вектор истинных основных ошибок. В обыкновенный метод наименьших квадратов оценщик для является

Остаточный вектор является , поэтому остаточная сумма квадратов после упрощения

Обозначим как постоянный вектор, все элементы которого являются выборочным средним значений зависимой переменной в векторе у. Тогда общая сумма квадратов равна

Объясненная сумма квадратов, определяемая как сумма квадратов отклонений прогнозируемых значений от наблюдаемого среднего значения у, является

С помощью в этом и упрощая, чтобы получить , дает результат TSS = ESS + RSS если и только если . Левая часть этого умножить на сумму элементов у, а правая сторона умножить на сумму элементов , поэтому условие состоит в том, чтобы сумма элементов у равна сумме элементов , или, что то же самое, сумма ошибок предсказания (остатков) равно нулю. В этом можно убедиться, обратив внимание на хорошо известное свойство OLS: k × 1 вектор : поскольку первый столбец Икс вектор единиц, первый элемент этого вектора представляет собой сумму остатков и равна нулю. Это доказывает выполнение условия результата TSS = ESS + RSS.

В терминах линейной алгебры мы имеем , , Доказательство можно упростить, отметив, что . Доказательство таково:

Таким образом,

что снова дает результат TSS = ESS + RSS, поскольку .

Смотрите также

Примечания

  1. ^ «Сумма квадратов - определение, формулы, регрессионный анализ». Институт корпоративных финансов. Получено 2020-06-11.
  2. ^ Менденхолл, Уильям (2009). Введение в вероятность и статистику (13-е изд.). Бельмонт, Калифорния: Брукс / Коул. п. 507. ISBN 9780495389538.

Рекомендации

  • С. Е. Максвелл и Х. Д. Делани (1990), «Планирование экспериментов и анализ данных: перспектива сравнения моделей». Уодсворт. С. 289–290.
  • Г. А. Милликен и Д. Э. Джонсон (1984), "Анализ неаккуратных данных", Vol. Я: Спланированные эксперименты. Ван Ностранд Рейнхольд. С. 146–151.
  • Табачник Б. Г. и Фиделл Л. С. (2007), "Экспериментальный дизайн с использованием дисперсионного анализа". Даксбери. п. 220.
  • Табачник Б.Г. и Фиделл Л.С. (2007), "Использование многомерной статистики", 5-е изд. Pearson Education. С. 217–218.