WikiDer > Расстояние Хеллингера

В вероятность и статистика, то Расстояние Хеллингера (тесно связанный, хотя и отличный от Бхаттачарья расстояние) используется для количественной оценки сходства между двумя распределения вероятностей. Это тип ж-расхождение. Расстояние Хеллингера определяется в терминах Интеграл Хеллингера, который был введен Эрнст Хеллингер в 1909 г.^[1][2]

Определение

Теория меры

Чтобы определить расстояние Хеллингера в терминах теория меры, позволять п и Q обозначить два вероятностные меры которые абсолютно непрерывный относительно третьей вероятностной меры λ. Квадрат расстояния Хеллингера между п и Q определяется как количество

${displaystyle H ^ {2} (P, Q) = {frac {1} {2}} displaystyle int left ({sqrt {frac {dP} {dlambda}}} - {sqrt {frac {dQ} {dlambda}}) } ight) ^ {2} dlambda.}$

Вот, dP / dλ и dQ / dλ - это Производные Радона – Никодима из п и Q соответственно. Это определение не зависит от λ, поэтому расстояние Хеллингера между п и Q не изменится, если λ заменить другой вероятностной мерой, относительно которой оба п и Q абсолютно непрерывны. Для компактности приведенная выше формула часто записывается как

${displaystyle H ^ {2} (P, Q) = {frac {1} {2}} int left ({sqrt {dP}} - {sqrt {dQ}} ight) ^ {2}.}$

Теория вероятностей с использованием меры Лебега

Чтобы определить расстояние Хеллингера в терминах элементарной теории вероятностей, мы берем λ как Мера Лебега, так что dP / dλ и dQ / dλ просто функции плотности вероятности. Если обозначить плотности как ж и г, соответственно, квадрат расстояния Хеллингера может быть выражен как стандартный интеграл исчисления

${displaystyle H ^ {2} (f, g) = {frac {1} {2}} int left ({sqrt {f (x)}} - {sqrt {g (x)}} ight) ^ {2} , dx = 1-int {sqrt {f (x) g (x)}}, dx,}$

где вторую форму можно получить, развернув квадрат и используя тот факт, что интеграл от плотности вероятности по его области равен 1.

Расстояние Хеллингера ЧАС(п, Q) удовлетворяет свойству (выводимому из Неравенство Коши – Шварца)

${displaystyle 0leq H (P, Q) leq 1.}$

Дискретные распределения

Для двух дискретных распределений вероятностей ${displaystyle P = (p_ {1}, ldots, p_ {k})}$ и ${displaystyle Q = (q_ {1}, ldots, q_ {k})}$, их расстояние Хеллингера определяется как

${displaystyle H (P, Q) = {frac {1} {sqrt {2}}}; {sqrt {sum _ {i = 1} ^ {k} ({sqrt {p_ {i}}} - {sqrt { q_ {i}}}) ^ {2}}},}$

что напрямую связано с Евклидова норма разности векторов квадратного корня, т.е.

${displaystyle H (P, Q) = {frac {1} {sqrt {2}}}; {igl |} {sqrt {P}} - {sqrt {Q}} {igr |} _ {2}.}$

Также, ${displaystyle 1-H ^ {2} (P, Q) = sum _ {i = 1} ^ {k} {sqrt {p_ {i} q_ {i}}}.}.$

Свойства

Расстояние Хеллингера образует ограниченный метрика на Космос распределений вероятностей по заданному вероятностное пространство.

Максимальное расстояние 1 достигается, когда п присваивает нулевую вероятность каждому набору, которому Q присваивает положительную вероятность, и наоборот.

Иногда фактор ${displaystyle 1 / {sqrt {2}}}$ перед интегралом опускается, и в этом случае расстояние Хеллингера изменяется от нуля до квадратного корня из двух.

Расстояние Хеллингера связано с Коэффициент Бхаттачарьи ${displaystyle BC (P, Q)}$ как это можно определить как

${displaystyle H (P, Q) = {sqrt {1-BC (P, Q)}}.}$

Расстояния Хеллингера используются в теории последовательный и асимптотическая статистика.^[3][4]

Квадрат расстояния Хеллингера между двумя нормальные распределения ${displaystyle scriptstyle P, sim, {mathcal {N}} (mu _ {1}, sigma _ {1} ^ {2})}$ и ${displaystyle scriptstyle Q, sim, {mathcal {N}} (mu _ {2}, sigma _ {2} ^ {2})}$ является:

${displaystyle H ^ {2} (P, Q) = 1- {sqrt {frac {2sigma _ {1} sigma _ {2}} {sigma _ {1} ^ {2} + sigma _ {2} ^ {2 }}}}, e ^ {- {frac {1} {4}} {frac {(mu _ {1} -mu _ {2}) ^ {2}} {sigma _ {1} ^ {2} + sigma _ {2} ^ {2}}}}.}$

Квадрат расстояния Хеллингера между двумя многомерные нормальные распределения ${displaystyle scriptstyle P, sim, {mathcal {N}} (mu _ {1}, sum _ {1})}$ и ${displaystyle scriptstyle Q, sim, {mathcal {N}} (mu _ {2}, sum _ {2})}$ является

^[5]

${displaystyle H ^ {2} (P, Q) = 1- {frac {det (sum _ {1}) ^ {1/4} det (sum _ {2}) ^ {1/4}} {det left ({frac {sum _ {1} + sum _ {2}} {2}} ight) ^ {1/2}}} exp left {- {frac {1} {8}} (mu _ {1} - mu _ {2}) ^ {T} left ({frac {sum _ {1} + sum _ {2}} {2}} ight) ^ {- 1} (mu _ {1} -mu _ {2} ) ight}}$

Квадрат расстояния Хеллингера между двумя экспоненциальные распределения ${displaystyle scriptstyle P, sim, {m {{Exp} (alpha)}}}$ и ${displaystyle scriptstyle Q, sim, {m {{Exp} (eta)}}}$ является:

${displaystyle H ^ {2} (P, Q) = 1- {frac {2 {sqrt {alpha eta}}} {alpha + eta}}.}.$

Квадрат расстояния Хеллингера между двумя Распределения Вейбулла ${displaystyle scriptstyle P, sim, {m {{W} (k, alpha)}}}$ и ${displaystyle scriptstyle Q, sim, {m {{W} (k, eta)}}}$ (где ${displaystyle k}$ - общий параметр формы и ${displaystyle alpha ,, eta}$ параметры масштаба соответственно):

${displaystyle H ^ {2} (P, Q) = 1- {frac {2 (alpha eta) ^ {k / 2}} {alpha ^ {k} + eta ^ {k}}}.}.}$

Квадрат расстояния Хеллингера между двумя Распределения Пуассона с параметрами скорости ${displaystyle alpha}$ и ${displaystyle eta}$, так что ${displaystyle scriptstyle P, sim, {m {{Poisson} (alpha)}}}$ и ${displaystyle scriptstyle Q, sim, {m {{Poisson} (eta)}}}$, является:

${displaystyle H ^ {2} (P, Q) = 1-e ^ {- {frac {1} {2}} ({sqrt {alpha}} - {sqrt {eta}}) ^ {2}}.}$

Квадрат расстояния Хеллингера между двумя Бета-распределения ${displaystyle scriptstyle P, sim, {ext {Beta}} (a_ {1}, b_ {1})}$ и ${displaystyle scriptstyle Q, sim, {ext {Beta}} (a_ {2}, b_ {2})}$ является:

${displaystyle H ^ {2} (P, Q) = 1- {frac {Bleft ({frac {a_ {1} + a_ {2}} {2}}, {frac {b_ {1} + b_ {2}) } {2}} ight)} {sqrt {B (a_ {1}, b_ {1}) B (a_ {2}, b_ {2})}}}}$

где ${displaystyle B}$ это Бета-функция.

Подключение с полным изменением расстояния

Расстояние Хеллингера ${displaystyle H (P, Q)}$ и общее расстояние вариации (или статистическое расстояние) ${displaystyle delta (P, Q)}$ связаны следующим образом:^[6]

${displaystyle H ^ {2} (P, Q) leq delta (P, Q) leq {sqrt {2}} H (P, Q) ,.}$

Эти неравенства непосредственно следуют из неравенств между 1-норма и 2-норма.

Смотрите также

• Статистическое расстояние
• Дивергенция Кульбака – Лейблера
• Бхаттачарья расстояние
• Общее расстояние вариации
• Информационная метрика Fisher

Заметки

использованная литература

• Ян, Грейс Ло; Ле Кам, Люсьен М. (2000). Асимптотика в статистике: некоторые основные концепции. Берлин: Springer. ISBN 0-387-95036-2.
• Vaart, A. W. van der. Асимптотическая статистика (Кембриджские серии по статистической и вероятностной математике). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-78450-6.
• Поллард, Дэвид Э. (2002). Руководство пользователя по измерению теоретической вероятности. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-00289-3.