WikiDer > Неравенство энтропийной мощности

В теория информации, то энтропийное неравенство результат, который относится к так называемой «энтропийной мощности» случайные переменные. Это показывает, что энтропийная мощность подходящего хорошо воспитанный случайные величины - это супераддитив функция. Неравенство энтропийной мощности было доказано в 1948 г. Клод Шеннон в его основополагающей статье "Математическая теория коммуникацииШеннон также предоставил достаточное условие для выполнения равенства; Стам (1959) показал, что это условие действительно необходимо.

Формулировка неравенства

Для случайной величины Икс : Ω →р^п с функция плотности вероятности ж : р^п → р, то дифференциальная энтропия из Икс, обозначенный час(Икс), определяется как

${displaystyle h (X) = - int _ {mathbb {R} ^ {n}} f (x) log f (x), dx}$

и энтропийная сила Икс, обозначенный N(Икс), определяется как

${displaystyle N (X) = {frac {1} {2pi e}} e ^ {{frac {2} {n}} h (X)}.}$

Особенно, N(Икс) = |K| ^1/п когда Икс нормально распределено с ковариационной матрицей K.

Позволять Икс и Y быть независимые случайные величины с функциями плотности вероятности в L^п Космос L^п(р^п) для некоторых п > 1. Тогда

${displaystyle N (X + Y) geq N (X) + N (Y).,}$

Кроме того, имеет место равенство если и только если Икс и Y находятся многомерный нормальный случайные величины с пропорциональными ковариационные матрицы.

Смотрите также

• Информационная энтропия
• Теория информации
• Предельная плотность дискретных точек
• Самоинформация
• Дивергенция Кульбака – Лейблера
• Оценка энтропии

Рекомендации

• Дембо, Амир; Обложка, Томас М .; Томас, Джой А. (1991). «Теоретико-информационные неравенства». IEEE Trans. Инф. Теория. 37 (6): 1501–1518. Дои:10.1109/18.104312. МИСТЕР 1134291. S2CID 845669.
• Гарднер, Ричард Дж. (2002). «Неравенство Брунна – Минковского». Бык. Амер. Математика. Soc. (Н.С.). 39 (3): 355–405 (электронный). Дои:10.1090 / S0273-0979-02-00941-2.
• Шеннон, Клод Э. (1948). «Математическая теория коммуникации». Bell System Tech. Дж. 27 (3): 379–423, 623–656. Дои:10.1002 / j.1538-7305.1948.tb01338.x. HDL:10338.dmlcz / 101429.
• Стам, А. Дж. (1959). «Некоторое неравенство удовлетворяется количеством информации Фишера и Шеннона». Информация и контроль. 2 (2): 101–112. Дои:10.1016 / S0019-9958 (59) 90348-1.