WikiDer > Совместная энтропия

Joint entropy
Вводящий в заблуждение[1] Диаграмма Венна показывая аддитивные и вычитающие отношения между различными информационные меры связаны с коррелированными переменными X и Y. Площадь, содержащаяся в обоих кругах, является совместная энтропия H (X, Y). Круг слева (красный и фиолетовый) - это индивидуальная энтропия H (X), красный - условная энтропия H (X | Y). Круг справа (синий и фиолетовый) - это H (Y), а синий - H (Y | X). Фиолетовый - это взаимная информация Я (X; Y).

В теория информации, соединение энтропия является мерой неопределенности, связанной с набором переменные.[2]

Определение

Сустав Энтропия Шеннонабиты) двух дискретных случайные переменные и с изображениями и определяется как[3]:16

 

 

 

 

(Уравнение 1)

куда и являются частными значениями и , соответственно, это совместная вероятность этих значений, встречающихся вместе, и определяется как 0, если .

Для более чем двух случайных величин это расширяется до

 

 

 

 

(Уравнение 2)

куда являются частными значениями , соответственно, вероятность того, что эти значения встречаются вместе, и определяется как 0, если .

Характеристики

Неотрицательность

Совместная энтропия набора случайных величин - неотрицательное число.

Больше индивидуальных энтропий

Совместная энтропия набора переменных больше или равна максимуму всех индивидуальных энтропий переменных в наборе.

Меньше или равно сумме индивидуальных энтропий

Совместная энтропия набора переменных меньше или равна сумме индивидуальных энтропий переменных в наборе. Это пример субаддитивность. Это неравенство является равенством тогда и только тогда, когда и находятся статистически независимый.[3]:30

Связь с другими мерами энтропии

Совместная энтропия используется в определении условная энтропия[3]:22

,

и

Он также используется в определении взаимная информация[3]:21

В квантовая теория информации, совместная энтропия обобщается на совместная квантовая энтропия.

Приложения

Доступен пакет python для вычисления всех многомерных совместных энтропий, взаимной информации, условной взаимной информации, общих корреляций, информационного расстояния в наборе данных из n переменных.[4]

Совместная дифференциальная энтропия

Определение

Приведенное выше определение относится к дискретным случайным величинам и так же верно в случае непрерывных случайных величин. Непрерывная версия дискретной совместной энтропии называется совместная дифференциальная (или непрерывная) энтропия. Позволять и - непрерывные случайные величины с совместная функция плотности вероятности . Дифференциальная совместная энтропия определяется как[3]:249

 

 

 

 

(Уравнение 3)

Для более чем двух непрерывных случайных величин определение обобщается на:

 

 

 

 

(Уравнение 4)

В интеграл берется за поддержку . Возможно, что интеграла не существует, и в этом случае мы говорим, что дифференциальная энтропия не определена.

Характеристики

Как и в дискретном случае, совместная дифференциальная энтропия набора случайных величин меньше или равна сумме энтропий отдельных случайных величин:

[3]:253

Следующее цепное правило выполняется для двух случайных величин:

В случае более двух случайных величин это обобщается на:[3]:253

Совместная дифференциальная энтропия также используется в определении взаимная информация между непрерывными случайными величинами:

Рекомендации

  1. ^ D.J.C. Маккей. Теория информации, выводы и алгоритмы обучения.:141
  2. ^ Тереза ​​М. Корн; Корн, Гранино Артур. Математический справочник для ученых и инженеров: определения, теоремы и формулы для справки и обзора. Нью-Йорк: Dover Publications. ISBN 0-486-41147-8.
  3. ^ а б c d е ж грамм Томас М. Кавер; Джой А. Томас. Элементы теории информации. Хобокен, Нью-Джерси: Wiley. ISBN 0-471-24195-4.
  4. ^ "InfoTopo: Анализ топологической информации. Глубокое статистическое обучение без учителя и с учителем - Обмен файлами - Github". github.com/pierrebaudot/infotopopy/. Получено 26 сентября 2020.