WikiDer > Многомерная взаимная информация

Multivariate mutual information
Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z, представленных нижним левым, нижним правым и верхним кружками соответственно. Многомерная взаимная информация представлена ​​серой областью. Поскольку он может быть отрицательным, области на диаграмме представляют подписанные меры.

В теория информации на протяжении многих лет предпринимались различные попытки расширить определение взаимная информация более чем двум случайные переменные. Выражение и изучение многомерной взаимной информации более высокой степени было достигнуто в двух, казалось бы, независимых работах: McGill (1954) [1] который назвал эти функции «информацией о взаимодействии», и Ху Го Тин (1962) [2] который также первым доказал возможную отрицательность взаимной информации для степеней выше 2 и алгебраически обосновал интуитивное соответствие диаграммам Венна [3].

Определение

В условная взаимная информация можно использовать для индуктивного определения многомерная взаимная информация (MMI) в комплекте- или теоретико-мерный смысл в контексте информационные диаграммы. В этом смысле мы определяем многомерную взаимную информацию следующим образом:

куда

Это определение идентично определению информация о взаимодействии за исключением смены знака в случае нечетного числа случайных величин.

В качестве альтернативы многомерная взаимная информация может быть определена в терминах теории меры как пересечение индивидуальных энтропий. :

Определение , теоретико-множественное тождество что соответствует утверждению теории меры ,[4]:стр.63 позволяет переписать вышесказанное как:

что идентично первому определению.

Характеристики

Многовариантная информация и условная многомерная информация могут быть разложены на сумму энтропий.

Многомерная статистическая независимость

Многомерные функции взаимной информации обобщают случай попарной независимости, который утверждает, что если и только если , к произвольной многочисленной переменной. n переменных взаимно независимы тогда и только тогда, когда функции взаимной информации исчезают с (теорема 2 [3]). В этом смысле может использоваться как уточненный критерий статистической независимости.

Синергия и избыточность

Многомерная взаимная информация может быть положительной, отрицательной или нулевой. Позитивность соответствует отношениям, обобщающим попарные корреляции, нулевое значение соответствует уточненному понятию независимости, а отрицательность обнаруживает многомерные «возникающие» отношения и кластеризованные точки данных. [5][3]). В простейшем случае трех переменных Икс, Y, и Z, зная, скажем, Икс дает определенное количество информации о Z. Эта информация - просто взаимная информация (желтый и серый на диаграмме Венна выше). Точно так же, зная Y также даст определенный объем информации о Z, это взаимная информация (голубой и серый на диаграмме Венна выше). Количество информации о Z который получается, зная как Икс и Y вместе - это информация, которая взаимна Z и X, Y пара, написано (желтый, серый и голубой на диаграмме Венна выше), и она может быть больше, равна или меньше суммы двух взаимных данных, причем эта разница является многомерной взаимной информацией: . В случае, когда сумма двух взаимных данных больше, чем , многомерная взаимная информация будет положительной. В этом случае некоторая информация о Z предоставленный знанием Икс также обеспечивается знанием Y, что приводит к тому, что их сумма превышает информацию о Z от знания обоих вместе. То есть есть "избыточность"в информации о Z предоставленный Икс и Y переменные. В случае, когда сумма взаимной информации меньше, чем , многомерная взаимная информация будет отрицательной. В этом случае, зная как Икс и Y вместе обеспечивает более информация о Z чем сумма информации, полученной при знании одного только одного. То есть есть "синергия"в информации о Z предоставленный Икс и Y переменные.[6] Приведенное выше объяснение предназначено для интуитивного понимания многомерной взаимной информации, но оно скрывает тот факт, что она не зависит от того, какая переменная является объектом (например, Z в приведенном выше примере), а два других рассматриваются как источник информации. Для 3 переменных Brenner et al. применил многомерную взаимную информацию к нейронному кодированию и назвал ее отрицательность «синергизмом» [7] и Watkinson et al. применил это к генетическому выражению [8]

Пример положительной многомерной взаимной информации (избыточность)

Положительный MMI типичен для структур общего назначения. Например, облака вызывают дождь, а также закрывают солнце; следовательно, корреляция между дождем и темнотой частично объясняется наличием облаков, . Результат - положительный MMI .

Примеры отрицательной многомерной взаимной информации (синергия)

Xor Interaction.png

Случай отрицательного MMI заведомо не интуитивно понятен. Типичный пример негатива имеет как выход элемента XOR, к которому и являются независимыми случайными входами. В этом случае будет ноль, но будет положительным (1 кусочек), поскольку один раз вывод известно, значение на входе полностью определяет значение на входе . С , результат отрицательный MMI . Может показаться, что в этом примере используется своеобразное упорядочение для получения положительного взаимодействия, но симметрия определения для указывает на то, что результаты одинаковой положительной информации о взаимодействии не зависят от того, какую переменную нарушитель или кондиционирующая переменная. Например, введите и вывод также независимы до ввода фиксировано, и в этот момент они полностью зависят.

Common-effect.png

Эта ситуация является примером, когда исправление общий эффект причин и вызывает зависимость между причинами, которых раньше не было. Такое поведение в просторечии называется объясняя и подробно обсуждается в Байесовская сеть литературе (например, Pearl 1988). Пример Перла - автоматическая диагностика: двигатель автомобиля может не заводиться. либо из-за разряженной батареи или из-за заблокированного топливного насоса . Обычно мы предполагаем, что выход из строя аккумуляторной батареи и блокировка топливного насоса являются независимыми событиями из-за существенной модульности таких автомобильных систем. Таким образом, в отсутствие другой информации знание того, разрядился аккумулятор или нет, не дает нам информации о том, заблокирован ли топливный насос. Однако, если мы узнаем, что машина не заводится (т. Е. Исправляем общий эффект ), эта информация вызывает зависимость между двумя причинами смерть батареи и засорение топлива. Таким образом, зная, что автомобиль не заводится, если проверка показывает, что аккумулятор в хорошем состоянии, мы делаем вывод, что топливный насос заблокирован.

Смерть батареи и засорение топлива таким образом зависят, обусловлены их общим действием запуск машины. Очевидная направленность в графе общих последствий противоречит глубокой информационной симметрии: если обусловленность общего эффекта увеличивает зависимость между двумя его родительскими причинами, то обусловливание одной из причин должно создавать такое же усиление зависимости между второй причиной и общей причиной. эффект. В автомобильном примере Перла, если машина заводится побуждает биты зависимости между двумя причинами батарея разряжена и топливо заблокировано, затем кондиционированиетопливо заблокировано должен побудить биты зависимости между батарея разряжена и машина заводится. Это может показаться странным, потому что батарея разряжена и машина заводится регулируются подтекстом батарея разряжена машина не заводится. Однако эти переменные все еще не полностью коррелированы, потому что обратное неверно. Кондиционирование на топливо заблокировано устраняет главную альтернативную причину неудачного запуска и усиливает обратную связь и, следовательно, связь между батарея разряжена и машина заводится.

Положительность для цепей Маркова.

Если три переменные образуют цепь Маркова , тогда так

Границы

Границы для случая трех переменных равны

Трудности

Сложность состоит в том, что эта многомерная взаимная информация (а также информация о взаимодействии) может быть положительным, отрицательным или нулевым, что затрудняет интуитивную интерпретацию этой величины. Фактически, для п случайные величины, есть степени свободы в отношении того, как они могут быть коррелированы в теоретико-информационном смысле, соответствующие каждому непустому подмножеству этих переменных. Эти степени свободы ограничены различными неравенства в теории информации.

Смотрите также

Рекомендации

  1. ^ Макгилл, В. (1954). «Многомерная передача информации». Психометрика. 19 (1): 97–116. Дои:10.1007 / BF02289159.
  2. ^ Ху, К. (1962). «Об объеме информации». Теория вероятн. Приложение. 7: 439–447.
  3. ^ а б c Baudot, P .; Tapia, M .; Bennequin, D .; Goaillard, JM. (2019). «Анализ топологической информации». Энтропия. 21 (9): 869. Дои:10.3390 / e21090869.
  4. ^ Серф, Николас Дж .; Адами, Крис (1998). «Информационная теория квантовой запутанности и измерения». Physica D. 120 (1–2): 62–81. arXiv:Quant-ph / 9605039. Bibcode:1998PhyD..120 ... 62C. Дои:10.1016 / s0167-2789 (98) 00045-1. Получено 7 июн 2015.
  5. ^ Tapia, M .; Baudot, P .; Формизано-Трезины, Ц .; Dufour, M .; Гоайлард, Дж. М. (2018). «Идентичность нейротрансмиттера и электрофизиологический фенотип генетически связаны в дофаминергических нейронах среднего мозга». Sci. Представитель. 8: 13637. Дои:10.1038 / s41598-018-31765-z.
  6. ^ Тимм, Николай; Элфорд, Уэсли; Флекер, Бенджамин; Беггс, Джон М. (2012). «Многовариантные информационные меры: точка зрения экспериментатора». arXiv:1111.6857. Bibcode:2011arXiv1111.6857T
  7. ^ Brenner, N .; Strong, S .; Koberle, R .; Bialek, W. (2000). «Синергия в нейронном коде». Нейронные вычисления. 12: 1531–1552. Дои:10.1162/089976600300015259.
  8. ^ Watkinson, J .; Liang, K .; Ван, X .; Zheng, T .; Анастасиу, Д. (2009). «Вывод регулятивных взаимодействий генов из данных экспрессии с использованием трехсторонней взаимной информации». Чалл. Syst. Биол. Анна. Акад. Наука. 1158: 302–313. Дои:10.1111 / j.1749-6632.2008.03757.x.
  • Два многомерных обобщения точечной взаимной информации
  • Якулин А. и Братко И. (2003a). Анализ зависимостей атрибутов, в N Lavraquad {c}, D Gamberger, L Todorovski & H Blockeel, eds, Труды 7-й Европейской конференции по принципам и практике обнаружения знаний в базах данных, Springer, Цавтат-Дубровник, Хорватия, стр. 229–240.