WikiDer > Взаимная информация
Теория информации |
---|
В теория вероятности и теория информации, то взаимная информация (MI) двух случайные переменные мера взаимного зависимость между двумя переменными. В частности, он количественно определяет «количество информации» (в единицы Такие как Shannons, обычно называемые битами), полученные для одной случайной величины путем наблюдения за другой случайной величиной. Концепция взаимной информации тесно связана с концепцией энтропия случайной величины, фундаментального понятия в теории информации, которое количественно определяет ожидаемые "количество информации"хранится в случайной величине.
Не ограничивается действительными случайными величинами и линейной зависимостью, такой как коэффициент корреляции, MI является более общим и определяет, насколько разные совместное распределение пары является продуктом маргинальных распределений и . МИ является ожидаемое значение из точечная взаимная информация (PMI).
Количество было определено и проанализировано Клод Шеннон в его знаменательной статье Математическая теория коммуникации, хотя он не называл это «взаимной информацией». Этот термин был придуман позже Роберт Фано.[1] Взаимная информация также известна как получение информации.
Определение
Позволять - пара случайных величин со значениями в пространстве . Если их совместное распространение а маргинальные распределения равны и , взаимная информация определяется как
куда это Дивергенция Кульбака – ЛейблераОбратите внимание, что в соответствии со свойством Дивергенция Кульбака – Лейблера, который равно нулю именно тогда, когда совместное распределение совпадает с произведением маргиналов, т.е. когда и независимы (а значит, наблюдая ничего не говорит вам о ). В целом неотрицательно, это мера стоимости кодирования как пара независимых случайных величин, хотя на самом деле это не так.
В терминах PMF для дискретных распределений
Взаимная информация двух совместно дискретных случайных величин и рассчитывается как двойная сумма:[2]:20
| (Уравнение 1) |
куда это совместная вероятность масса функция из и , и и являются предельная вероятность массовые функции и соответственно.
С точки зрения PDF-файлов для непрерывных распределений
В случае совместно непрерывных случайных величин двойная сумма заменяется на двойной интеграл:[2]:251
| (Уравнение 2) |
куда теперь совместная вероятность плотность функция и , и и предельные функции плотности вероятности и соответственно.
Если бревенчатая база 2, единицы взаимной информации биты.
Мотивация
Интуитивно взаимная информация измеряет информацию, которая и поделиться: он измеряет, насколько знание одной из этих переменных снижает неопределенность в отношении другой. Например, если и независимы, тогда зная не дает никакой информации о и наоборот, поэтому их взаимная информация равна нулю. С другой стороны, если является детерминированной функцией и является детерминированной функцией тогда вся информация передается делится с : зная определяет стоимость наоборот. В результате в этом случае взаимная информация такая же, как неопределенность, содержащаяся в (или же ) в одиночку, а именно энтропия из (или же ). Более того, эта взаимная информация такая же, как энтропия и как энтропия . (Очень частный случай - когда и - одна и та же случайная величина.)
Взаимная информация - это мера внутренней зависимости, выраженная в совместное распределение из и относительно предельного распределения и в предположении независимости. Таким образом, взаимная информация измеряет зависимость в следующем смысле: если и только если и являются независимыми случайными величинами. Это легко увидеть в одном направлении: если и независимы, то , и поэтому:
Более того, взаимная информация неотрицательна (т.е. см. ниже) и симметричный (т.е. Смотри ниже).
Отношение к другим величинам
Неотрицательность
С помощью Неравенство Дженсена по определению взаимной информации мы можем показать, что неотрицательно, т.е.[2]:28
Симметрия
Отношение к условной и совместной энтропии
Взаимная информация может быть эквивалентно выражена как:
куда и маргинальные энтропии, и являются условные энтропии, и это совместная энтропия из и .
Обратите внимание на аналогию с объединением, различием и пересечением двух множеств: в этом отношении все приведенные выше формулы очевидны из диаграммы Венна, приведенной в начале статьи.
С точки зрения канала связи, в котором выход это зашумленная версия входа , эти отношения представлены на рисунке:
Потому что неотрицательно, следовательно, . Здесь мы приводим подробный вывод для случая совместно дискретных случайных величин:
Доказательства остальных тождеств выше аналогичны. Доказательство общего случая (не только дискретного) аналогично, с интегралами вместо сумм.
Интуитивно, если энтропия рассматривается как мера неопределенности относительно случайной величины, то это мера того, что делает нет сказать о . Это «количество оставшейся неопределенности относительно после известна », и, таким образом, правая часть второго из этих равенств может быть прочитана как« величина неопределенности в , минус количество неопределенности в который остается после известно ", что эквивалентно" степени неопределенности в который удаляется знанием Это подтверждает интуитивное значение взаимной информации как количества информации (то есть уменьшения неопределенности), которую знание одной переменной предоставляет о другой.
Отметим, что в дискретном случае и поэтому . Таким образом , и можно сформулировать основной принцип, согласно которому переменная содержит, по крайней мере, столько же информации о себе, сколько может предоставить любая другая переменная.
Связь с расходимостью Кульбака – Лейблера
Для совместно дискретных или совместно непрерывных пар , взаимная информация - это Дивергенция Кульбака – Лейблера продукта маржинальные распределения, , от совместное распределение , то есть,
Кроме того, пусть - условная функция массы или плотности. Тогда у нас есть тождество
Доказательство для совместно дискретных случайных величин выглядит следующим образом:
Аналогичным образом это тождество может быть установлено для совместно непрерывных случайных величин.
Обратите внимание, что здесь дивергенция Кульбака – Лейблера включает интегрирование по значениям случайной величины только, а выражение по-прежнему обозначает случайную величину, потому что случайно. Таким образом, взаимную информацию можно также понимать как ожидание дивергенции Кульбака – Лейблера одномерное распределение из от условное распределение из данный : чем больше раздач разные и в среднем, чем больше получение информации.
Байесовская оценка взаимной информации
Если доступны выборки из совместного распределения, можно использовать байесовский подход для оценки взаимной информации этого распределения. Первой работой по этому вопросу, которая также показала, как выполнять байесовскую оценку многих других теоретико-информационных свойств, помимо взаимной информации, была [3]. Последующие исследователи перевели [4]и расширенный [5]этот анализ. Видеть [6]для недавней статьи, основанной на предшествующей статье, специально предназначенной для оценки взаимной информации как таковой. Кроме того, недавно появился метод оценки, учитывающий непрерывные и многомерные результаты, , был предложен в [7].
Допущения независимости
Формулировка взаимной информации о расхождении Кульбака-Лейблера основана на том, что каждый заинтересован в сравнении к полностью факторизованному внешний продукт . Во многих задачах, таких как неотрицательная матричная факторизация, нас интересуют менее экстремальные факторизации; конкретно, хочется сравнить к приближению матрицы низкого ранга по некоторой неизвестной переменной ; то есть в какой степени можно было
С другой стороны, может быть интересно узнать, сколько еще информации переносит его факторизацию. В таком случае избыточная информация, которую перенос матричной факторизации дается расходимостью Кульбака-Лейблера
Традиционное определение взаимной информации восстанавливается в том крайнем случае, когда процесс имеет только одно значение для .
Вариации
Было предложено несколько вариантов взаимной информации для удовлетворения различных потребностей. Среди них - нормализованные варианты и обобщения для более чем двух переменных.
Метрическая
Для многих приложений требуется метрика, то есть расстояние между парами точек. Количество
удовлетворяет свойствам метрики (неравенство треугольника, неотрицательность, неразличимость и симметрия). Эта метрика расстояния также известна как изменение информации.
Если являются дискретными случайными величинами, то все члены энтропии неотрицательны, поэтому и можно определить нормализованное расстояние
Метрика является универсальной метрикой в том смысле, что если любая другая мера расстояния помещает и рядом, то также будет судить о них близко.[8][сомнительный ]
Подстановка определений показывает, что
В теоретико-множественной интерпретации информации (см. Рисунок для Условная энтропия), это фактически Расстояние Жаккара между и .
Ну наконец то,
также является метрикой.
Условная взаимная информация
Иногда полезно выразить взаимную информацию двух случайных величин, обусловленную третьей.
Для совместно дискретные случайные величины это принимает форму
который можно упростить как
Для совместно непрерывные случайные величины это принимает форму
который можно упростить как
Использование третьей случайной величины может либо увеличить, либо уменьшить взаимную информацию, но всегда верно, что
для дискретных, совместно распределенных случайных величин . Этот результат был использован в качестве основного строительного блока для доказательства других неравенства в теории информации.
Многомерная взаимная информация
Было предложено несколько обобщений взаимной информации для более чем двух случайных величин, таких как полная корреляция (или мультиинформация) и информация о взаимодействии. Выражение и изучение многомерной взаимной информации более высокой степени было достигнуто в двух, казалось бы, независимых работах: McGill (1954) [9] который назвал эти функции «информацией о взаимодействии», и Ху Го Тин (1962) [10] который также первым доказал возможную отрицательность взаимной информации для степеней выше 2 и алгебраически обосновал интуитивное соответствие диаграммам Венна [11]
и для
где (как и выше) мы определяем
(Это определение многомерной взаимной информации идентично определению информация о взаимодействии за исключением изменения знака, когда количество случайных величин нечетное.)
Многомерная статистическая независимость
Многомерные функции взаимной информации обобщают случай попарной независимости, который утверждает, что если и только если , к произвольной многочисленной переменной. n переменных взаимно независимы тогда и только тогда, когда функции взаимной информации исчезают с (теорема 2 [11]). В этом смысле может использоваться как уточненный критерий статистической независимости.
Приложения
Для 3 переменных Brenner et al. применил многомерную взаимную информацию к нейронному кодированию и назвал ее отрицательность «синергизмом» [12] и Watkinson et al. применил это к генетическому выражению [13]. Для произвольных k переменных Tapia et al. применяет многомерную взаимную информацию к экспрессии генов [14][11]). Может быть нулевым, положительным или отрицательным [15]. Позитивность соответствует отношениям, обобщающим попарные корреляции, нулевое значение соответствует уточненному понятию независимости, а отрицательность обнаруживает многомерные «возникающие» отношения и кластеризованные точки данных. [14]).
Одна многомерная схема обобщения, которая максимизирует взаимную информацию между совместным распределением и другими целевыми переменными, оказывается полезной в выбор функции.[16]
Взаимная информация также используется в области обработки сигналов как мера сходства между двумя сигналами. Например, метрика FMI[17] - это показатель эффективности объединения изображений, который использует взаимную информацию для измерения количества информации, которую объединенное изображение содержит об исходных изображениях. В Matlab код для этой метрики можно найти по адресу.[18]. Доступен пакет python для вычисления всей многомерной взаимной информации, условной взаимной информации, совместных энтропий, полных корреляций, информационного расстояния в наборе данных из n переменных. [19].
Направленная информация
Направленная информация, , измеряет количество информации, которая поступает из процесса к , куда обозначает вектор и обозначает . Период, термин направленная информация был придуман Джеймс Мэсси и определяется как
- .
Обратите внимание, что если , направленная информация становится взаимной информацией. Направленная информация имеет множество применений в задачах, где причинность играет важную роль, например, емкость канала с обратной связью.[20][21]
Нормализованные варианты
Нормализованные варианты взаимной информации предоставляются коэффициенты ограничения,[22] коэффициент неопределенности[23] или уровень владения:[24]
Два коэффициента имеют значение в диапазоне [0, 1], но не обязательно равны. В некоторых случаях может потребоваться симметричная мера, например, следующая избыточность[нужна цитата] мера:
который достигает минимум нуля, когда переменные независимы, и максимальное значение
когда одна переменная становится полностью избыточной при знании другой. Смотрите также Избыточность (теория информации).
Еще одна симметричная мера - это симметричная неопределенность (Виттен и Франк 2005), заданный
который представляет собой гармоническое среднее двух коэффициентов неопределенности .[23]
Если рассматривать взаимную информацию как частный случай полная корреляция или же двойная полная корреляция, нормализованные версии соответственно,
- и
Эта нормализованная версия также известна как Коэффициент качества информации (IQR) который количественно оценивает объем информации переменной на основе другой переменной в сравнении с общей неопределенностью:[25]
Есть нормализация[26] что происходит из того, что мы сначала думали о взаимной информации как о аналоге ковариация (таким образом Энтропия Шеннона аналогично отклонение). Затем вычисляется нормализованная взаимная информация аналогично Коэффициент корреляции Пирсона,
Взвешенные варианты
В традиционной формулировке взаимной информации
каждый мероприятие или же объект указано взвешивается соответствующей вероятностью . Это предполагает, что все объекты или события эквивалентны Помимо вероятность их появления. Однако в некоторых приложениях может случиться так, что определенные объекты или события более существенный чем другие, или что определенные модели ассоциации семантически более важны, чем другие.
Например, детерминированное отображение можно рассматривать как более сильное, чем детерминированное отображение , хотя эти отношения дадут одинаковую взаимную информацию. Это связано с тем, что взаимная информация вообще не чувствительна к какому-либо внутреннему порядку в значениях переменных (Кронбах 1954, Кумбс, Доус и Тверски 1970, Локхед 1970), и поэтому совершенно не чувствителен к форма реляционного отображения между соответствующими переменными. Если желательно, чтобы первое отношение, показывающее согласие по всем значениям переменных, было оценено сильнее, чем более позднее отношение, то можно использовать следующее взвешенная взаимная информация (Guiasu 1977).
который помещает вес от вероятности совпадения значений каждой переменной, . Это позволяет, чтобы определенные вероятности могли иметь большее или меньшее значение, чем другие, тем самым позволяя количественную оценку соответствующих целостный или же Prägnanz факторы. В приведенном выше примере с использованием больших относительных весов для , , и будет иметь эффект оценки большего информативность для отношения чем для отношения , что может быть желательно в некоторых случаях распознавания образов и т.п. Эта взвешенная взаимная информация является формой взвешенной KL-дивергенции, которая, как известно, принимает отрицательные значения для некоторых входных данных,[27] и есть примеры, когда взвешенная взаимная информация также принимает отрицательные значения.[28]
Скорректированная взаимная информация
Распределение вероятностей можно рассматривать как раздел набора. Тогда можно спросить: если бы множество было разбито случайным образом, каким было бы распределение вероятностей? Какова ожидаемая ценность взаимной информации? В скорректированная взаимная информация или AMI вычитает ожидаемое значение MI, так что AMI равен нулю, когда два разных распределения являются случайными, и единице, когда два распределения идентичны. AMI определяется по аналогии с скорректированный индекс Rand двух разных разделов набора.
Абсолютная взаимная информация
Используя идеи Колмогоровская сложность, можно рассматривать взаимную информацию двух последовательностей независимо от какого-либо распределения вероятностей:
Чтобы установить, что эта величина симметрична с точностью до логарифмического множителя () требуется цепное правило колмогоровской сложности (Ли и Витани 1997). Аппроксимации этой величины через сжатие может использоваться для определения измерение расстояния выполнить иерархическая кластеризация последовательностей без каких-либо базовые знания последовательностей (Чилибрази и Витани 2005).
Линейная корреляция
В отличие от коэффициентов корреляции, таких как коэффициент корреляции момента продукта, взаимная информация содержит информацию обо всех зависимостях - линейных и нелинейных - а не только о линейных зависимостях, как измеряет коэффициент корреляции. Однако в узком случае совместное распределение для и это двумерное нормальное распределение (подразумевая, в частности, что оба предельных распределения нормально распределены), существует точная связь между и коэффициент корреляции (Гельфанд и Яглом 1957 г.).
Приведенное выше уравнение может быть получено следующим образом для двумерной гауссианы:
Следовательно,
Для дискретных данных
Когда и ограничены дискретным числом состояний, данные наблюдения суммируются в Таблица сопряженности, с переменной строки (или же ) и переменная столбца (или же ). Взаимное информирование - одна из мер ассоциация или же корреляция между переменными строки и столбца. Другие меры ассоциации включают: Критерий хи-квадрат Пирсона статистика, G-тест статистика и т. д. По сути, взаимная информация равна G-тест статистика деленная на , куда размер выборки.
Приложения
Во многих приложениях требуется максимизировать взаимную информацию (таким образом, увеличивая зависимости), что часто эквивалентно минимизации условная энтропия. Примеры включают:
- В технология поисковых систем, взаимная информация между фразами и контекстами используется как функция для k-означает кластеризацию обнаруживать семантические кластеры (концепты).[29] Например, взаимная информация биграммы может быть вычислена как:
- куда это количество раз, когда биграмма xy появляется в корпусе, - количество раз, когда униграмма x появляется в корпусе, B - общее количество биграмм, а U - общее количество униграмм.[29]
- В телекоммуникации, то пропускная способность канала равна взаимной информации, максимизированной по всем входным распределениям.
- Дискриминационное обучение процедуры для скрытые марковские модели были предложены на основе максимальная взаимная информация (MMI) критерий.
- Вторичная структура РНК предсказание от множественное выравнивание последовательностей.
- Филогенетическое профилирование предсказание от попарного присутствия и исчезновения функциональной связи гены.
- Взаимная информация использовалась как критерий для выбор функции и преобразования функций в машинное обучение. Его можно использовать для характеристики как релевантности, так и избыточности переменных, таких как выбор минимального резервирования.
- Взаимная информация используется при определении сходства двух разных кластеры набора данных. Таким образом, он дает некоторые преимущества по сравнению с традиционными Индекс Rand.
- Взаимная информация слов часто используется как функция значимости для вычисления словосочетания в корпусная лингвистика. Это имеет дополнительную сложность, заключающуюся в том, что ни один экземпляр слова не является экземпляром двух разных слов; скорее, учитываются случаи, когда 2 слова встречаются рядом или в непосредственной близости; это немного усложняет расчет, так как ожидаемая вероятность появления одного слова в слова другого, подходит к .
- Взаимная информация используется в медицинская визуализация за регистрация изображения. Имея эталонное изображение (например, сканирование мозга) и второе изображение, которое нужно поместить в тот же система координат в качестве эталонного изображения это изображение деформируется до тех пор, пока взаимная информация между ним и эталонным изображением не будет максимальной.
- Обнаружение фазовая синхронизация в Временные ряды анализ
- в инфомакс метод нейросетевого и другого машинного обучения, в том числе на основе инфомакса Независимый компонентный анализ алгоритм
- Средняя взаимная информация в теорема вложения с задержкой используется для определения задержка внедрения параметр.
- Взаимная информация между гены в экспрессионный микрочип данные используются алгоритмом ARACNE для реконструкции генные сети.
- В статистическая механика, Парадокс лошмидта могут быть выражены в терминах взаимной информации.[30][31] Лошмидт заметил, что невозможно определить физический закон, в котором отсутствует симметрия обращения времени (например, второй закон термодинамики) только из физических законов, обладающих этой симметрией. Он указал, что H-теорема из Больцман сделал предположение, что скорости частиц в газе постоянно некоррелированы, что устранило временную симметрию, присущую H-теореме. Можно показать, что если система описывается плотностью вероятности в фазовое пространство, тогда Теорема Лиувилля означает, что общая информация (отрицательная от совместной энтропии) распределения остается постоянной во времени. Совместная информация равна взаимной информации плюс сумма всей маргинальной информации (отрицательной из маргинальных энтропий) для каждой координаты частицы. Предположение Больцмана сводится к игнорированию взаимной информации при вычислении энтропии, которая дает термодинамическую энтропию (деленную на постоянную Больцмана).
- Взаимная информация используется для изучения структуры Байесовские сети/динамические байесовские сети, который, как считается, объясняет причинно-следственную связь между случайными величинами на примере инструментария GlobalMIT:[32] изучение глобально оптимальной динамической байесовской сети с критерием проверки взаимной информации.
- Популярная функция стоимости в обучение по дереву решений.
- Взаимная информация используется в космология проверить влияние крупномасштабных сред на свойства галактик в Галактический зоопарк.
- Взаимная информация использовалась в Солнечная физика вывести солнечный дифференциальное вращение профиль, карта отклонений времени прохождения для солнечных пятен и диаграмма время-расстояние по измерениям спокойного Солнца[33]
- Используется в инвариантной кластеризации информации для автоматического обучения классификаторов нейронных сетей и сегментаторов изображений без помеченных данных.[34]
Смотрите также
Примечания
- ^ Крер, Дж. Г. (1957). «Вопрос терминологии». Сделки IRE по теории информации. 3 (3): 208. Дои:10.1109 / TIT.1957.1057418.
- ^ а б c Обложка, Т.М .; Томас, Дж. (1991). Элементы теории информации (Wiley ed.). ISBN 978-0-471-24195-9.
- ^ Wolpert, D.H .; Вольф, Д. (1995). «Оценочные функции вероятностных распределений по конечному набору выборок». Физический обзор E. 52 (6): 6841–6854. Bibcode:1995PhRvE..52.6841W. CiteSeerX 10.1.1.55.7122. Дои:10.1103 / PhysRevE.52.6841. PMID 9964199.
- ^ Хаттер, М. (2001). «Распространение взаимной информации». Достижения в системах обработки нейронной информации 2001 г..
- ^ Арчер, Э .; Park, I.M .; Подушка, J. (2013). "Байесовские и квазибайесовские оценки для взаимной информации из дискретных данных". Энтропия. 15 (12): 1738–1755. Bibcode:2013Энтрп..15.1738А. CiteSeerX 10.1.1.294.4690. Дои:10.3390 / e15051738.
- ^ Wolpert, D.H; ДеДео, С. (2013). "Оценочные функции распределений, определенных в пространствах неизвестного размера". Энтропия. 15 (12): 4668–4699. arXiv:1311.4548. Bibcode:2013Entrp..15.4668W. Дои:10.3390 / e15114668. S2CID 2737117.
- ^ Томаш Джетка; Кароль Ниеналтовски; Томаш Винарский; Славомир Блонски; Михал Коморовский (2019), "Теоретико-информационный анализ многомерных сигнальных ответов отдельных клеток", PLOS вычислительная биология, 15 (7): e1007132, arXiv:1808.05581, Bibcode:2019PLSCB..15E7132J, Дои:10.1371 / journal.pcbi.1007132, ЧВК 6655862, PMID 31299056
- ^ Красков, Александр; Штегбауэр, Харальд; Andrzejak, Ralph G .; Грассбергер, Питер (2003). «Иерархическая кластеризация на основе взаимной информации». arXiv:q-bio / 0311039. Bibcode:2003q.bio .... 11039K. Цитировать журнал требует
| журнал =
(помощь) - ^ Макгилл, В. (1954). «Многомерная передача информации». Психометрика. 19 (1): 97–116. Дои:10.1007 / BF02289159. S2CID 126431489.
- ^ Ху, К. (1962). «Об объеме информации». Теория вероятн. Приложение. 7 (4): 439–447. Дои:10.1137/1107041.
- ^ а б c Baudot, P .; Tapia, M .; Bennequin, D .; Гоайярд, Дж. М. (2019). «Анализ топологической информации». Энтропия. 21 (9). 869. arXiv:1907.04242. Bibcode:2019Entrp..21..869B. Дои:10.3390 / e21090869. S2CID 195848308.
- ^ Brenner, N .; Strong, S .; Koberle, R .; Bialek, W. (2000). «Синергия в нейронном коде». Нейронные вычисления. 12 (7): 1531–1552. Дои:10.1162/089976600300015259. PMID 10935917. S2CID 600528.
- ^ Watkinson, J .; Liang, K .; Ван, X .; Zheng, T .; Анастасиу, Д. (2009). «Вывод регулирующих взаимодействий генов из данных экспрессии с использованием трехсторонней взаимной информации». Чалл. Syst. Биол. Анна. Акад. Наука. 1158 (1): 302–313. Bibcode:2009НЯСА1158..302Вт. Дои:10.1111 / j.1749-6632.2008.03757.x. PMID 19348651. S2CID 8846229.
- ^ а б Tapia, M .; Baudot, P .; Формизано-Трезины, Ц .; Dufour, M .; Гоайлард, Дж. М. (2018). «Идентичность нейротрансмиттера и электрофизиологический фенотип генетически связаны в дофаминергических нейронах среднего мозга». Sci. Представитель. 8 (1): 13637. Bibcode:2018НатСР ... 813637Т. Дои:10.1038 / s41598-018-31765-z. ЧВК 6134142. PMID 30206240.
- ^ Ху, К. (1962). «Об объеме информации». Теория вероятн. Приложение. 7 (4): 439–447. Дои:10.1137/1107041.
- ^ Кристофер Д. Мэннинг; Прабхакар Рагхаван; Хинрих Шютце (2008). Введение в поиск информации. Издательство Кембриджского университета. ISBN 978-0-521-86571-5.
- ^ Haghighat, M. B. A .; Агаголзаде, А .; Сейедараби, Х. (2011). «Неопорный показатель слияния изображений, основанный на взаимной информации о характеристиках изображения». Компьютеры и электротехника. 37 (5): 744–756. Дои:10.1016 / j.compeleceng.2011.07.012.
- ^ «Метрика Feature Mutual Information (FMI) для слияния нереференсных изображений - Обмен файлами - MATLAB Central». www.mathworks.com. Получено 4 апреля 2018.
- ^ "InfoTopo: Анализ топологической информации. Глубокое статистическое обучение без учителя и с учителем - Обмен файлами - Github". github.com/pierrebaudot/infotopopy/. Получено 26 сентября 2020.
- ^ Мэсси, Джеймс (1990). «Причинно-следственная связь, обратная связь и управляемая информация». Proc. 1990 г. Symp. на Инфо. Чт. and its Applications, Вайкики, Гавайи, 27-30 ноября 1990 г.. CiteSeerX 10.1.1.36.5688.
- ^ Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации. 55 (2): 644–662. arXiv:cs / 0608070. Дои:10.1109 / TIT.2008.2009849. S2CID 13178.
- ^ Кумбс, Доус и Тверски 1970.
- ^ а б Нажмите, WH; Теукольский С.А.; Феттерлинг, штат Вашингтон; Фланнери, ВР (2007). «Раздел 14.7.3. Условная энтропия и взаимная информация». Числовые рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8.
- ^ Белый, Джим; Штейнгольд, Сэм; Фурнель, Конни. Метрики производительности для алгоритмов группового обнаружения (PDF). Интерфейс 2004 г.
- ^ Виджая, Деди Рахман; Сарно, Риянарто; Зулайка, Энни (2017). «Коэффициент качества информации как новый показатель для выбора материнского вейвлета». Хемометрия и интеллектуальные лабораторные системы. 160: 59–71. Дои:10.1016 / j.chemolab.2016.11.012.
- ^ Штрел, Александр; Гош, Джойдип (2003). «Кластерные ансамбли - структура повторного использования знаний для объединения нескольких разделов» (PDF). Журнал исследований в области машинного обучения. 3: 583–617. Дои:10.1162/153244303321897735.
- ^ Кволсет, Т. О. (1991). «Относительная мера полезной информации: некоторые комментарии». Информационные науки. 56 (1): 35–38. Дои:10.1016 / 0020-0255 (91) 90022-м.
- ^ Покок, А. (2012). Выбор функции через совместное правдоподобие (PDF) (Тезис).
- ^ а б Анализ естественного языка с использованием статистики взаимной информации Дэвид М. Магерман и Митчелл П. Маркус
- ^ Хью Эверетт Теория универсальной волновой функции, Диссертация, Принстонский университет, (1956, 1973), стр. 1–140 (стр. 30).
- ^ Эверетт, Хью (1957). "Формулировка относительного состояния квантовой механики". Обзоры современной физики. 29 (3): 454–462. Bibcode:1957РвМП ... 29..454Э. Дои:10.1103 / revmodphys.29.454. Архивировано из оригинал на 2011-10-27. Получено 2012-07-16.
- ^ GlobalMIT в Код Google
- ^ Ключи, Дастин; Холиков, Шукур; Певцов, Алексей А. (февраль 2015). «Применение методов взаимной информации в дистанционной гелиосейсмологии времени». Солнечная физика. 290 (3): 659–671. arXiv:1501.05597. Bibcode:2015Соф..290..659K. Дои:10.1007 / s11207-015-0650-у. S2CID 118472242.
- ^ Инвариантная кластеризация информации для неконтролируемой классификации и сегментации изображений Сюй Цзи, Жоао Энрикес и Андреа Ведальди
Рекомендации
- Baudot, P .; Tapia, M .; Bennequin, D .; Гоайярд, Дж. М. (2019). «Анализ топологической информации». Энтропия. 21 (9). 869. arXiv:1907.04242. Bibcode:2019Entrp..21..869B. Дои:10.3390 / e21090869. S2CID 195848308.
- Cilibrasi, R .; Витани, Пол (2005). «Кластеризация сжатием» (PDF). IEEE Transactions по теории информации. 51 (4): 1523–1545. arXiv:cs / 0312044. Дои:10.1109 / TIT.2005.844059. S2CID 911.
- Кронбах, Л. Дж. (1954). «О нерациональном применении информационных мер в психологии». В Квастлер, Генри (ред.). Теория информации в психологии: проблемы и методы. Гленко, Иллинойс: Свободная пресса. С. 14–30.
- Coombs, C.H .; Dawes, R.M .; Тверски, А. (1970). Математическая психология: элементарное введение. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.
- Церковь, Кеннет Уорд; Хэнкс, Патрик (1989). «Нормы словесных ассоциаций, взаимная информация и лексикография». Материалы 27-го Ежегодного собрания Ассоциации компьютерной лингвистики: 76–83. Дои:10.3115/981623.981633.
- Гельфанд И.М .; Яглом, А. (1957). «Вычисление количества информации о случайной функции, содержащейся в другой такой функции». Переводы Американского математического общества: Серия 2. 12: 199–246. Дои:10.1090 / транс2 / 012/09. ISBN 9780821817124. Английский перевод оригинала в Успехи математических наук. 12 (1): 3-52.
- Гиасу, Сильвиу (1977). Теория информации с приложениями. Макгроу-Хилл, Нью-Йорк. ISBN 978-0-07-025109-0.
- Ли, Мин; Витани, Пол (февраль 1997 г.). Введение в колмогоровскую сложность и ее приложения. Нью-Йорк: Springer-Verlag. ISBN 978-0-387-94868-3.
- Локхед, Г. Р. (1970). «Идентификация и форма многомерного дискриминирующего пространства». Журнал экспериментальной психологии. 85 (1): 1–10. Дои:10,1037 / ч0029508. PMID 5458322.
- Дэвид Дж. С. Маккей. Теория информации, логический вывод и алгоритмы обучения Кембридж: Издательство Кембриджского университета, 2003. ISBN 0-521-64298-1 (доступно бесплатно онлайн)
- Haghighat, M. B. A .; Агаголзаде, А .; Сейедараби, Х. (2011). «Неопорный показатель слияния изображений, основанный на взаимной информации о характеристиках изображения». Компьютеры и электротехника. 37 (5): 744–756. Дои:10.1016 / j.compeleceng.2011.07.012.
- Афанасиос Папулис. Вероятность, случайные величины и случайные процессы, второе издание. Нью-Йорк: Макгроу-Хилл, 1984. (См. Главу 15.)
- Виттен, Ян Х. и Франк, Эйбе (2005). Интеллектуальный анализ данных: практические инструменты и методы машинного обучения. Морган Кауфманн, Амстердам. ISBN 978-0-12-374856-0.
- Peng, H.C .; Лонг, Ф. и Динг, К. (2005). «Выбор функций на основе взаимной информации: критерии максимальной зависимости, максимальной релевантности и минимальной избыточности». IEEE Transactions по анализу шаблонов и машинному анализу. 27 (8): 1226–1238. CiteSeerX 10.1.1.63.5765. Дои:10.1109 / тпами.2005.159. PMID 16119262. S2CID 206764015.
- Андре С. Рибейро; Стюарт А. Кауфман; Джейсон Ллойд-Прайс; Бьорн Самуэльссон и Джошуа Соолар (2008). «Взаимная информация в случайных булевых моделях регуляторных сетей». Физический обзор E. 77 (1): 011901. arXiv:0707.3642. Bibcode:2008PhRvE..77a1901R. Дои:10.1103 / Physreve.77.011901. PMID 18351870. S2CID 15232112.
- Уэллс, W.M. III; Альт, P .; Atsumi, H .; Nakajima, S .; Кикинис, Р. (1996). «Мультимодальная регистрация объема за счет максимизации взаимной информации» (PDF). Анализ медицинских изображений. 1 (1): 35–51. Дои:10.1016 / S1361-8415 (01) 80004-9. PMID 9873920. Архивировано из оригинал (PDF) на 2008-09-06. Получено 2010-08-05.
- Панди, Бисваджит; Саркар, Суман (2017). «Насколько галактика знает о своем крупномасштабном окружении ?: Теоретическая перспектива». Ежемесячные уведомления о письмах Королевского астрономического общества. 467 (1): L6. arXiv:1611.00283. Bibcode:2017МНРАС.467Л ... 6П. Дои:10.1093 / mnrasl / slw250. S2CID 119095496.