WikiDer > Двоичная функция энтропии

Binary entropy function
Энтропия Бернулли суд как функция вероятности двоичного исхода, называемая бинарная функция энтропии.

В теория информации, то бинарная функция энтропии, обозначенный или же , определяется как энтропия из Процесс Бернулли с вероятность одного из двух значений. Это частный случай , то функция энтропии. Математически процесс Бернулли моделируется как случайная переменная который может принимать только два значения: 0 и 1, которые являются взаимоисключающими и исчерпывающими.

Если , тогда и энтропия Shannons) дан кем-то

,

куда принимается равным 0. Логарифмы в этой формуле обычно принимаются (как показано на графике) по основанию 2. См. двоичный логарифм.

Когда , функция бинарной энтропии достигает своего максимального значения. Это случай беспристрастный подбрасывание монеты.

отличается от функция энтропии в том, что первый принимает единственное действительное число как параметр в то время как последняя принимает в качестве параметра распределение или случайную величину. Иногда двоичная функция энтропии также записывается как Однако он отличается от Энтропия Реньи, который обозначается как .

Объяснение

С точки зрения теории информации, энтропия считается мерой неопределенности сообщения. Выражаясь интуитивно, предположим . При такой вероятности событие наверняка никогда не произойдет, и поэтому нет никакой неопределенности, что приведет к энтропии, равной 0. Если , результат снова определен, поэтому энтропия здесь также равна 0. Когда , погрешность максимальна; если бы в этом случае можно было сделать справедливую ставку на результат, не было бы никакого преимущества, если бы заранее знали о вероятностях. В этом случае энтропия максимальна при значении 1 бит. Промежуточные значения попадают между этими случаями; например, если , по-прежнему существует мера неопределенности в отношении результата, но все же чаще всего можно правильно предсказать результат, поэтому мера неопределенности или энтропия составляет менее 1 полного бита.

Производная

В производная из бинарная функция энтропии может быть выражено как отрицание логит функция:

.

Серия Тейлор

В Серия Тейлор функции бинарной энтропии в окрестности 1/2 равна

за .

Смотрите также

Рекомендации

  • Маккей, Дэвид Дж. С.. Теория информации, логический вывод и алгоритмы обучения Кембридж: Издательство Кембриджского университета, 2003. ISBN 0-521-64298-1