WikiDer > Конъюгировать приор

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В Байесовская вероятность теория, если апостериорные распределения п(θ | Икс) находятся в одном семейство распределения вероятностей как априорное распределение вероятностей п(θ), тогда априорное и апостериорное называется сопряженные распределения, а приора называется сопряженный предшествующий для функция правдоподобия п(х | θ). Например, Гауссовский семья сопряжена сама с собой (или самосопряженный) по отношению к гауссовой функции правдоподобия: если функция правдоподобия является гауссовой, выбор гауссовского априорного значения по сравнению со средним будет гарантировать, что апостериорное распределение также будет гауссовым. Это означает, что гауссово распределение является сопряженным априорным значением вероятности, которое также является гауссовым. Понятие, а также термин «сопряженный априор» были введены Говард Райффа и Роберт Шлайфер в своей работе над Байесовская теория принятия решений.^[1] Аналогичная концепция была открыта независимо Джордж Альфред Барнард.^[2]

Рассмотрим общую проблему вывода (непрерывного) распределения для параметра θ с учетом некоторых данных или данных Икс. Из Теорема Байеса, апостериорное распределение равно произведению функции правдоподобия ${ Displaystyle тета mapsto п (х середина тета) !}$ и ранее ${ Displaystyle р ( тета) !}$, нормализованное (разделенное) на вероятность данных ${ Displaystyle р (х) !}$:

${ Displaystyle { begin {выровнен} п ( тета середина х) & = { гидроразрыва {р (х середина тета) , р ( тета)} {р (х)}} & = { frac {p (x mid theta) , p ( theta)} { int _ { theta '} p (x, theta') , d theta '}} & = { гидроразрыва {p (x mid theta) , p ( theta)} { int _ { theta '} p (x mid theta') , p ( theta ') , d theta '}} конец {выровнено}}}$

Пусть функция правдоподобия считается фиксированной; функция правдоподобия обычно хорошо определяется из описания процесса генерации данных^{[пример необходим]}. Понятно, что разные варианты априорного распределения п(θ) может сделать интеграл более или менее трудным для вычисления, и произведение п(Икс|θ) × п(θ) может принимать ту или иную алгебраическую форму. Для некоторых вариантов априорного выбора апостериорная имеет ту же алгебраическую форму, что и апостериорная (обычно с разными значениями параметров). Такой выбор - сопряженный предшествующий.

Сопряженный априор - это алгебраическое удобство, дающее выражение в закрытой формедля заднего; иначе численное интегрирование может быть необходимо. Кроме того, сопряженные априорные значения могут дать интуицию, более прозрачно показывая, как функция правдоподобия обновляет предыдущее распределение.

Все члены экспоненциальная семья имеют сопряженные приоры.^[3]

Пример

Форму предшествующего конъюгата обычно можно определить путем осмотра плотность вероятности или же функция массы вероятности распределения. Например, рассмотрим случайная переменная который состоит из количества успехов ${ displaystyle s}$ в ${ displaystyle n}$ Бернулли испытания с неизвестной вероятностью успеха ${ displaystyle q}$ в [0,1]. Эта случайная величина будет следовать биномиальное распределение, с функцией масс вероятности вида

${ displaystyle p (s) = {n choose s} q ^ {s} (1-q) ^ {n-s}}$

Обычный сопряженный априор - это бета-распространение с параметрами (${ displaystyle alpha}$, ${ displaystyle beta}$):

${ Displaystyle п (д) = {д ^ { альфа -1} (1-д) ^ { бета -1} над mathrm {B} ( альфа, бета)}}$

куда ${ displaystyle alpha}$ и ${ displaystyle beta}$ выбраны для отражения существующих убеждений или информации (${ displaystyle alpha}$ = 1 и ${ displaystyle beta}$ = 1 даст равномерное распределение) и Β(${ displaystyle alpha}$, ${ displaystyle beta}$) это Бета-функция действуя как нормализующая константа.

В контексте, ${ displaystyle alpha}$ и ${ displaystyle beta}$ называются гиперпараметры (параметры предшествующей модели), чтобы отличить их от параметров базовой модели (здесь q). Типичной характеристикой сопряженных априорных значений является то, что размерность гиперпараметров на единицу больше, чем размерность параметров исходного распределения. Если все параметры являются скалярными значениями, это означает, что гиперпараметров будет на один больше, чем параметра; но это также относится к параметрам с векторными и матричными значениями. (См. Общую статью о экспоненциальная семья, а также рассмотрим Распределение Уишарта, сопряженный предшествующий ковариационная матрица из многомерное нормальное распределение, например, когда речь идет о большой размерности.)

Если мы затем выберем эту случайную величину и получим s успехов и ж неудачи, у нас есть

${ displaystyle { begin {align} P (s, f mid q = x) & = {s + f choose s} x ^ {s} (1-x) ^ {f}, P (q = x) & = {x ^ { alpha -1} (1-x) ^ { beta -1} over mathrm {B} ( alpha, beta)}, P (q = x mid s, f) & = { frac {P (s, f mid x) P (x)} { int P (s, f mid y) P (y) dy}} & = {{ {s + f choose s} x ^ {s + alpha -1} (1-x) ^ {f + beta -1} / mathrm {B} ( alpha, beta)} over int _ { y = 0} ^ {1} left ({s + f choose s} y ^ {s + alpha -1} (1-y) ^ {f + beta -1} / mathrm {B} ( alpha , beta) right) dy} & = {x ^ {s + alpha -1} (1-x) ^ {f + beta -1} over mathrm {B} (s + alpha, f + бета)}, end {выровнен}}}$

что является еще одним бета-распределением с параметрами (${ displaystyle alpha}$ + s, ${ displaystyle beta}$ + ж). Затем это апостериорное распределение можно было бы использовать в качестве априорного для большего количества выборок, при этом гиперпараметры просто добавляли каждую дополнительную информацию по мере ее поступления.

Псевдо-наблюдения

Часто бывает полезно думать о гиперпараметрах сопряженного априорного распределения как о соответствующих наблюдениях определенного числа псевдонаблюдения со свойствами, заданными параметрами. Например, значения ${ displaystyle alpha}$ и ${ displaystyle beta}$ из бета-распространение можно рассматривать как соответствующий ${ displaystyle alpha -1}$ успехов и ${ displaystyle beta -1}$ отказы, если для выбора оптимальной настройки параметра используется апостериорный режим, или ${ displaystyle alpha}$ успехов и ${ displaystyle beta}$ отказы, если для выбора оптимальной настройки параметра используется апостериорное среднее. В общем, почти для всех сопряженных априорных распределений гиперпараметры можно интерпретировать в терминах псевдонаблюдений. Это может помочь как в обеспечении интуиции за часто запутанными уравнениями обновления, так и в выборе разумных гиперпараметров для априорных.

Интерпретации

Аналогия с собственными функциями^{[нужна цитата]}

Конъюгированные приоры аналогичны собственные функции в теория операторов, в том смысле, что они представляют собой распределения, в которых «обусловливающий оператор» действует вполне понятным образом, рассматривая процесс перехода от предшествующего к последующему как оператор.

Как в собственных функциях, так и в сопряженных априорных функциях существует конечномерный пространство, которое сохраняется оператором: результат имеет ту же форму (в том же пространстве), что и вход. Это значительно упрощает анализ, поскольку в противном случае рассматривается бесконечномерное пространство (пространство всех функций, пространство всех распределений).

Однако процессы только аналогичны, а не идентичны: обусловливание не является линейным, поскольку пространство распределений не замкнуто под линейная комбинация, Только выпуклое сочетание, а задний только такой же форма как и предыдущее, не скалярное кратное.

Так же, как можно легко проанализировать, как линейная комбинация собственных функций развивается под действием оператора (потому что по отношению к этим функциям оператор имеет вид диагонализованный), можно легко проанализировать, как выпуклая комбинация сопряженных априорных элементов эволюционирует при обусловливании; это вызывается с использованием гиперприор, и соответствует использованию плотность смеси конъюгированных приоров, а не единственного конъюгированного приора.

Динамическая система

Можно думать об обусловливании сопряженных априорных значений как об определении вида (дискретного времени) динамическая система: входящие данные из заданного набора гиперпараметров обновляют эти гиперпараметры, поэтому изменение гиперпараметров можно рассматривать как своего рода «эволюцию во времени» системы, соответствующую «обучению». Начало в разных точках дает разные потоки с течением времени. Это снова аналогично динамической системе, определяемой линейным оператором, но обратите внимание, что, поскольку разные выборки приводят к разным выводам, это зависит не просто от времени, а скорее от данных с течением времени. Для связанных подходов см. Рекурсивная байесовская оценка и Ассимиляция данных.

Практический пример

Допустим, в вашем городе работает прокат автомобилей. Водители могут выгружать и забирать автомобили в любом месте в черте города. Найти и арендовать автомобили можно с помощью приложения.

Предположим, вы хотите найти вероятность того, что вы сможете найти арендованный автомобиль на небольшом расстоянии от вашего домашнего адреса в любое время суток.

В течение трех дней вы просматриваете приложение в случайное время дня и обнаруживаете следующее количество автомобилей недалеко от вашего домашнего адреса: ${ Displaystyle mathbf {x} = [3,4,1]}$

Если предположить, что данные поступают из распределение Пуассона, мы можем вычислить максимальная вероятность оценка параметров модели, которая ${ textstyle lambda = { frac {3 + 4 + 1} {3}} около 2,67.}$ Используя эту оценку максимального правдоподобия, мы можем вычислить вероятность того, что будет доступен хотя бы один автомобиль: ${ textstyle p (x> 0) = 1-p (x = 0) = 1 - { frac {2.67 ^ {0} e ^ {- 2.67}} {0!}} приблизительно 0,93}$

Это распределение Пуассона, которое в скорее всего, сгенерировал наблюдаемые данные ${ displaystyle mathbf {x}}$. Но данные также могли быть получены из другого распределения Пуассона, например один с ${ displaystyle lambda = 3}$, или же ${ displaystyle lambda = 2}$и т. д. На самом деле существует бесконечное число распределений Пуассона, которые мог сгенерировали наблюдаемые данные, и с относительно небольшим количеством точек данных мы должны быть совершенно не уверены в том, какое точное распределение Пуассона сгенерировало эти данные. Интуитивно мы должны вместо этого взять средневзвешенное значение вероятности ${ displaystyle p (x> 0)}$ для каждого из этих распределений Пуассона, взвешенных по их вероятности, с учетом наблюдаемых нами данных ${ displaystyle mathbf {x}}$.

Обычно эта величина известна как апостериорное прогнозирующее распределение ${ Displaystyle п (Икс | mathbf {x}) = int _ { theta} p (x | theta) p ( theta | mathbf {x}) d theta ,,}$ куда ${ displaystyle x}$ это новая точка данных, ${ displaystyle mathbf {x}}$ наблюдаемые данные и ${ displaystyle theta}$ параметры модели. С помощью Теорема Байеса мы можем расширить ${ Displaystyle p ( theta | mathbf {x}) = { frac {p ( mathbf {x} | theta) p ( theta)} {p ( mathbf {x})}} ,, }$ такой, что ${ Displaystyle п (х | mathbf {x}) = int _ { theta} p (x | theta) { frac {p ( mathbf {x} | theta) p ( theta)} { p ( mathbf {x})}} d theta ,.}$ Обычно этот интеграл сложно вычислить. Однако, если вы выберете сопряженное предварительное распределение ${ Displaystyle р ( тета)}$, можно получить выражение в закрытой форме. Это столбец апостериорного прогноза в таблицах ниже.

Возвращаясь к нашему примеру, если мы выберем Гамма-распределение как наше предварительное распределение по скорости распределений Пуассона, то апостериорным прогнозом является отрицательное биномиальное распределение как видно из последнего столбца в таблице ниже. Гамма-распределение параметризуется двумя гиперпараметрами. ${ displaystyle alpha, beta}$ которые мы должны выбрать. Глядя на графики гамма-распределения, выбираем ${ Displaystyle альфа = бета = 2}$, что кажется разумным приоритетом для среднего количества автомобилей. Выбор предварительных гиперпараметров по своей сути субъективен и основан на предварительных знаниях.

Учитывая предшествующие гиперпараметры ${ displaystyle alpha}$ и ${ displaystyle beta}$ мы можем вычислить апостериорные гиперпараметры ${ textstyle alpha '= alpha + sum _ {i} x_ {i} = 2 + 3 + 4 + 1 = 10}$ и ${ textstyle beta '= beta + n = 2 + 3 = 5}$

Учитывая апостериорные гиперпараметры, мы можем, наконец, вычислить апостериорное предсказание ${ textstyle p (x> 0 | mathbf {x}) = 1-p (x = 0 | mathbf {x}) = 1-NB left (0 , | , 10, { frac {1) } {1 + 5}} right) приблизительно 0,84}$

Эта гораздо более консервативная оценка отражает неопределенность параметров модели, которую принимает во внимание апостериорный прогноз.

Таблица сопряженных распределений

Позволять п обозначают количество наблюдений. Во всех приведенных ниже случаях предполагается, что данные состоят из п точки ${ displaystyle x_ {1}, ldots, x_ {n}}$ (которые будут случайные векторы в многомерных случаях).

Если функция правдоподобия принадлежит экспоненциальная семьятогда существует сопряженный априор, часто также в экспоненциальном семействе; видеть Экспоненциальное семейство: сопряженные распределения.

Когда функция правдоподобия представляет собой дискретное распределение

Эта секция нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален (Август 2020 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры[примечание 1]	Интерпретация гиперпараметров	Задний прогностический[заметка 2]
Бернулли	п (вероятность)	Бета	${ Displaystyle альфа, , бета !}$	${ displaystyle alpha + sum _ {i = 1} ^ {n} x_ {i}, , beta + n- sum _ {i = 1} ^ {n} x_ {i} !}$	${ displaystyle alpha}$ успехи, ${ displaystyle beta}$ неудачи[заметка 3]	${ Displaystyle р ({ тильда {х}} = 1) = { гидроразрыва { альфа '} { альфа' + бета '}}}$
Биномиальный	п (вероятность)	Бета	${ Displaystyle альфа, , бета !}$	${ Displaystyle альфа + сумма _ {я = 1} ^ {п} x_ {я}, , бета + сумма _ {я = 1} ^ {п} N_ {я} - сумма _ {я = 1} ^ {n} x_ {i} !}$	${ displaystyle alpha}$ успехи, ${ displaystyle beta}$ неудачи[заметка 3]	${ displaystyle operatorname {BetaBin} ({ тильда {x}} | alpha ', beta')}$ (бета-бином)
Отрицательный бином с известным номером отказа, р	п (вероятность)	Бета	${ Displaystyle альфа, , бета !}$	${ Displaystyle альфа + сумма _ {я = 1} ^ {п} х_ {я}, , бета + гп !}$	${ displaystyle alpha}$ общие успехи, ${ displaystyle beta}$ неудачи[заметка 3] (т.е. ${ displaystyle { frac { beta} {r}}}$ эксперименты, предполагающие ${ displaystyle r}$ остается фиксированным)	${ displaystyle operatorname {BetaNegBin} ({ тильда {x}} | alpha ', beta')}$ (бета-отрицательный бином)
Пуассон	λ (ставка)	Гамма	${ Displaystyle к, , тета !}$	${ displaystyle k + sum _ {i = 1} ^ {n} x_ {i}, { frac { theta} {n theta +1}} !}$	${ displaystyle k}$ всего вхождений в ${ displaystyle { frac {1} { theta}}}$ интервалы	${ displaystyle operatorname {NB} left ({ tilde {x}} mid k ', { frac { theta'} { theta '+1}} right)}$ (отрицательный бином)
			${ Displaystyle альфа, , бета !}$ [примечание 4]	${ Displaystyle альфа + сумма _ {я = 1} ^ {п} х_ {я}, бета + п !}$	${ displaystyle alpha}$ всего вхождений в ${ displaystyle beta}$ интервалы	${ displaystyle operatorname {NB} left ({ tilde {x}} mid alpha ', { frac {1} {1+ beta'}} right)}$ (отрицательный бином)
Категоричный	п (вектор вероятности), k (количество категорий; т.е. размер п)	Дирихле	${ displaystyle { boldsymbol { alpha}} !}$	${ displaystyle { boldsymbol { alpha}} + (c_ {1}, ldots, c_ {k}),}$ куда ${ displaystyle c_ {i}}$ это количество наблюдений в категории я	${ displaystyle alpha _ {я}}$ вхождения категории ${ displaystyle i}$[заметка 3]	${ displaystyle { begin {align} p ({ tilde {x}} = i) & = { frac {{ alpha _ {i}} '} { sum _ {i} { alpha _ {i) }} '}} & = { frac { alpha _ {i} + c_ {i}} { sum _ {i} alpha _ {i} + n}} end {выровнено}}}$
Полиномиальный	п (вектор вероятности), k (количество категорий; т.е. размер п)	Дирихле	${ displaystyle { boldsymbol { alpha}} !}$	${ displaystyle { boldsymbol { alpha}} + sum _ {i = 1} ^ {n} mathbf {x} _ {i} !}$	${ displaystyle alpha _ {я}}$ вхождения категории ${ displaystyle i}$[заметка 3]	${ displaystyle operatorname {DirMult} ({ tilde { mathbf {x}}} mid { boldsymbol { alpha}} ')}$ (Дирихле-полиномиальный)
Гипергеометрический с известной общей численностью населения, N	M (количество целевых участников)	Бета-биномиальный[4]	${ Displaystyle п = N, альфа, , бета !}$	${ Displaystyle альфа + сумма _ {я = 1} ^ {п} x_ {я}, , бета + сумма _ {я = 1} ^ {п} N_ {я} - сумма _ {я = 1} ^ {n} x_ {i} !}$	${ displaystyle alpha}$ успехи, ${ displaystyle beta}$ неудачи[заметка 3]
Геометрический	п0 (вероятность)	Бета	${ Displaystyle альфа, , бета !}$	${ Displaystyle альфа + п, , бета + сумма _ {я = 1} ^ {п} х_ {я} !}$	${ displaystyle alpha}$ эксперименты, ${ displaystyle beta}$ полные отказы[заметка 3]

Когда функция правдоподобия представляет собой непрерывное распределение

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры[примечание 1]	Интерпретация гиперпараметров	Задний прогностический[примечание 5]
Нормальный с известной дисперсией σ2	μ (иметь в виду)	Нормальный	${ displaystyle mu _ {0}, , sigma _ {0} ^ {2} !}$	${ displaystyle { frac {1} {{ frac {1} { sigma _ {0} ^ {2}}} + { frac {n} { sigma ^ {2}}}}} left ( { frac { mu _ {0}} { sigma _ {0} ^ {2}}} + { frac { sum _ {i = 1} ^ {n} x_ {i}} { sigma ^ {2}}} right), left ({ frac {1} { sigma _ {0} ^ {2}}} + { frac {n} { sigma ^ {2}}} right) ^ {- 1}}$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${ displaystyle 1 / sigma _ {0} ^ {2}}$ и с выборочным средним ${ displaystyle mu _ {0}}$	${ displaystyle { mathcal {N}} ({ tilde {x}} | mu _ {0} ', { sigma _ {0} ^ {2}}' + sigma ^ {2})}$[5]
Нормальный с известной точностью τ	μ (иметь в виду)	Нормальный	${ Displaystyle му _ {0}, , тау _ {0} !}$	${ displaystyle { frac { tau _ {0} mu _ {0} + tau sum _ {i = 1} ^ {n} x_ {i}} { tau _ {0} + n tau }}, , tau _ {0} + n tau}$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${ displaystyle tau _ {0}}$ и с выборочным средним ${ displaystyle mu _ {0}}$	${ displaystyle { mathcal {N}} left ({ tilde {x}} mid mu _ {0} ', { frac {1} { tau _ {0}'}} + { frac {1} { tau}} right)}$[5]
Нормальный с известным средним μ	σ2 (дисперсия)	Обратная гамма	${ Displaystyle mathbf { alpha, , beta}}$ [примечание 6]	${ displaystyle mathbf { alpha} + { frac {n} {2}}, , mathbf { beta} + { frac { sum _ {i = 1} ^ {n} {(x_ { i} - mu) ^ {2}}} {2}}}$	дисперсия оценивалась из ${ displaystyle 2 alpha}$ наблюдения с выборочной дисперсией ${ Displaystyle бета / альфа}$ (т.е. с суммой квадратичные отклонения ${ displaystyle 2 beta}$, где отклонения от известного среднего ${ displaystyle mu}$)	${ displaystyle t_ {2 alpha '} ({ tilde {x}} | mu, sigma ^ {2} = beta' / alpha ')}$[5]
Нормальный с известным средним μ	σ2 (дисперсия)	Масштабированный обратный хи-квадрат	${ displaystyle nu, , sigma _ {0} ^ {2} !}$	${ displaystyle nu + n, , { frac { nu sigma _ {0} ^ {2} + sum _ {i = 1} ^ {n} (x_ {i} - mu) ^ { 2}} { nu + n}} !}$	дисперсия оценивалась из ${ displaystyle nu}$ наблюдения с выборочной дисперсией ${ displaystyle sigma _ {0} ^ {2}}$	${ displaystyle t _ { nu '} ({ tilde {x}} | mu, { sigma _ {0} ^ {2}}')}$[5]
Нормальный с известным средним μ	τ (точность)	Гамма	${ Displaystyle альфа, , бета !}$[примечание 4]	${ displaystyle alpha + { frac {n} {2}}, , beta + { frac { sum _ {i = 1} ^ {n} (x_ {i} - mu) ^ {2 }} {2}} !}$	точность оценивалась из ${ displaystyle 2 alpha}$ наблюдения с выборочной дисперсией ${ Displaystyle бета / альфа}$ (т.е. с суммой квадратичные отклонения ${ displaystyle 2 beta}$, где отклонения от известного среднего ${ displaystyle mu}$)	${ displaystyle t_ {2 alpha '} ({ tilde {x}} mid mu, sigma ^ {2} = beta' / alpha ')}$[5]
Нормальный[примечание 7]	μ и σ2 Предполагая возможность обмена	Нормально-обратная гамма	${ Displaystyle му _ {0}, , ню, , альфа, , бета}$	${ displaystyle { frac { nu mu _ {0} + n { bar {x}}} { nu + n}}, , nu + n, , alpha + { frac {n } {2}}, ,}$ ${ displaystyle beta + { tfrac {1} {2}} sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) ^ {2} + { frac {n nu} { nu + n}} { frac {({ bar {x}} - mu _ {0}) ^ {2}} {2}}}$ ${ displaystyle { bar {x}}}$ выборочное среднее	среднее было оценено из ${ displaystyle nu}$ наблюдения с выборочным средним ${ displaystyle mu _ {0}}$; дисперсия оценивалась из ${ displaystyle 2 alpha}$ наблюдения с выборочным средним ${ displaystyle mu _ {0}}$ и сумма квадратичные отклонения ${ displaystyle 2 beta}$	${ displaystyle t_ {2 alpha '} left ({ tilde {x}} mid mu', { frac { beta '( nu' +1)} { nu ' alpha'}} верно)}$[5]
Нормальный	μ и τ Предполагая возможность обмена	Нормальная гамма	${ Displaystyle му _ {0}, , ню, , альфа, , бета}$	${ displaystyle { frac { nu mu _ {0} + n { bar {x}}} { nu + n}}, , nu + n, , alpha + { frac {n } {2}}, ,}$ ${ displaystyle beta + { tfrac {1} {2}} sum _ {i = 1} ^ {n} (x_ {i} - { bar {x}}) ^ {2} + { frac {n nu} { nu + n}} { frac {({ bar {x}} - mu _ {0}) ^ {2}} {2}}}$ ${ displaystyle { bar {x}}}$ выборочное среднее	среднее было оценено из ${ displaystyle nu}$ наблюдения с выборочным средним ${ displaystyle mu _ {0}}$, а точность оценивалась по ${ displaystyle 2 alpha}$ наблюдения с выборочным средним ${ displaystyle mu _ {0}}$ и сумма квадратичные отклонения ${ displaystyle 2 beta}$	${ displaystyle t_ {2 alpha '} left ({ tilde {x}} mid mu', { frac { beta '( nu' +1)} { alpha ' nu'}} верно)}$[5]
Многомерный нормальный с известной ковариационной матрицей Σ	μ (средний вектор)	Многомерный нормальный	${ displaystyle { boldsymbol { boldsymbol { mu}}} _ {0}, , { boldsymbol { Sigma}} _ {0}}$	${ displaystyle left ({ boldsymbol { Sigma}} _ {0} ^ {- 1} + n { boldsymbol { Sigma}} ^ {- 1} right) ^ {- 1} left ({ boldsymbol { Sigma}} _ {0} ^ {- 1} { boldsymbol { mu}} _ {0} + n { boldsymbol { Sigma}} ^ {- 1} mathbf { bar {x }} верно),}$ ${ displaystyle left ({ boldsymbol { Sigma}} _ {0} ^ {- 1} + n { boldsymbol { Sigma}} ^ {- 1} right) ^ {- 1}}$ ${ displaystyle mathbf { bar {x}}}$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${ displaystyle { boldsymbol { Sigma}} _ {0} ^ {- 1}}$ и с выборочным средним ${ displaystyle { boldsymbol { mu}} _ {0}}$	${ displaystyle { mathcal {N}} ({ tilde { mathbf {x}}} mid {{ boldsymbol { mu}} _ {0}} ', {{ boldsymbol { Sigma}} _ {0}} '+ { boldsymbol { Sigma}})}$[5]
Многомерный нормальный с известной матрицей точности Λ	μ (средний вектор)	Многомерный нормальный	${ displaystyle mathbf { boldsymbol { mu}} _ {0}, , { boldsymbol { Lambda}} _ {0}}$	${ displaystyle left ({ boldsymbol { Lambda}} _ {0} + n { boldsymbol { Lambda}} right) ^ {- 1} left ({ boldsymbol { Lambda}} _ {0 } { boldsymbol { mu}} _ {0} + n { boldsymbol { Lambda}} mathbf { bar {x}} right), , left ({ boldsymbol { Lambda}} _ {0} + n { boldsymbol { Lambda}} right)}$ ${ displaystyle mathbf { bar {x}}}$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности)${ displaystyle { boldsymbol { Lambda}} _ {0}}$ и с выборочным средним ${ displaystyle { boldsymbol { mu}} _ {0}}$	${ displaystyle { mathcal {N}} left ({ tilde { mathbf {x}}} mid {{ boldsymbol { mu}} _ {0}} ', ({{{ boldsymbol { Лямбда}} _ {0}} '} ^ {- 1} + { boldsymbol { Lambda}} ^ {- 1}) ^ {- 1} right)}$[5]
Многомерный нормальный с известным средним μ	Σ (ковариационная матрица)	Инверс-Уишарт	${ displaystyle nu, , { boldsymbol { Psi}}}$	${ Displaystyle п + ню, , { boldsymbol { Psi}} + сумма _ {я = 1} ^ {n} ( mathbf {x_ {i}} - { boldsymbol { mu}}) ( mathbf {x_ {i}} - { boldsymbol { mu}}) ^ {T}}$	ковариационная матрица оценивалась из ${ displaystyle nu}$ наблюдения с суммой произведений попарных отклонений ${ displaystyle { boldsymbol { Psi}}}$	${ displaystyle t _ { nu '-p + 1} left ({ tilde { mathbf {x}}} | { boldsymbol { mu}}, { frac {1} { nu' -p + 1}} { boldsymbol { Psi}} ' right)}$[5]
Многомерный нормальный с известным средним μ	Λ (матрица точности)	Wishart	${ Displaystyle ню, , mathbf {V}}$	${ displaystyle n + nu, , left ( mathbf {V} ^ {- 1} + sum _ {i = 1} ^ {n} ( mathbf {x_ {i}} - { boldsymbol { mu}}) ( mathbf {x_ {i}} - { boldsymbol { mu}}) ^ {T} right) ^ {- 1}}$	ковариационная матрица оценивалась из ${ displaystyle nu}$ наблюдения с суммой произведений попарных отклонений ${ displaystyle mathbf {V} ^ {- 1}}$	${ displaystyle t _ { nu '-p + 1} left ({ tilde { mathbf {x}}} mid { boldsymbol { mu}}, { frac {1} { nu' -p +1}} { mathbf {V} '} ^ {- 1} right)}$[5]
Многомерный нормальный	μ (средний вектор) и Σ (ковариационная матрица)	нормальный-обратный-Уишарт	${ displaystyle { boldsymbol { mu}} _ {0}, , kappa _ {0}, , nu _ {0}, , { boldsymbol { Psi}}}$	${ displaystyle { frac { kappa _ {0} { boldsymbol { mu}} _ {0} + n mathbf { bar {x}}} { kappa _ {0} + n}}, , kappa _ {0} + n, , nu _ {0} + n, ,}$ ${ displaystyle { boldsymbol { Psi}} + mathbf {C} + { frac { kappa _ {0} n} { kappa _ {0} + n}} ( mathbf { bar {x} } - { boldsymbol { mu}} _ {0}) ( mathbf { bar {x}} - { boldsymbol { mu}} _ {0}) ^ {T}}$ ${ displaystyle mathbf { bar {x}}}$ выборочное среднее ${ Displaystyle mathbf {C} = сумма _ {я = 1} ^ {n} ( mathbf {x_ {i}} - mathbf { bar {x}}) ( mathbf {x_ {i}} - mathbf { bar {x}}) ^ {T}}$	среднее было оценено из ${ displaystyle kappa _ {0}}$ наблюдения с выборочным средним ${ displaystyle { boldsymbol { mu}} _ {0}}$; ковариационная матрица оценивалась из ${ displaystyle nu _ {0}}$ наблюдения с выборочным средним ${ displaystyle { boldsymbol { mu}} _ {0}}$ и с суммой произведений попарных отклонений ${ displaystyle { boldsymbol { Psi}} = nu _ {0} { boldsymbol { Sigma}} _ {0}}$	${ displaystyle t _ {{ nu _ {0}} '- p + 1} left ({ tilde { mathbf {x}}} | {{ boldsymbol { mu}} _ {0}}', { frac {{ kappa _ {0}} '+ 1} {{ kappa _ {0}}' ({ nu _ {0}} '- p + 1)}} { boldsymbol { Psi} }'верно)}$[5]
Многомерный нормальный	μ (средний вектор) и Λ (матрица точности)	нормальный-Wishart	${ displaystyle { boldsymbol { mu}} _ {0}, , kappa _ {0}, , nu _ {0}, , mathbf {V}}$	${ displaystyle { frac { kappa _ {0} { boldsymbol { mu}} _ {0} + n mathbf { bar {x}}} { kappa _ {0} + n}}, , kappa _ {0} + n, , nu _ {0} + n, ,}$ ${ displaystyle left ( mathbf {V} ^ {- 1} + mathbf {C} + { frac { kappa _ {0} n} { kappa _ {0} + n}} ( mathbf { bar {x}} - { boldsymbol { mu}} _ {0}) ( mathbf { bar {x}} - { boldsymbol { mu}} _ {0}) ^ {T} right ) ^ {- 1}}$ ${ displaystyle mathbf { bar {x}}}$ выборочное среднее ${ Displaystyle mathbf {C} = сумма _ {я = 1} ^ {n} ( mathbf {x_ {i}} - mathbf { bar {x}}) ( mathbf {x_ {i}} - mathbf { bar {x}}) ^ {T}}$	среднее было оценено из ${ displaystyle kappa _ {0}}$ наблюдения с выборочным средним ${ displaystyle { boldsymbol { mu}} _ {0}}$; ковариационная матрица оценивалась из ${ displaystyle nu _ {0}}$ наблюдения с выборочным средним ${ displaystyle { boldsymbol { mu}} _ {0}}$ и с суммой произведений попарных отклонений ${ displaystyle mathbf {V} ^ {- 1}}$	${ displaystyle t _ {{ nu _ {0}} '- p + 1} left ({ tilde { mathbf {x}}} mid {{ boldsymbol { mu}} _ {0}}) , { frac {{ kappa _ {0}} '+ 1} {{ kappa _ {0}}' ({ nu _ {0}} '- p + 1)}} { mathbf {V} '} ^ {- 1} right)}$[5]
Униформа	${ Displaystyle U (0, theta) !}$	Парето	${ Displaystyle х_ {м}, , к !}$	${ displaystyle max {, x_ {1}, ldots, x_ {n}, x _ { mathrm {m}} }, , k + n !}$	${ displaystyle k}$ наблюдения с максимальным значением ${ displaystyle x_ {m}}$
Парето с известным минимумом Иксм	k (форма)	Гамма	${ Displaystyle альфа, , бета !}$	${ displaystyle alpha + n, , beta + sum _ {i = 1} ^ {n} ln { frac {x_ {i}} {x _ { mathrm {m}}}} !}$	${ displaystyle alpha}$ наблюдения с суммой ${ displaystyle beta}$ из порядок величины каждого наблюдения (т.е. логарифм отношения каждого наблюдения к минимальному ${ displaystyle x_ {m}}$)
Weibull с известной формой β	θ (шкала)	Обратная гамма[4]	${ displaystyle a, b !}$	${ displaystyle a + n, , b + sum _ {i = 1} ^ {n} x_ {i} ^ { beta} !}$	${ displaystyle a}$ наблюдения с суммой ${ displaystyle b}$ из β '-я степень каждого наблюдения
Лог-нормальный	То же, что и для нормального распределения после возведения данных в степень.
Экспоненциальный	λ (ставка)	Гамма	${ Displaystyle альфа, , бета !}$ [примечание 4]	${ Displaystyle альфа + п, , бета + сумма _ {я = 1} ^ {п} х_ {я} !}$	${ displaystyle alpha -1}$ наблюдения, которые в сумме ${ displaystyle beta}$ [6]	${ displaystyle operatorname {Lomax} ({ tilde {x}} mid beta ', alpha')}$ (Распределение Lomax)
Гамма с известной формой α	β (ставка)	Гамма	${ displaystyle alpha _ {0}, , beta _ {0} !}$	${ displaystyle alpha _ {0} + n alpha, , beta _ {0} + sum _ {i = 1} ^ {n} x_ {i} !}$	${ displaystyle alpha _ {0} / alpha}$ наблюдения с суммой ${ displaystyle beta _ {0}}$	${ displaystyle operatorname {CG} ({ tilde { mathbf {x}}} mid alpha, { alpha _ {0}} ', { beta _ {0}}') = operatorname { beta '} ({ tilde { mathbf {x}}} | alpha, { alpha _ {0}}', 1, { beta _ {0}} ')}$ [примечание 8]
Обратная гамма с известной формой α	β (обратная шкала)	Гамма	${ displaystyle alpha _ {0}, , beta _ {0} !}$	${ displaystyle alpha _ {0} + n alpha, , beta _ {0} + sum _ {i = 1} ^ {n} { frac {1} {x_ {i}}} ! }$	${ displaystyle alpha _ {0} / alpha}$ наблюдения с суммой ${ displaystyle beta _ {0}}$
Гамма с известной скоростью β	α (форма)	${ Displaystyle propto { гидроразрыва {a ^ { alpha -1} beta ^ { alpha c}} { Gamma ( alpha) ^ {b}}}}$	${ Displaystyle а, , б, , с !}$	${ displaystyle a prod _ {i = 1} ^ {n} x_ {i}, , b + n, , c + n !}$	${ displaystyle b}$ или же ${ displaystyle c}$ наблюдения (${ displaystyle b}$ для оценки ${ displaystyle alpha}$, ${ displaystyle c}$ для оценки ${ displaystyle beta}$) с продуктом ${ displaystyle a}$
Гамма [4]	α (форма), β (обратная шкала)	${ displaystyle propto { frac {p ^ { alpha -1} e ^ {- beta q}} { Gamma ( alpha) ^ {r} beta ^ {- alpha s}}}}$	${ Displaystyle р, , д, , г, , с !}$	${ displaystyle p prod _ {i = 1} ^ {n} x_ {i}, , q + sum _ {i = 1} ^ {n} x_ {i}, , r + n, , s + п !}$	${ displaystyle alpha}$ был оценен из ${ displaystyle r}$ наблюдения с продуктом ${ displaystyle p}$; ${ displaystyle beta}$ был оценен из ${ displaystyle s}$ наблюдения с суммой ${ displaystyle q}$

Смотрите также

• Бета-биномиальное распределение

Примечания

Рекомендации