指数型分布族の共役事前分布
最大エントロピー原理関連で指数型分布族を検索してみたら記事 [1] で
主な特徴として、ベイズ統計において、これらの分布は共役事前分布をもつことが上げられます。
と書かれている。少し考えてみる。指数型分布族では確率密度は以下のように記号的に書ける*1。
\Pr(x|\theta)dx = \frac1{Z(\theta)}e^{-\theta\cdot Q(x)}d\mu(x).
但し $Z(\theta)$ は規格化で $\mu$ は何か積分測度。
共役事前分布
$x$ を観測した時の事後確率は以下の形になる。
\Pr(\theta|x)
\stackrel{\theta}{\propto} \Pr(x|\theta)\Pr(\theta)
\stackrel{\theta}{\propto} \frac1{Z(\theta)}e^{-\theta\cdot Q(x)}\Pr(\theta).
何だか分からない。$x_1,\dots,x_n$ を観測したらこうなる。
\Pr(\theta|x_1,\dots,x_n)
\stackrel{\theta}{\propto} e^{-\theta\cdot \textstyle\sum_{i=1}^n Q(x_i) - n\ln Z(\theta)}\Pr(\theta).
要するに と
のところを、共役事前分布のハイパーパラメータにすれば良いのだ。という訳で共役事前分布は以下のように定めれば良さそう。
\Pr(\theta|\bar Q, \nu) d\theta = \frac1{N(\bar Q, \nu)} e^{-\nu [\bar Q\cdot \theta + \ln Z(\theta)] } d\mu_0(\theta).
但し、 はハイパーパラメータ $(\bar Q, \nu)$ に依らないパラメータ空間の測度で好きに設定できる。$N(\bar Q, \nu)$ は規格化定数。
ハイパーパラメータの更新式については自明と思ったが時間が経つとまた分からなくなるので書いておく。$x$ を測定したとき、以下のようにすれば良い。
\nu' &= \nu + 1, \\ \nu' \bar Q' &= \nu \bar Q + Q(x).
思ったこと
呆気ない。よくある説明は分布毎に共役事前分布を書き下しているから気が付かないけれど、このようにして見ると指数型分布族の共役事前分布は大したことない。共役事前分布は結局「電荷の期待値 $\bar Q$」と「自信 $\nu$ (これまでの試行回数)」の情報だけしか持っていないんだなと。。
共役事前分布の式の形を見るとこれはどうもエントロピーの形である。特に $\theta$ を最尤推定で決めれば、指数の肩は大偏差関数であり、熱力学的エントロピーである。$\nu\to\infty$ は無限回試行の極限であり、熱力学的極限である。ルジャンドル変換は示強変数$\theta$→示量変数 $\langle Q\rangle$ の逆写像を考える。ベイズの定理はパラメータ → 確率変数
の条件付き確率を逆転させて尤度関数にする。ヘルムホルツ自由エネルギーもしくは圧力は読み替えの時の再規格化から出てくる。何だか分からなくなってきた。この辺りの関係は今ひとつ分かっていない。後で考える機会があったら考える。
ところで指定された分布族に対して共役事前分布って測度 $\mu_0(\theta)$ を除けば一意なんだろうか。と最後に思った。
参照
更新記録
- 修正 (2019-11-27): 測度 $\mu_0(\theta)$ 依存性の明示
- 追記 (2019-11-27): 指数型分布族一般形について脚注
- 追記 (2019-11-27): ハイパーパラメータ更新式
*1:一般には $\theta\cdot Q(X)$ の部分は $\Phi(\theta)\cdot Q(X)$ の形らしいが、それって $\theta' := \Phi(\theta)$ に変数変換して必要があれば拘束条件をかけてパラメータ空間を制限するだけの気がするので、$\theta\cdot Q(X)$ を標準形として問題ない気がする。拘束条件は後述の $\mu_0(\theta)$ に担わせれば良い。
