統計・データ分析ベイズ統計

比例式で求めるベイズ事後分布【指数分布編】カーネルの見抜き方

6 min readryusei_ueda

前回の記事では、ポアソン分布に従うデータの事後分布を「比例式」と「カーネル」の考え方で求めました。今回は同じ手順を、指数分布に従うデータに当てはめてみます。

この記事でわかること

  • 指数分布に従うデータに、ガンマ分布の事前分布を当てはめて事後分布を求める手順
  • 指数分布とガンマ分布が共役になる理由
  • ポアソン分布のケースとの計算過程の違い

「事後分布 ∝ 尤度 × 事前分布」という比例式や「カーネル」の意味については、ポアソン分布編の記事で詳しく説明しているので、先にそちらを読むと理解しやすくなります。

指数分布×ガンマ事前分布で事後分布を求める

設定

データ x1,x2,…,xnx_1, x_2, \ldots, x_n が、パラメータ λ\lambda の指数分布に独立に従うとします。

p(xi∣λ)=λ e−λxip(x_i \mid \lambda) = \lambda\, e^{-\lambda x_i}

事前分布として、λ\lambda にガンマ分布 Gamma(a,b)\mathrm{Gamma}(a, b) を仮定します。

p(λ)∝λa−1 e−bλp(\lambda) \propto \lambda^{a-1}\, e^{-b\lambda}

Step1：尤度を求める

データが独立なので、尤度は各データの確率密度の積です。

p(x∣λ)=∏i=1np(xi∣λ)=∏i=1nλ e−λxi=λn e−λ∑ixip(x \mid \lambda) = \prod_{i=1}^{n} p(x_i \mid \lambda) = \prod_{i=1}^{n} \lambda\, e^{-\lambda x_i} = \lambda^{n}\, e^{-\lambda \sum_i x_i}

ポアソン分布のときは指数部分の肩に「サンプルサイズ nn」が乗りましたが、指数分布ではべき乗の肩に nn が乗る点が対照的です（λ\lambda の指数が nn 乗、指数関数の肩が ∑ixi\sum_i x_i）。

Step2：尤度×事前分布を計算する

比例式に従って、尤度と事前分布のカーネルをそのまま掛け合わせます。

p(λ∣x)∝λn e−λ∑ixi×λa−1 e−bλ=λn+a−1 e−(∑ixi+b)λp(\lambda \mid x) \propto \lambda^{n}\, e^{-\lambda \sum_i x_i} \times \lambda^{a-1}\, e^{-b\lambda} = \lambda^{n + a - 1}\, e^{-\left(\sum_i x_i + b\right)\lambda}

Step3：カーネルから分布を特定する

この式も λ(⋅−1)e−(⋅)λ\lambda^{(\cdot - 1)} e^{-(\cdot)\lambda} というガンマ分布のカーネルの形をしています。指数部分の係数を見比べると、事後分布は次のガンマ分布です。

λ∣x∼Gamma ⁣(a+n,  b+∑ixi)\lambda \mid x \sim \mathrm{Gamma}\!\left(a + n,\; b + \sum_i x_i\right)

ポアソン分布のケースとの比較

2つの記事の結果を並べると、同じガンマ分布の事前分布からスタートしても、パラメータの更新のされ方が違うことがわかります。

尤度事後分布
ポアソン分布λ∑ixi e−nλ\lambda^{\sum_i x_i}\, e^{-n\lambda}Gamma(a+∑ixi, b+n)\mathrm{Gamma}(a + \sum_i x_i,\, b + n)
指数分布λn e−λ∑ixi\lambda^{n}\, e^{-\lambda \sum_i x_i}Gamma(a+n, b+∑ixi)\mathrm{Gamma}(a + n,\, b + \sum_i x_i)

興味深いのは、ポアソン分布と指数分布で「データの合計 ∑ixi\sum_i x_i」と「サンプルサイズ nn」の役割がちょうど入れ替わっている点です。ポアソン分布ではべき乗の肩に ∑ixi\sum_i x_i、指数関数の肩に nn が乗りますが、指数分布ではべき乗の肩に nn、指数関数の肩に ∑ixi\sum_i x_i が乗ります。これは、ポアソン分布の確率関数が λ\lambda のべき乗を含む一方、指数分布の確率密度関数は λ\lambda の1乗しか含まない、という関数形の違いから来ています。

どちらのケースでも、事後分布はガンマ分布のまま形を保っています。尤度のカーネルが「λ\lambda のべき乗×指数関数」という形である限り、ガンマ分布の事前分布と掛け合わせても同じ形が保たれる、という共役性の仕組みは共通しています。

よくある質問

Q. 指数分布のλは何を表していますか？

A. 指数分布は「イベントが発生するまでの待ち時間」を表すことが多く、λ\lambda はイベントの発生率（単位時間あたりの発生回数の期待値）です。ポアソン分布の λ\lambda（単位時間あたりの平均発生回数）と対応関係にあり、両者は同じ現象を「回数」で見るか「時間」で見るかの違いとして結びついています。

Q. 事後分布の平均はどう計算しますか？

A. ガンマ分布 Gamma(α,β)\mathrm{Gamma}(\alpha, \beta) の平均は α/β\alpha/\beta です。指数分布のケースでは a+nb+∑ixi\dfrac{a+n}{b+\sum_i x_i}、ポアソン分布のケースでは a+∑ixib+n\dfrac{a+\sum_i x_i}{b+n} となり、正規化定数を求めずに分布の性質から直接計算できます。

まとめ

  1. 指数分布の尤度は λne−λ∑ixi\lambda^{n} e^{-\lambda \sum_i x_i} というカーネルを持つ
  2. ガンマ分布の事前分布と掛け合わせると、事後分布は Gamma(a+n, b+∑ixi)\mathrm{Gamma}(a+n,\, b+\sum_i x_i) になる
  3. ポアソン分布のケースと比べると、べき乗の肩と指数関数の肩で「nn」と「∑ixi\sum_i x_i」の役割が入れ替わる
  4. どちらも尤度のカーネルが「べき乗×指数関数」の形であるため、ガンマ分布との共役性が成り立つ
  5. 事後分布の平均は α/β\alpha/\beta の公式からそのまま求められる