View
7
Download
0
Category
Preview:
Citation preview
「多変量解析 2012」 資料
1.1 線形代数の基礎
この節では本講義で必要とする行列の性質を簡単にまとめる.成分がす
べて実数である実行列のみを扱う.簡単のため p× q 行列を p× q,また,
p × 1 ベクトルを p × 1 または p-ベクトルと略して書くことがある.分
割行列の計算に慣れておく:
q1 q2 r1 r2
p1p2
"A11 A12A21 A22
#×"B11 B12B21 B22
#q1q2
=
"A11B11 + A12B21 A11B12 + A12B22A21B11 + A22B21 A21B12 + A22B22
#
Def. 1.1 A: p × q. i) A の行ベクトルと列ベクトルを入れ換えた q × p行列を A の転置行列 (transposed matrix) といい,AT (= A0 = tA) と表
す.ii) AT = A のとき,A は対称 (symmetric) であるという.このとき,
p = q.
Def. 1.2 A: p × q. i) A の1次独立な行ベクトル (列ベクトル) の数
を A の階数 (rank) といい,rank(A) と表す.ii) rank(A) = q のとき,
full-column rank,rank(A) = p のとき,full-row rankという.iii) A :
p× p. rank(A) = p のとき A は正則 (nonsingular) であるという.注意:
A : 正則 ⇐⇒ ∃A−1 ⇐⇒ |A| 6= 0. ここで,|A| は A の行列式である.
Def. 1.3 A : p×p. Av = λv を満たす スカラー λと p-ベクトル v ( 6= 0)を それぞれ A の固有値,固有ベクトルという.
注意1:λ は固有方程式 |A− λIp| = 0 の解.
注意2:p×p行列 Aの固有値を λ1(A), · · · ,λp(A)と書くことがある.
注意3:|A| =pYk=1
λk(A), tr(A) =
pXk=1
λk(A) (→ Prop.1.4).
Prop. 1.1
i) A : p× q, B : q × r.· rank(AB) ≤ minrank(A), rank(B)· B: q × q 正則 =⇒ rank(AB) = rank(A)
· rank(A) = rank(AT ) = rank(ATA) = rank(AAT )ii) A : p× p (実)対称行列.A の固有値は実数で,固有ベクトルは互い
に直交する.
1
Def. 1.4 i) V : p× p. V TV = V V T = Ip が成り立つとき,V を直交行
列 (orthogonal matrix) という.p × p 直交行列全体を O(p) で表す.ii)
V : p× q. V TV = Iq が成り立つとき,V を列直交行列という.p× q 列直交行列全体を O(p× q) で表す. 注意: O(p× p) = O(p).
Prop. 1.2 A : p× p 対称行列.∃V = [v1, · · · , vp] ∈ O(p),
∃Λ =
⎡⎢⎣λ1 . . .
λp
⎤⎥⎦ : p× p 対角行列 st. A = V ΛV T =Pp
k=1 λkvkvTk
これをAのスペクトル分解 (spectral decomposition)という.また,V TAV =
Λを行列Aの対角化 (diagonalization)という.
Prop. 1.3 A : p× q, rank(A) = r.i) ∃B : p× r, ∃C : q × r s.t. A = BCT . これを A の階数分解 (rank
factorization) という.
ii) ∃U ∈ O(p×r), ∃V ∈ O(q×r), ∃ρ : 対角成分がすべて正の r次対角行列
s.t. A = UρV T . これを A の特異値分解 (singular value decomposition)
という.[Gram行列が非負定値であることを認めて証明する→Prop.1.5]
Def. 1.5 A = [aij] : p × p. tr(A) =Pp
k=1 akk を A のトレース (trace)
という.
Prop. 1.4 A, B : 行列,c, d : スカラー.
i) tr(AT ) = tr(A), tr(cA+ dB) = c tr(A) + d tr(B)
ii) tr(AB) = tr(BA)
iii) tr(A) =P
k λk(A), ただし λk(A) は A の固有値.
Def. 1.6 A, B : p×p対称行列.i) xTAx ≥ 0 for ∀x ∈ Rp のとき,Aは
非負定値行列 (nonnegative definite (n.n.d.) matrix)といわれ,A ≥ 0 と書く.xTAx > 0 for ∀x ∈ Rp, x 6= 0 のとき,A は正定値行列 (positive
definite (p.d.) matrix) といわれ,A > 0 と書く.ii) A− B ≥ 0 のとき,
A ≥ B,また,A− B > 0 のとき,A > B と表す.
Prop. 1.5 A: p× p 対称行列.
i) A > 0 ⇐⇒ λk(A) > 0 (k = 1, · · · , p)⇐⇒ A ≥ 0 & |A| 6= 0
ii) A ≥ 0 ⇐⇒ λk(A) ≥ 0 (k = 1, · · · , p)⇐⇒ ∃B : p× r, r = rank(A) s.t. A = BBT
⇐⇒ ∃C : p× p対称行列 s.t. A = C2
行列 C を A の平方根といい,しばしば A12 で表す.
2
Prop. 1.6 A = (aij), B = (bij), C = (cij) : p× p 対称行列.
i) A ≥ 0 (or A > 0) =⇒ aii ≥ 0 (or aii > 0) (i = 1, · · · , p)A ≥ 0, aii = 0 =⇒ aik = aki = 0 (k = 1, · · · , p)A = [Aij] ≥ 0 (or A > 0) =⇒ Aii ≥ 0 (or Aii > 0)
ii) A ≥ 0, B ≥ 0 =⇒ A+ B ≥ 0; A > 0, B ≥ 0 =⇒ A+ B > 0
iii) A ≥ B, B ≥ C =⇒ A ≥ C; A > B, B ≥ C =⇒ A > C
iv) A ≥ B > 0 =⇒ B−1 ≥ A−1 > 0A > B > 0 =⇒ B−1 > A−1 > 0
v) G : p× rのとき
A ≥ 0 =⇒ GTAG ≥ 0A > 0, G : full-column rank =⇒ GTAG > 0
vi) G : p× p正則のとき
A > 0 ⇐⇒ GAGT > 0
注意:v)を示してから iv)を証明する.
(iv)のヒント:B−1−A−1 = (B−1−A−1)B(B−1−A−1)+A−1(A−B)A−1
Def. 1.7 P : p×p. P 2 = P のとき,P は巾等 (idempotent) or射影行列
(projective matrix) という.対称な巾等行列を直交射影行列 (orthogonal
projective matrix)とよぶ.
問題 W を Rp の (線形)部分空間,W の直交補空間をW⊥ と書く.任意の
x ∈ Rp は「x = y + z, y ∈W, z ∈W⊥」と一意的に表現できる.
(i) xから yを対応させる写像は線形であることを示せ.(この写像を部分空
間W への直交射影子という)
(ii) (i)の線形写像を表す行列 P は直交射影行列であることを示せ.
(iii) Aを p × q 行列とする.Aの縦ベクトルの張る線形空間への直交射影行
列を PA と書くことにする.A = [B,C]をAの分割とする (B: p× r, C:p× s, q = r + s).PB, PC なども同様に定義する.このとき
PA = PB + P(Ip−PB)C
を証明せよ.(Ip: p次の単位行列)
Prop. 1.7 A : p× p.i) A : 巾等行列 =⇒ A の固有値は 0 or 1, rank(A) = tr(A).
ii) A : 巾等行列 ⇐⇒ rank(A) + rank(Ip − A) = p.iii) A : 巾等行列 =⇒ 正則行列によって対角化可能.
iv) A が直交射影行列ならば,∃V ∈ O(p × r) s.t. A = V V T . ここで,
r = rank(A).
3
Prop. 1.8 Ai (i = 1, · · · , n): p× p.Pn
i=1Ai = Ipとする.
A2i = Ai (i = 1, . . . , n) ⇐⇒nXi=1
rank(Ai) = p
このとき
AiAj = O (i 6= j)
が成立する.
伝統的な証明 (十分性):階数の劣加法性を用いて rank(Ai)+ rank(Ip−Ai) = pを示す.
分割行列の計算
正方行列 Aの分割をA =
"A11 A12A21 A22
#とする.ここで A11 とA22 は
正方行列である.A−1 =
"A11 A12
A21 A22
#と書く.ここで登場する逆行列は
すべてその存在を仮定する.
Prop. 1.9 以下必要な逆行列の存在を仮定する.A11, A22 : 正方行列.
A11.2 = A11 − A12A−122 A21, A22.1 = A22 − A21A−111 A12 とおく.
i)
¯¯A11 A12A21 A22
¯¯ = |A22||A11.2| = |A11||A22.1|
ii)
(A11)−1A12 = −A12A−122 , A21(A11)−1 = −A−122 A21A12(A22)−1 = −A−111 A12, (A22)−1A21 = −A21A−111
iii) "A11 A12A21 A22
#−1=
"A−111.2 −A−111.2A12A−122
−A−122 A21A−111.2 A−122 + A−122 A21A
−111.2A12A
−122
#
=
"O O
O A−122
#+
"−I
A−122 A21
#A−111.2
h−I A12A
−122
i
=
"A−111 + A
−111 A12A
−122.1A21A
−111 −A−111 A12A−122.1
−A−122.1A21A−111 A−122.1
#
=
"A−111 O
O O
#+
"A−111 A12−I
#A−122.1
hA21A
−111 −I
i4
iv) A > 0のとき,A11.2 > 0, A22.1 > 0, A11 ≥ A−111 .
Proof 次の等式を使う."I −A12A−122O I
#"A11 A12A21 A22
#"I O
−A−122 A21 I
#=
"A11.2 O
O A22
#
Prop. 1.10 (Woodbury’s identities) 分割行列
"A11 A12A21 A22
#において
次の公式が成り立つ.(一般に A12, A21は長方行列である)
(A11 + A12A−122 A21)
−1 = A−111 − A−111 A12(A22 + A21A−111 A12)−1A21A−111(A11 + A12A
−122 A21)
−1A12 = A−111 A12(A22 + A21A−111 A12)
−1A22
A21(A11 + A12A−122 A21)
−1 = A22(A22 + A21A−111 A12)−1A21A−111
A21(A11 + A12A−122 A21)
−1A12 = A22 − A22(A22 + A21A−111 A12)−1A22[A21(A11 + A12A
−122 A21)
−1A12]−1 = (A21A−111 A12)−1 + A−122
補足:Prop. 1.6 iv)の証明にも応用できる.
演習問題 a + b = 1, a 6= 0, Σ > 0とする.
ÃaΣ−1 + b
"O O
O Σ−122
#!−1を
計算せよ.
Prop. 1.11 (Khatri’s lemma) [A,B] を正則行列,ATB = O, M > 0
とする.このとき次式が成立する.
MA(ATMA)−1ATM + B(BTM−1B)−1BT =M注意:射影との関連を理解する.
特殊な行列の演算
Def. 1.8 A = (aij) : p× q, B = (bij) : m× n. pm× qn 行列 A⊗ B を
次で定義し,Kronecker 積という.
A⊗ B =
⎡⎢⎢⎢⎢⎢⎢⎣a11B · · · a1`B · · · a1qB... · · · ... · · · ...
aj1B · · · aj`B · · · ajqB... · · · ... · · · ...
ap1B · · · ap`B · · · apqB
⎤⎥⎥⎥⎥⎥⎥⎦A⊗ B の (ij, k`) 要素は (A⊗ B)ij,k` = aj`bik で与えられる.
Prop. 1.12 次式が成立する.
5
i) (a1A1 + a2A2)⊗ (b1B1 + b2B2)= a1b1(A1⊗B1)+a1b2(A1⊗B2)+a2b1(A2⊗B1)+a2b2(A2⊗B2)
ここで ai, bi はスカラーである.
ii) (A⊗ B)T = AT ⊗ BTiii) (A1A2)⊗ (B1B2) = (A1 ⊗ B1)(A2 ⊗ B2)iv) (A⊗ B)−1 = A−1 ⊗ B−1v) tr(A⊗ B) = tr(A)× tr(B), rank(A⊗ B) = rank(A)× rank(B)vi) A ≥ 0, B ≥ 0 =⇒ (A⊗B) ≥ 0; A > 0, B > 0 =⇒ (A⊗B) > 0
Def. 1.9 i) A = [a1, · · · ,aq] : p× q. pq × 1 ベクトル vec(A) を
vec(A) =
⎡⎢⎣a1...aq
⎤⎥⎦で定義する.pq × pq 行列 Kpq を次式で定義する.
Kpqvec(A) = vec(AT ) for any A ∈ Mat(p× q)
Kpq を commutation matrix とよぶ.しばしば次の記号を用いる.
Np =1
2(Ip2 +Kpp)
ii) A = (aij) : p× p. p∗ = p(p+ 1)/2. p∗-ベクトル v(A) を
v(A) = [a11, · · · , ap1, a22, · · · , ap2, · · · , app]T
で定義する.v(·) を vech(·) と書くことがある.
vec(·) と v(·) を vec-operator ということがある.
Prop. 1.13 A, B, C, D : 行列. a, b, c, d: ベクトル.
i) vec(aT ) = vec(a) = a, vec(abT ) = b⊗ aii) (abT )⊗ (cdT ) = vec(caT )vec(dbT )Tiii) vec(A)Tvec(B) = tr(ATB)
iv) vec(ABC) = (CT ⊗ A)vec(B)v) tr(ABCD) = vec(DT )T (CT ⊗A)vec(B) = vec(D)T (A⊗CT )vec(BT )vi) [(A⊗B)+α·vec(A)vec(B)T ]−1 = (A−1⊗B−1)−a·vec(B−1)vec(A−1)T
6
ここで,A, B は p× p 正則対称行列,a = α/(1 + αp).
Proof. iv) B = [b1, · · · , bq], Iq = [e1, · · · ,eq] とすると
vec(ABC) =vecA(Xk
bkeTk )C =
Xk
vecAbk(CTek)T
=Xk
(CTek)⊗ (Abk) = (CT ⊗ A)Xk
(ek ⊗ bk)
=(CT ⊗ A)Xk
vec(bkeTk ) = (C
T ⊗ A)vec(B)
Prop. 1.14 A: p× q, B: m× n, b: m× 1.i) Kpq ∈ O(pq),Kpq =
Pp
i=1
Pq
j=1Eij ⊗ EijTここで,Eij : p× q は (i, j) 成分のみが 1 でその他の成分は 0 なる行列.
ii) KTpq = K
−1pq = Kqp, Kp1 = K1p = Ip, K
2pp = Ip2 , Kpp は対称行列
iii) Kmp(A⊗ B) = (B ⊗ A)Knq, Kmp(A⊗ B)Kqn = (B ⊗ A)iv) Kmp(A⊗ b) = b⊗ A, Kpm(b⊗ A) = A⊗ b
Proof. iii) X を任意の n× q 行列とすると,
Kmp(A⊗ B)vec(X) = Kmpvec(BXAT ) = vec(AXTBT )
= (B ⊗ A)vec(XT ) = (B ⊗ A)Knqvec(X)
Prop. 1.15 A: p× q.i) Np = N
Tp = N
2p , rank(Np) = tr(Np) =
12p(p+ 1)
ii) NpKpp = Np = KppNp
iii) Np(A⊗ A) = (A⊗ A)Nq = Np(A⊗ A)Nq
Def. 1.10 A : p × p 対称行列.p∗ = p(p + 1)/2. p2 × p∗ 行列 Dp を次
で定義する.
vec(A) = Dpv(A) for any A (A = AT )
さらに,D+p = (D
TpDp)
−1DTp を定義する.容易に,
v(A) = D+p vec(A) for any A (A = AT )
が確かめられる.これらの行列を duplication matrix ということがある.
7
Prop. 1.16 A : p× p, b : p× 1.i) KppDp = Dp, NpDp = Dp, D+
p Np = D+p , DpD
+p = Np
ii) Np(b⊗ A) = 12(b⊗ A+ A⊗ b)
iii) [D+p (A⊗ A)Dp]−1 = D+
p (A−1 ⊗ A−1)Dp
iv) [DTp (A⊗ A)Dp]−1 = D+
p (A−1 ⊗ A−1)(D+
p )T
Proof. i) 行列 A の縦ベクトルの張る線形空間を M(A) と書く
と,NpDpD+p = DpD
+p は,M(DpD
+p ) ⊂M(Np) を意味するが,一方,
rank(Np) =12p(p+1) = rank(DpD
+p )だから,結局M(DpD
+p ) =M(Np)
となる.DpD+p , Np ともに,巾等かつ対称であるから,同じ空間への直
交射影を表す行列である.従って,DpD+p = Np.
Def. 1.11 i) A = (aij), B = (bij) : p× q. p× q 行列 A ∗ B を次で定義
し,Hadamard 積 (elementwise 積) という.
(A ∗ B)ij = aijbij
ii) Ip = [e1, · · · ,ep]とかく.p2 × p 行列 Hp を
Hp = [e1 ⊗ e1, · · · , ep ⊗ ep]
と定義する.
iii) A = (aij) : p× p.
diag(a11, · · · , app) =
⎡⎢⎢⎢⎢⎣a11 0 · · · 0
0 a22. . .
......
. . .. . . 0
0 · · · 0 app
⎤⎥⎥⎥⎥⎦Diag(A) = diag(a11, · · · , app)vecdiag(A) = [a11, · · · , app]T
Prop. 1.17 A, B : p× p.i) A ∗ B = HT
p (A⊗ B)Hp, rank(A ∗ B) ≤ rank(A) · rank(B)ii-a) A ≥ 0, B ≥ 0 =⇒ (A ∗ B) ≥ 0ii-b) A > 0, B > 0 =⇒ (A ∗B) > 0iii) vecdiag(A) = HT
p vec(A)
8
本節の参考文献
• 佐武一郎 (1974). 線型代数学.裳華房.
• 竹内 啓 (1974).線形数学.培風館.
• D.A.ハーヴィル (2007). 統計のための行列代数 上・下.伊理正夫
(監訳) シュプリンガー・ジャパン.
• Magnus, Jan R. and Neudecker, Heinz (1999). Matrix DefferentialCalculas (2nd edition) Wiley.
• Rao, C. R. (1976). Linear Statistical Inference and its Applications(2nd edition) Wiley.
9
1.2 分布論の基礎
本講義の基礎となる確率分布の性質を簡単にまとめる.
Def. 2.12 i) 確率変数 Xij を (i, j) 要素とする行列 X = (Xij) を確率
行列 (random matrix) という.Xij の期待値 E(Xij) を (i, j) 要素とする
行列を E(X) で表し X の期待値(行列)という.
ii)確率変数 X1, · · · , Xp を要素とする p×1ベクトルX = [X1, · · · , Xp]T
を p次元確率ベクトル (random vector, r.v.) という.E(X) を X の平
均ベクトル (mean vector; p×1)といい,しばしば μで表す.Var(X) :=
E[(X −E(X))(X −E(X))T ] を X の分散行列 (variance matrix; p× p)といい,しばしば Σ で表す.すなわち,
μ = E(X) =
⎡⎢⎣E(X1)...
E(Xp)
⎤⎥⎦
Σ = Var(X) =
⎡⎢⎢⎢⎢⎣Var(X1) Cov(X1, X2) · · · Cov(X1, Xp)
Cov(X2, X1) Var(X2). . .
......
. . .. . . Cov(Xp−1, Xp)
Cov(Xp, X1) · · · Cov(Xp, Xp−1) Var(Xp)
⎤⎥⎥⎥⎥⎦=[Cov(Xi, Xj)]
Var(X) は共分散行列 (covariance matrix) or 分散共分散行列 (variance-
covariance matrix) とよばれることもある.2つの確率ベクトル X, Y
の共分散行列を Cov(X,Y ) = E[(X − E(X))(Y − E(Y ))T ] で定義す
る.特に,Cov(X ,X) = Var(X).
Prop. 2.18 X , Y : r.v.
· E(aX + bY ) = aE(X) + bE(Y ), E(AX + b) = AE(X) + b
· Cov(AX + b, CY + d) = ACov(X,Y )CT
· Var(AX + b) = AVar(X)AT
· Var(X) ≥ 0· Var(X) = O ⇐⇒ X = E(X) (w.p.1.)
Def. 2.13 i) X: p次元 r.v. ∀B ⊂ Rp に対して
Pr(X ∈ B) =Z· · ·ZB
f(x)dx
が成立するとき,f(x)をXの (分布の)確率密度関数 (probability density
function, pdf) という.(厳密には B は Rp の Borel 集合)
10
ii) X : p次元 r.v., Y : q次元 r.v. ∀B1 ⊂ Rp, ∀B2 ⊂ Rq に対して
Pr(X ∈ B1, Y ∈ B2) = Pr(X ∈ B1) Pr(Y ∈ B2)
が成立するとき,X と Y は互いに独立である(or 独立に分布する)と
いい,X ||– Y で表す.(X,Y ), X , Y の分布がそれぞれ pdf h(x,y),
f(x), g(y) をもつとき,
X ||– Y ⇐⇒ h(x,y) = f(x) · g(y)
また,α(·), β(·) を任意の有界(可測)関数とするとき
X ||– Y ⇐⇒ E[α(X)β(Y )] = E[α(X)]E[β(Y )]
Prop. 2.19 f(x) を p次元 r.v. X の pdf とする.
i) y = g(x) =
⎡⎢⎣g1(x)...gp(x)
⎤⎥⎦ を Rpのある領域から Rp への可微分な 1:1 変換
とする.
Y = g(X) の pdf は
f(g−1(y))|J |, J = det
∙∂x
∂yT
¸Ã= det
∙∂y
∂xT
¸−1!
によって与えられる.ここで,g−1(y) は g の逆変換で,J は変換 g−1
の Jacobian である.特に,線形変換 g(x) = Ax のとき,Y = AX の
pdf は f(A−1y)|det(A)|−1 となる.
ii) X = [XT1 ,X
T2 ]T , f(x) = f(x1,x2)とする.X1 とX2 の pdf はそ
れぞれ f1(x1) :=Rf(x1,x2)dx2 で,f2(x2) :=
Rf(x1,x2)dx1 によっ
て与えられる.X2 = x2 を与えた下でのX1 の条件付き分布の pdfは
f(x1|x2) := f(x1,x2)
f2(x2)である.
Def. 2.14 X1, · · · , Xpi.i.d.∼ N(0, 1)とする.X = [X1, · · · , Xp]T の分布
をp次元 (or p変量)標準正規分布 (p-variate standard normal distribution)
といいNp(0, Ip)で表す.p次元標準正規分布の確率密度関数は
nYi=1
1
(2π)1/2exp
½−12x2i
¾=
1
(2π)p/2exp
(−12
pXi=1
x2i
)=
1
(2π)p/2exp
¡−xTx/2¢ (x = [x1, · · ·xp]T )
で与えられる.X ∼ Np(0, Ip) のとき E(X) = 0, Var(X) = Ip
11
Prop. 2.20 X ∼ Np(0, Ip), V ∈ O(p) =⇒ Y = VX ∼ Np(0, Ip)
Lemma A, B: p× q
AAT = BBT ⇐⇒ A = BR for some R ∈ O(q)
Def. 2.15 μ ∈ Rp, Σ ≥ 0 (p× p), rank(Σ) = r, Σ = BBT , B (p× r)とする.Z ∼ Nr(0, Ir)とする.このときX := μ+BZ の分布を平均ベ
クトルμ,分散行列Σをもつ p次元 (or p変量,多変量)正規分布といい
Np(μ,Σ)で表す.Σが正則であるとき,確率密度関数 (pdf)が存在し
1
(2π)p/2|Σ|1/2 exp½−12(x− μ)TΣ−1(x− μ)
¾で与えられる.
Prop. 2.21 X ∼ Np(μ, Σ).i) E(X) = μ, Var(X) = Σ, MX(t) := E(e
tTX) = eμT t+ 1
2tTΣt
ii) A : p× q, b : q-ベクトル.このとき,
AX + b ∼ Nq(Aμ+ b, AΣAT )
Prop. 2.22 X ∼ Np(μ, Σ).X =
"X1
X2
#p1
p2
, μ =
"μ1μ2
#, Σ =
"Σ11 Σ12
Σ21 Σ22
#と書くと
· Cov(X1,X2) = Σ12
·X1 ∼ Np1(μ1, Σ11), X2 ∼ Np2(μ2, Σ22)·X1
||– X2 ⇐⇒ Σ12 = O
· A1, A2 :定数行列. A1X ||– A2X ⇐⇒ A1ΣAT2 = O
Prop. 2.23 X ∼ Np(μ, Σ). Σ > 0とする.前 Propと同様に分割す
る.X1|X2 = x2 の pdfは以下で与えられる.
1
(2π)p1/2|Σ11.2|1/2 expn− 12
¡x11 − μ1 − Σ12Σ−122 (x22 − μ2)
¢T× Σ−111.2
¡x11 − μ1 − Σ12Σ−122 (x22 − μ2)
¢oすなわちX1|X2 = x2 ∼ Np1
¡μ1 + Σ12Σ
−122 (x2 − μ2),Σ11.2
¢.
証明は Appendix にある.
12
Prop. 2.24 X ∼ Np(μ, Σ).· E[(Xi − μi)(Xj − μj)(Xk − μk)(X` − μ`)] = σikσj` + σi`σjk + σijσk`
· Cov[(Xi − μi)(Xj − μj), (Xk − μk)(X` − μ`)] = σikσj` + σi`σjk
· Var[vec((X − μ)(X − μ)T )] = 2Np(Σ⊗ Σ) = 2Np(Σ⊗ Σ)Np = 2(Σ⊗ Σ)Np· Var[v((X − μ)(X − μ)T )] = 2D+
p (Σ⊗ Σ)D+Tp
Exercise X1, · · · ,Xni.i.d.∼ Np(μ,Σ). X = 1
n
Pn
i=1X i.
S = 1n
Pn
i=1(X i − X)(X i − X)T . 次式を示せ.
limn→∞
nVar[vec(S)] = 2Np(Σ⊗ Σ)
Def. 2.16 X1, · · · , Xni.i.d.∼ N(0, 1) とする.
Pn
i=1 X2i の分布を自由度
n のカイ2乗分布 (chi-square distribution) といい χ2n で表す.χ2n の pdf
と積率母関数は,それぞれ,以下のようになる.
fχ2n(x) =1
2n/2Γ(n/2)xn/2−1e−x/2 (x > 0)
Mχ2n(x) = E[etχ
2n] = (1− 2t)−n/2 (t < 1/2)
Def. 2.17 X1, · · · ,Xni.i.d.∼ Np(0,Σ)とする.X =
Pn
i=1X iXTi の分
布をWishart分布といい,Wp(n,Σ)で表す.Σ > 0, n ≥ pのときWp(n,Σ)
の確率密度関数 (pdf)が存在し,次式で与えられる.
c−1np |Σ|−n2 |X| 12 (n−p−1) exp
µ−12tr[Σ−1X ]
¶(X > 0)
ここで cnpは正規化定数で,2np/2πp(p−1)/4Πpi=1Γ[12(n+ 1− i)]である.
Prop. 2.25 X ∼ Np(0, Σ). A : p× p 対称.
XTAX ∼ χ2q ⇐⇒ ΣAΣAΣ = ΣAΣ, q = tr[AΣ]
上記の必要十分条件は,Σが正則のとき AΣA = A, Σ = Ipのとき A2 = A
となる.
Prop. 2.26 (Cochran’s Theorem) Ai: p× p 対称,Ip =Pn
i=1Ai,
X ∼ Np(0, Ip), Qi :=XTAiX (i = 1, . . . , n) とする.
Qi ∼ χ2 (i = 1, . . . , n) ⇐⇒nXi=1
rank(Ai) = p
このとき,Qi (i = 1, . . . , n)は互いに独立である.
13
Def. 2.18nXn = [X
(n)1 , · · · , X(n)
p ]To: p次元 r.v. の列.
i) a ∈ Rp. ∀² > 0 に対して
limn→∞
PrkXn − ak < ² = 1
が成り立つとき,Xn は a に確率収束 (convergence in probability) する
といい,XnP−→ a (n→∞) と表す.ここで,kXk =
√XTX.
ii) X = [X1, · · · , Xp]T : p次元 r.v.
limn→∞
PrX(n)1 ≤ x1, · · · , X(n)
p ≤ xp = PrX1 ≤ x1, · · · , Xp ≤ xp
が成り立つとき,Xn は X に分布収束 (convergence in distribution, or
法則収束 convergence in law) するといい,Xnd−→ X (n → ∞) と表
す.ここで,xk は PrXk = xk = 0 (k = 1, · · · , p) なる任意の実数.
注意: 以後 (n→∞) を略すことがある.
Prop. 2.27 X1, · · · ,Xn : 独立同一分布をもつ p次元 r.v. E(X i) =
μ, Var(X i) = Σ. Xn =1n
Pn
i=1X i とおく.
i) E(Xn) = μ, Var(Xn) =1nΣ
ii) (大数の法則) XnP−→ μ (n→∞)
iii) (中心極限定理)
√n(Xn − μ) d−→ Np(0,Σ) (n→∞) (1.2)
Proof. ii) Y ≥ 0 なる確率変数と K > 0 に対して Pr(Y ≥ K) ≤ E(Y )K
が成り立つ (Markov’s inequality). よって,
Pr(kXn − μk2 ≥ ²2) ≤ E(kXn − μk2)²2
一方,
E[kXn − μk2] = tr£E(Xn − μ)(Xn − μ)T
¤= tr[Var(Xn)] =
1
ntr(Σ)→ 0 (n→∞)
注意: (1.2)を Xn ∼ Np(μ, 1nΣ) (n→∞)のように書くことがある.同
様に Ynd−→ χ2q (n→∞) などと書く.
14
Prop. 2.28 Xn : p次元 r.v. の列.X : p次元 r.v. a ∈ Rp. g :Rp → Rq: 連続.
i) XnP−→ a =⇒ g(Xn)
P−→ g(a) (確率収束の保存)
ii) Xnd−→X =⇒ g(Xn)
d−→ g(X) (法則収束の保存)
Proof. i) g(x) の連続性より明.ii) 特性関数 φn(θ) = E(eiθT g(Xn)) の
収束を示す.
Prop. 2.29 (Slutsky’s Theorem) Yn : 確率変数.X , Xn, Y n : 確
率ベクトル,Zn : 確率行列.
i) Xn = [X(n)1 , · · · , X(n)
p ]T , a = [a1, · · · , ap]T とすると,
· XnP−→ a ⇐⇒ X
(n)k
P−→ ak (k = 1, · · · , p)· Xn
d−→ a ⇐⇒ X(n)k
d−→ ak (k = 1, · · · , p)· Xn
d−→ a ⇐⇒ XnP−→ a
ii) Xnd−→X, Yn
P−→ 0 =⇒ XnYnP−→ 0
iii) Xnd−→X , Xn − Y n
P−→ 0 =⇒ Y nd−→X
iii)0 Xnd−→X, Y n
P−→ 0 =⇒ Xn + Y nd−→X
iv) Xnd−→X, Y n
P−→ b, ZnP−→ A =⇒ ZnXn+Y n
d−→ AX+b
注意: Xnd−→ X , Y n
d−→ Y =⇒ Xn + Y nd−→ X + Y は成立し
ない.
Def. 2.19 (Mann-Waldの記号) Xn : p次元 r.v. an : 実数列.
i) Xn/anP−→ 0 のとき Xn = op(an) とかく.つまり
Xn = op(an) ⇐⇒ limn→∞
Pr[kXn/ank < ²] = 1 for ∀² > 0
特に,an = 1 のとき, Xn = op(1)³⇐⇒ Xn
P−→ 0´
ii) ∀² > 0, ∃M > 0 s.t. Pr[kXn/ank ≤ M ] > 1 − ² for ∀n のと
き,Xn = Op(an) とかく.特に,an = 1 のとき,Pr[kXnk ≤ M ] >
1− ²³⇐⇒ Xn = Op(1)
´. このとき,Xn は確率有界 (bounded in
probability) といわれる.
Prop. 2.30 Xn, Y n : r.v.
i) Xn = op(1) =⇒ Xn = Op(1)
ii) Xnd−→X =⇒ Xn = Op(1)
15
iii) Xn = Op(1), Y n = Op(1) =⇒ Xn + Y n = Op(1)
Xn = op(1), Y n = op(1) =⇒ Xn + Y n = op(1)
iv) Xn = Op(1), Y n = Op(1) =⇒ XnYTn = Op(1)
Xn = op(1), Y n = Op(1) =⇒ XnYTn = op(1)
Prop. 2.31 (Delta theorem)√n(Xn − μ) d−→ Np(0,Σ).
g(x) =
⎡⎢⎣g1(x)...gq(x)
⎤⎥⎦ : Rp −→ Rq は連続で,x = μ において全微分可能.
このとき,
√n(g(Xn)− g(μ)) d−→ Nq
Ã0,
µ∂g(μ)
∂xT
¶Σ
µ∂g(μ)
∂xT
¶T!
ここで,
µ∂g(μ)
∂xT
¶ij
=∂gi(x)
∂xj
¯x=μ
Example.分割表適合度検定のカイ2乗性(コクラン定理の応用)
本節の参考文献
• Billingsley, P. (1995). Probability and Measure (3rd edition). (Wi-ley Series in Probability and Statistics).
• Chung, Kai Lai (2001). A Course in Probability Theory (3rd ed.)Academic Press.
• Lehmann, E. L. (1998). Elements of Large-Sample Theory (SpringerTexts in Statistics).
• Rao, C. R. (1976). Linear Statistical Inference and its Applications(2nd edition) Wiley.
• 稲垣宣生 (2003). 数理統計学(改訂版)裳華房.
• 園 信太郎 (2007). 統計学入門における分布の収束のある取り扱い
について.経済学研究,57(1), 47-49.
• 西尾真喜子 (1978). 確率論. 実教出版
• 吉田朋広 (2006). 数理統計学.朝倉書店.
16
Appendix A
Prop 2.23の証明
X1|X2 = x2 ∼ Np1¡μ1 + Σ12Σ
−122 (x2 − μ2),Σ11.2
¢次の関係式に注意する.∙Σ11 Σ12Σ21 Σ22
¸−1=
∙0 0
0 Σ−122
¸+
∙ −IΣ−122 Σ21
¸Σ−111.2
£−I, Σ12Σ−122
¤[Prop.1.9 i)]
|Σ| = |Σ22||Σ11.2| [Prop.1.9 iii)]
上式を用いると
Np(x|μ,Σ)
=1
(2π)p/2|Σ|1/2 exp½−12(x− μ)TΣ−1(x− μ)
¾=
1
(2π)p/2(|Σ22||Σ11.2|)1/2exp
(−12
∙x1 − μ1x2 − μ2
¸T ∙Σ11 Σ12Σ21 Σ22
¸−1 ∙x1 − μ1x2 − μ2
¸)
=1
(2π1)p/2|Σ22|1/2exp
½−12(x2 − μ2)TΣ−122 (x2 − μ2)
¾× 1
(2π2)p/2|Σ11.2|1/2
× exp(−12
∙x1 − μ1x2 − μ2
¸T ∙I
−Σ−122 Σ21
¸Σ−111.2
£I, −Σ12Σ−122
¤ ∙x1 − μ1x2 − μ2
¸)
=1
(2π1)p/2|Σ22|1/2exp
½−12(x2 − μ2)TΣ−122 (x2 − μ2)
¾× 1
(2π2)p/2|Σ11.2|1/2exp
"− 12
n(x1 − μ1)T − (x2 − μ2)TΣ−122 Σ21
o× Σ−111.2
n(x1 − μ1)− Σ12Σ−122 (x2 − μ2)
o#
=1
(2π1)p/2|Σ22|1/2exp
½−12(x2 − μ2)TΣ−122 (x2 − μ2)
¾× 1
(2π2)p/2|Σ11.2|1/2exp
"− 12
n(x1 − μ1)− Σ12Σ−122 (x2 − μ2)
oT× Σ−111.2
n(x1 − μ1)− Σ12Σ−122 (x2 − μ2)
o#=Np1(x2|μ2,Σ22)×Np2(x1|μ1 + Σ12Σ−122 (x2 − μ2),Σ11.2)
を得る.すなわち,
Np(x|μ,Σ)Np1(x2|μ2,Σ22)
= Np2(x1|μ1 + Σ12Σ−122 (x2 − μ2),Σ11.2)
が成立する.
17
Prop 2.29 iii)’の証明 (1次元)
Xnd−→ X, Yn
P−→ 0 =⇒ Xn + Ynd−→ X
CX をX の分布関数 P (X ≤ t)の連続点の集合とする.CX は R上稠密
(dense)である.
t ∈ CX とすると,∀²1 > 0, ∃δ1 > 0 st.|P (X ≤ t± δ1)− P (X ≤ t) | < ²1 (1)
以下の議論のため,δ1は t± δ1 ∈ CX となるように取っておく.
YP−→ 0より,∀²2 > 0, ∀δ2 (= δ1) > 0,
∃n1 ∈ N st.P (|Yn| > δ1) < ²2 for ∀n ≥ n1 (2)
Xnd−→ Xより,t± δ1 ∈ CX であるから,∀²3 > 0, ∃n2 ∈ N st.
|P (Xn ≤ t± δ1)− P (X ≤ t± δ1)| < ²3 for ∀n ≥ n2 (3)
以上より,t, t+ δ1 ∈ CX に注意して,次式の成立が確認される.
P (Xn + Yn ≤ t) =P (Xn + Yn ≤ t, |Yn| ≤ δ1) + P (Xn + Yn ≤ t, |Yn| > δ1)
≤P (Xn ≤ t+ δ1) + P (|Yn| > δ1) (4)
<P (X ≤ t+ δ1) + ²3 + ²2 (by (3) and (2))
<P (X ≤ t) + ²1 + ²3 + ²2 (by (1))
∴P (Xn + Yn ≤ t)− P (X ≤ t) < ² for n ≥ maxn1, n2 (5)
ここで,² = ²1 + ²3 + ²2.
(4)と同様にして
P (Xn + Yn ≤ t) ≥ P (Xn ≤ t− δ)− P (|Yn| > δ) (6)
であり,また
P (Xn + Yn ≤ t)− P (X ≤ t) > −² for n ≥ maxn1, n2 (7)
を得る.(5)と (7)から目的の結果が証明される. Q.E.D.
HW (6)と (7)に証明をつけよ.
18
Delta theorem (univariate case of Prop 2.31)の証明√n(Xn−μ) d−→ N(0, σ2). g(x)をR上で定義された可測関数でx = μ
において微分可能とする.このとき次式が成立する.√n³g(Xn)− g(μ)
´d−→ N
³0,σ2g0(μ)2
´(n→∞)
r(x)を次式で定義する.
g(x)− g(μ) = g0(μ)(x− μ) + r(x)
容易に√n³g(Xn)− g(μ)
´= g0(μ)
√n(Xn − μ) +
√nr(Xn)
√nr(Xn) = op(1)が示されれば,確率収束の保存と Slutsky定理を用い
て目的の結果が証明される.
可微分性より
limx→μ
r(x)
x− μ= 0
H(x)を次式で定義する.
H(x) =
⎧⎨⎩r(x)
x− μ(x 6= μ)
0 (x = μ)
H(x)→ 0 (as x→ μ) より,H(x)は x = μで連続.√n(Xn − μ) = Op(1)だから,Xn
P−→ μ.確率収束の保存より
H(Xn)P−→ H(μ) = 0 (n→∞)
また,次式は Xn = μを含めて常に成立する√nr(Xn) =
√n(Xn − μ)H(Xn)
= Op(1)× op(1)= op(1)
19
相関係数の漸近分布の導出√n(r − ρ)
d−→ N³0, (1− ρ2)2
´(n→∞)
正規母集団からの標本:X1, . . . ,Xni.i.d.∼ Np(μ,Σ) with Σ = (σij)
標本共分散行列:S = (sij) =1
n
nXα=1
(Xα − Xn)(Xα − Xn)T
母相関係数:ρij =σij√σiiσjj
,標本相関係数:rij =sij√siisjj
中心極限定理:√n
"1
n
nXα=1
v((Xα − μ)(Xα − μ)T ))− v(Σ)#
d−→ Np∗(0,ΓN )
with ΓN = 2D+p (Σ⊗ Σ)D+T
p = Var£v((Xα − μ)(Xα − μ)T ))
¤(ΓN)ij,kl = σikσjl + σilσjk
Sの漸近分布:
S =1
n
nXα=1
(Xα − Xn)(Xα − Xn)T
=1
n
nXα=1
(Xα − μ)(Xα − μ)T + (Xn − μ)(Xn − μ)T
√n(v(S)− v(Σ)) =√n
"1
n
nXα=1
v((Xα − μ)(Xα − μ)T )− v(Σ)#
+ v£√n(Xn − μ)(Xn − μ)T
¤d−→Np∗(0,ΓN )
by Slutsky’s Theorem
Delta theorem:
g(S): q-vector valued function of S continuously differentiable around
S = Σ. G :=∂h(S)
∂v(S)T
¯S=Σ
√n(g(S)− g(Σ)) d−→ Nq(0, GΓNG
T )
p = 2とする.r21 = r, ρ21 = ρと書く.一般性を失うことなく σ11 =
σ22 = 1とする.g(S) = s21√s11s22
である.
20
このとき,
ΓN =Var
⎡⎢⎣ (X1 − μ1)2
(X2 − μ2)(X1 − μ1)
(X2 − μ2)2
⎤⎥⎦ =⎡⎢⎣ 2σ211 2σ21σ11 2σ2212σ21σ11 σ11σ22 + σ221 2σ22σ212σ221 2σ22σ21 2σ222
⎤⎥⎦
=
⎡⎢⎣ 2 2σ21 2σ2212σ21 1 + σ221 2σ212σ221 2σ21 2σ222
⎤⎥⎦ =⎡⎢⎣ 2 2ρ 2ρ2
2ρ 1 + ρ2 2ρ
2ρ2 2ρ 2
⎤⎥⎦一階微分G:
∂r
∂s11
¯S=Σ
= − 1
2s11× s21√
s11s22
¯S=Σ
=−ρ2
∂r
∂s21
¯S=Σ
=1√s11s22
¯S=Σ
= 1
∂r
∂s22
¯S=Σ
= − 1
2s22× s21√
s11s22
¯S=Σ
=−ρ2
∴ G =h−ρ2, 1, −ρ
2
i漸近分散
GΓNGT =
h−ρ2, 1, −ρ
2
i⎡⎢⎣ 2 2ρ 2ρ2
2ρ 1 + ρ2 2ρ
2ρ2 2ρ 2
⎤⎥⎦⎡⎢⎣−ρ2
1−ρ2
⎤⎥⎦ = (1− ρ2)2
以上より以下を得る.
標本相関係数 rの漸近分布:√n(r − ρ)
d−→ N³0, (1− ρ2)2
´(n→∞)
Fisherの z-変換:
g(x) =1
2log
1 + x
1− x として,Delta theoremを適用すると
√n³g(r)− g(ρ)
´d−→ N(0, 1) (n→∞)
なぜなら
g0(ρ)2(1− ρ2)2 =
∙1
2
µ1
1 + ρ+
1
1− ρ
¶¸2(1− ρ2)2 = 1
21
Appendix B: 測度論の補遺と条件付き確率・期待値
(Ω,A,μ)を測度空間 (measure space)とする.ここでΩは台集合 (抽象集合),AはΩ上の σ-集合体 (σ-field or σ-algebra),μは可測空間 (Ω,A)上の測度 (mea-
sure)である.Ωに距離 ρが定義されているとき,ρに基づく開集合を含む最小
の σ-集合体を特に Borel集合体といい Bと書く.(Ω,B)を Borel可測空間とい
う.特に,Rn の Borel可測空間を (Rn,Bn)と書く.
μ(Ω) < ∞ のとき μ を有限測度という.適当な An(∈ A)が存在して Ω =
∪∞n=1An, μ(An) < ∞とできるとき,μを σ-有限測度という.特に,μ(Ω) = 1
のとき μを確率測度 (probability measure)といい,このとき,(Ω,A,μ)を確率
空間 (probability space)という.
Def. 3.1 (可測と誘導測度) (i) (Ω,A)と (Ω0,A0)を可測空間とする.ΩからΩ0
への写像 f : (Ω,A)→ (Ω0,A0) がA0 ∈ A0 =⇒ f−1(A0) ∈ A
を満たすとき,f はA/A0-可測 (measurable)であるという1.また,(Ω0,A0)が(Rp,Bp)であるとき,f をA-可測関数 (measurable function)という.特に,確
率論では,可測関数を確率変数 (random variable),もしくは,確率ベクトル
(random vector)と呼ぶ. (ii) μを (Ω,A)上の測度とするとき,(Ω0,A0)上の
測度を μf−1(A0)によって定義することができる.これを f によって (Ω0,A0)に誘導された測度 (induced measure)といい2,μf で表す. ¤
Def. 3.2 (積分と可積) (Ω,A,μ)を測度空間とする.f をΩ上で定義された非
負のA-可測関数,fnを fの単関数 (simple function)近似とし fn % f (n→∞)とする.このとき,f の積分は
Zf(ω)μ(dω) := lim
n→∞
Zfn(ω)μ(dω)によって定
義される.この値が有限のとき,f は μ-可積 (μ-integrable),または単に可積分
といわれる.fn として最もよく用いられるのは
fn(ω) =
n2nXi=1
an,i1An,i(ω) with
(an,i =
i−12n
An,i =©ω ∈ Ω ¯ i−12n ≤ f(ω) < i
22
ªである.
f が非負でないときは f(ω) = f+(ω)− f−(ω)とする.ここで,
f+(ω) =
(f(ω) if f(ω) > 0
0 if f(ω) ≤ 0 , f−(ω) =
(−f(ω) if f(ω) < 0
0 if f(ω) ≥ 0である.f+ ≥ 0と f− ≥ 0の両者が μ-可積であるとき,f が μ-可積であると定
義する.これは,非負関数 |f |が μ-可積であることと同値である. ¤
Prop. 3.1 (変数変換) Def. 3.1 の記号を引き継ぐ.可測写像 f : (Ω,A) →(Ω0,A0)と g : (Ω0,A0) → (R1,B1)について,g(f(ω))は μ-可積であるとする.
1単に,A-可測,可測ということもある.2像測度 (image measure)ともいう.f の (確率)分布 (probability distribution)とい
うこともある.
22
このとき ZΩg(f(ω))μ(dω) =
ZΩ0g(ω0)μf (dω0) (3.1)
が成立する3.たとえば,(Ω0,A0) = (R2,B2),f(ω) = [f1(ω), f2(ω)]のときZΩg(f1(ω), f2(ω))μ(dω) =
ZR2g(x, y)μf (dxdy) (3.2)
である. ¤
Prop. 3.2 (Radon-Nikodym Theorem) μ, ν を (Ω,A)上の σ-有限測度と
し
ν ¿ μ³i.e., μ(A) = 0, A∈ A =⇒ ν(A) = 0
´とする (絶対連続, absolutely continuous)4.このとき,Ω上で定義されたA-可測で μ-可積なる実数値関数 f が存在して
ν(A) =
ZA
f(ω)μ(dω) (∀A ∈ A)が成立する.f は μについてほとんど至る所 (almost everywhere; μ-a.e. ω) 一
意である5. ¤
上記の f を Radon-Nikodym 微分といい,f =dν
dμと書くことがある.Ω上
で定義されたA-可測関数 hが ν-可積であるとき,Zh(ω)ν(dω) =
Zh(ω)f(ω)μ(dω) (3.3)
が成立する6.
Def. 3.3 (事象の条件付き確率) (Ω,A, P )を確率空間,G (⊂ A)をAの部分 σ-
集合体とする.A (∈ A)を与えて
Q(G) := P (A ∩G) (∀G ∈ G)は (Ω,G)上の確率測度であり,Q¿ P on Gは自明である.Prop. 3.2より,Ω
上で定義された G-可測・P -可積関数 fA が存在し,
Q(G) = P (A ∩G) =ZG
fA(ω)P (dω) (∀G ∈ G) (3.4)
が成立する.fAを Gを与えた下での事象Aの条件付き確率 (conditional proba-
bility)といい,P (A|G)または P (A|G)(ω)によって表す.(3.4)においてG = Ω
とすれば,P (A) = E[P (A|G)]であることが容易にわかる. ¤
例 3.1 Def. 3.3において G = φ,Ω, G,Gc (G 6= φ,Ω)とする.P (G) > 0,
P (Gc) > 0とする.fA(ω)は G-可測であるからGとGc の上でそれぞれ一定値
3証明は単関数近似による.4ν はより一般に符号付き σ-有限測度 (加法的集合関数)としてもよい.5A-可測関数 fiが
RAf1(ω)μ(dω) =
RAf2(ω)μ(dω) (∀A ∈ A)を満たすとき,A12 =
ω ∈ Ω|f1(ω) 6= f2(ω)とおくと μA12 = 0が成立する.6証明は単関数近似による.
23
をとる.すなわち
fA(ω) =
(a, on G
b, on Gc
である.したがって,
P (A ∩G) =ZG
fA(ω)P (dω) = aP (G),
P (A ∩Gc) =ZGcfA(ω)P (dω) = bP (G
c)
それゆえ
fA(ω) =
⎧⎪⎪⎪⎨⎪⎪⎪⎩P (A ∩G)P (G)
, on G
P (A ∩Gc)P (Gc)
, on Gc
となる.
演習 1. 例 1を有限集合へ拡張する.→ HW
演習 2. 例 1を可算集合へ拡張する.→ HW
Def. 3.4 (E(Y |G)の定義) (Ω,A, P )を確率空間,Y = Y (ω)を Ω上の A-可測関数で P -可積,G (⊂ A)をAの部分 σ-集合体とする.
Q(G) :=
ZG
Y (ω)P (dω) (∀G ∈ G)は (Ω,G)上の (符号付き)σ-有限測度であり,Q¿ P on Gは自明である.Prop. 3.2
より
Q(G) =
ZG
Y (ω)P (dω) =
ZG
fY (ω)P (dω) (∀G ∈ G) (3.5)
を満たす,Ω上のG-可測・P -可積関数 fY が存在する.fY をGを与えた下でのY
の条件付き期待値 (conditional expectation)といい,E(Y |G)またはE(Y |G)(ω)によって表す.(3.5)においてG = Ωとすれば E(Y ) = E[E(Y |G)]を得る.す
なわち,(3.5)の条件はE(Y ) = E[E(Y |G)]を強めたものである. ¤
例 3.2 Def. 3.4において,特に,A ∈ Aに対して
Y (ω) =
(1, if ω ∈ A0, if ω ∈ Ac (3.6)
を定義すると Y (ω)は Ω上で定義されたA-可測かつ P -可積関数である.この
Y (ω)の Gを与えた下での条件付き期待値 fY (ω)は
Q(G) =
ZG
Y (ω)P (dω) = P (A ∩G) =ZG
fY (ω)P (dω) (∀G ∈ G)によって定義され,Def. 3.3から fY (ω)は条件付き確率 P (A|G)(ω)と一致する
(P -a.e. ω). ¤
例 3.3 Def. 3.4において,ある G (∈ G)の上で fY (ω)が一定値をとり,かつ,
24
P (G) > 0とする.このとき
fY (ω) =
RGY (ω)P (dω)
P (G)(ω ∈ G)
Def. 3.5 (E(Y |X = x)の定義) Def. 3.4の記号を引き継ぐ.X = X(ω)を
Ω 上で定義された A-可測関数とする.(R1,B1) 上の (符号付き) 測度として,RX−1(B) Y (ω)P (dω)は
RX−1(B) P (dω) =
RBPX(dx)に対して絶対連続である.
したがって,Prop. 3.2から,R1 上で定義された B-可測関数 gY(x)が存在してZ
X−1(B)Y (ω)P (dω) =
ZB
gY(x)PX(dx) (∀B ∈ B1) (3.7)
が成立する.gY(x)を可測関数X = xが与えられた下での Y の条件付き期待値
といい,E(Y |X = x)によって表す.gY(X) = E(Y |X = x)
¯x=X
をE(Y |X)と書くことがある.(3.7)において B = R1 とれば E(Y ) = EX [E(Y |X)]を得る.
すなわち,(3.7)の条件はE(Y ) = EX [E(Y |X)]を強めたものである. ¤
例 3.4 Def. 3.5において,あるB (∈ B1)の上で gY(x)が一定値をとり,かつ,
PX(B) > 0とする.このとき
gY(x) =
RX−1(B) Y (ω)P (dω)
PX(B)=
RΩ 1B(X(ω))Y (ω)P (dω)
PX(B)(x ∈ B)
Prop. 3.3 Def. 3.4とDef. 3.5の記号を引き継ぐ.σ(X)をX(ω)によって誘導
された Ω上の σ-加法族とする7.このとき
E(Y |σ(X))(ω) = fY (ω) = gY (X(ω)) = E(Y |X = x)¯x=X(ω)
P -a.e. ω
が成立する. ¤
Prop. 3.3は,σ-加法族 σ(X)を与えた下での Y の条件付き期待値は Ω上の
σ(X)-可測関数で,R1上の B1-可測関数である g(x) = E(Y |X = x)にX(ω)を
代入したもの (σ(X)-可測関数)とほとんど至る所等しいことを示す.
Proof of Prop. 3.3. G ∈ σ(X)に対してG = X−1(B)なるB ∈ B1 が存在す
る.Def. 3.4より,条件付き期待値 fY (ω) = E(Y |σ(X))(ω)はZX−1(B)
Y (ω)P (dω) =
ZX−1(B)
fY (ω)P (dω) (X−1(B) ∈ σ(X)) (3.8)
を満たす.また,Def. 3.5より,条件付き期待値 gY(x) = E(Y |X = x)はZ
X−1(B)Y (ω)P (dω) =
ZB
gY(x)PX(dx) (B ∈ B1) (3.9)
を満たす.よって (3.8)と (3.9)の右辺どうしは等しく,変数変換の公式 (3.1)に
7σ(X) = X−1(B)|B ∈ B1 ⊂ Aである.
25
より,(3.9)の右辺はZB
gY(x)PX(dx) =
ZR11B(x)gY (x)P
X(dx)
=
ZΩ1B(X(ω))g(X(ω))P (dω) =
ZX−1(B)
gY(X(ω))P (dω) (3.10)
となる.以上からZX−1(B)
fY (ω)P (dω) =
ZX−1(B)
gY(X(ω))P (dω) (∀B ∈ B1)
が成立する.上式の被積分関数は σ(X)-可測であるから fY (ω) = gY(X(ω))
P -a.e. ω を得る. 証明終
例 3.5 (Ω,A, P )を確率空間,Y = Y (ω)をΩ上のA-可測関数でP -可積,X =
X(ω)をΩ上で定義されたA-可測関数とする.P (X,Y )とPX をそれぞれ (X,Y )
とXによって (R2,B2)と (R1,B1)へ誘導された確率測度とし,これらはLebesque
測度に関して絶対連続であるとする.すなわち,dP (X,Y )
dxdy= p
X,Y(x, y),dPX
dx=
pX(x)が存在する.次式を定義する.
gY(x) :=
⎧⎨⎩ZR1ypX,Y(x, y)
pX(x)
dy, if pX(x) > 0
0, if pX(x) = 0
(3.11)
この gY(x)は初等確率論で登場する条件付き期待値であり,ここでは g
Y(x)が
Def. 3.5の条件 (3.7)を満たすことを示す.
(3.11)から容易にZB
½ZR1yp
X,Y(x, y)dy
¾dx =
ZB
gY(x)p
X(x)dx (∀B ∈ B1) (3.12)
が導かれる.上式においてB = R1 とすると,よく知られた公式
E(Y ) = E(gY(X))
³= EX [E(Y |X)]
´を得る8.(3.12)を満たす g
Y(x)が条件 (3.7)を満たすことを示そう.(3.7)と
(3.12)の右辺どうしが等しいことは (3.3)より明らかである.また,ZB
ZR1yp
X,Y(x, y)dxdy =
ZR1
ZR11B(x)ypX,Y (x, y)dxdy
=
ZR21B(x)yP
(X,Y )(dxdy) (by (3.3))
=
ZΩ1B(X(ω))Y (ω)P (dω) (by (3.2))
=
ZX−1(B)
Y (ω)P (dω)
である.したがって,(3.11)で定義された gY(x)は (3.7)を満たし,E(Y |X = x)
と等価であることが示された. ¤
Prop. 3.4 (条件付き期待値の性質) (Ω,A, P )を確率空間,Y (ω), Yi(ω) (i =
8条件 (3.12)はこの公式の一般形(より強い条件)と言える.
26
1, . . . , n)を (Ω,A, P )上の確率変数 (B1-可測関数)で P -可積,GをAの部分 σ-
集合体とする.
(i) E[E(Y |G)] = E(Y );(ii) F をAの部分 σ-集合体とし,F ⊂ Gとする.
E[E(Y |G) | F ](ω) = E(Y |F)(ω) = E[E(Y |F) | G](ω) (P -a.e. ω)
(iii) ai ∈ R1 とする.
E
ÃnXi=1
aiYi
¯G!(ω) =
nXi=1
aiE(Yi|G)(ω) (P -a.e. ω)
(iv) Y (ω) ≥ 0 (P -a.e. ω) =⇒ E(Y |G)(ω) ≥ 0 (P -a.e. ω)
(v) Z = Z(ω)を G/B1-可測関数,ZY を P -可積とする.
E(ZY |G)(ω) = Z(ω)E(Y |G)(ω) (P -a.e. ω)
Proof of 3.4. (i) Def. 3.4の中で示されている.
(ii) E[E(Y |G) | F ](ω)はZF
fY (ω)P (dω) =
ZF
E(Y |G)(ω)P (dω) (∀F ∈ F)を満たす F-可測関数 fY (ω)のことである.ところがZ
F
E(Y |F)(ω)P (dω) =ZF
Y (ω)P (dω) =
ZF
E(Y |G)(ω)P (dω) (∀F ∈ F)であるから,Radon-Nikodym微分の一意性より fY (ω) = E(Y |F)(ω) (P -a.e. ω)である.
E[E(Y |F) | G](ω)はZG
fY (ω)P (dω) =
ZG
E(Y |F)(ω)P (dω) (∀G ∈)を満たす F-可測関数 fY (ω)のことである.ところが
fY (ω) := E(Y |F)(ω)は,明らかに上式を満たし,F-可測ゆえ G-可測である.Radon-Nikodym微分
の一意性より fY (ω) = E(Y |F)(ω) (P -a.e. ω)である.
(iii) E(Yi|G)は次式を満たす G-可測関数である.ZG
Yi(ω)P (dω) =
ZG
E(Yi|G)(ω)P (dω)よって Z
G
nXi=1
aiYi(ω)P (dω) =
ZG
nXi=1
aiE(Yi|G)(ω)P (dω)Pni=1 aiE(Yi|G)は G-可測であるから,Radon-Nikodym微分の一意性より
E
ÃnXi=1
aiYi
¯G!(ω) =
nXi=1
aiE(Yi|G)(ω) (P -a.e. ω)
(iv) E(Y |G)(ω) = f+Y (ω) − f−Y (ω),G− := ω ∈ Ω|E(Y |G)(ω) < 0 ∈ G とお
27
く.このとき
0 ≤ZG−Y (ω)P (dω) =
ZG−E(Y |G)(ω)P (dω) =
ZG−−f−Y (ω)P (dω) ≤ 0
を得,それゆえ ZG−f−Y (ω)P (dω) = 0
となる.f−Y (ω) ≥ 0に注意すれば f−Y (ω) = 0 on G−,それゆえ,f−Y (ω) = 0 on G
が得られる.
(v) Y = Y +−Y −, Z = Z+−Z−とすると, (iv)より E(Y +|G) ≥ 0, E(Y −|G) ≥0である.(iv)での線形性から各々非負の4つの項の相等性を示せばよい.すな
わち,Y ≥ 0, Z ≥ 0, E(Y |G) ≥ 0としてよい.
Z(ω)の単関数近似をPni=1 gn,i1Gn,i(ω) % Z(ω)とする.ここで gn,i ∈ R1,
Gn,i ∈ Gである.単調収束定理よりZG
Z(ω)E(Y |G)(ω)P (dω) = limn→∞
nXi=1
gn,i
ZG
1Gn,i(ω)E(Y |G)(ω)P (dω)
= limn→∞
nXi=1
gn,i
ZG∩Gn,i
E(Y |G)(ω)P (dω)
= limn→∞
nXi=1
gn,i
ZG∩Gn,i
Y (ω)P (dω)¡E(Y |G)(ω)の定義
¢= limn→∞
nXi=1
gn,i
ZG
1Gn,iY (ω)P (dω)
=
ZG
Z(ω)Y (ω)P (dω) (∀G ∈ G)Z(ω)E(Y |G)(ω)は G-可測であるから,Radon-Nikodym微分の一意性より
E(ZY |G)(ω) = Z(ω)E(Y |G)(ω) (P -a.e. ω)
を得る. 証明終
参考文献
• Billingsley, P. (1995). Probability and Measure (3rd edition). (WileySeries in Probability and Statistics).
• Chung, Kai Lai (2001). A Course in Probability Theory (3rd ed.) Aca-demic Press.
• 西尾真喜子 (1978). 確率論. 実教出版
• 吉田朋広 (2006). 数理統計学.朝倉書店.
28
多変量解析 中間試験 2009
講義担当者: 狩野 裕
1 Aを p次の正方行列で A2 = Aを満たすとする.このとき,Aは正則行
列によって対角化できることを示せ.(Aは対称行列とは限らない)
2 A, B は p 次の実対称行列で A > B > 0 をみたすとする.このとき,
B−1 > A−1 > 0が成立することは講義で証明したとおりである.この結
果についてWoodbury’s identity(Prop.1.10)を用いた別証明を与えよ.
3 Dp, D+p を Duplication Matrix, Kpq を Commutation Matrix, Np =
12(Ip2 + Kpp)とする.講義では DpD
+p = Np が成立することをやや抽
象的な方法で証明した (Prop.1.16).以下に従って,別証明を与えよ.た
だし,Aを任意の p次正方行列とする.
(a) D+p Np = D+p の証明を復習せよ.
(b) DpD+p vec(A) = Npvec(A)を示せ.
4 Yij (i = 1, · · · , p; j = 1, · · · , n)を独立同一にN(0, 1)に従う確率変数と
する.Y.. =1pn
Ppi=1
Pnj=1 Yij , Yi. =
1n
Pnj=1 Yij とおく.
(a) 次の等式を示せ.pXi=1
nXj=1
Y 2ij =
pXi=1
nXj=1
(Yij − Yi.)2 +pXi=1
nXj=1
(Yi. − Y..)2 +pXi=1
nXj=1
Y 2..
(b) 上式右辺の3つの平方和が独立にカイ2乗分布に従うことを証明せ
よ (Prop.2.25を使う).
5 確率変数の列 Xnがある確率変数X に分布収束するとき,Xn は確率
有界であることを ²− δ論法をもちいて正確に証明せよ.
6 Delta Theoremの多変数版 (Prop.2.30) に証明をつけよ.ただし,全微
分可能性の仮定がどのように使われているかに焦点を当てよ.
以上
多変量解析 中間試験 2010
講義担当者: 狩野 裕
数理関係の受講生は 1 と 2 を必答とする.
本試験においては行列・ベクトルの要素はすべて実数であるとする.
1 次の命題について以下の問いに答えよ.
A, B を p× qの行列とする.
AAT = BBT =⇒ ∃R ∈ O(q) st. A = BR
(a) 上記命題の幾何的な解釈を述べよ.
(b) rank(A) = qのとき,上記命題を証明せよ.
(c) rank(A) < qのとき,以下の手順に従って上記命題を証明せよ.
i. 特異値分解 A = PAρAQTA, B = PBρBQ
TB において,
PA = PB, ρA = ρB とできることを示す.
ii. QTA = QTBRとなる q次直交行列Rが存在することを示す.
2 2次元確率ベクトルの列©[Xn, Yn]
Tªが次式を満たすとする.
an
µ∙XnYn
¸−∙μxμy
¸¶L−→ N2
µ∙0
0
¸,
∙1 0
0 1
¸¶(n→∞)
ただし,Xn (n = 1, 2, . . . )は連続型分布で,anは無限大に発散する正
数列である.
(a) 二つの確率変数X, Y が互いに独立にN(0, 1)に従うとき,Z = Y/X
の確率密度関数を導け.
(b) μx 6= 0のとき Yn/Xn の漸近分布を導出せよ.
(c) μx = 0, μy 6= 0のとき Yn/Xn の漸近分布を導出せよ.
(d) μx = 0, μy = 0のとき Yn/Xn の漸近分布を導出せよ.
注:ここでは,確率変数の列 Wnに対して,適当な実数列 bnと定数
c が存在し,bn(Wn − c)がある非退化な分布 F に分布収束するとき,F
をWn の漸近分布ということにする.
3 Xn, Ynを確率変数の列,Xを確率変数,aを実数とする.次の命題を
²− δ論法をもちいて正確に証明せよ.(Prop.2.29 iii)’の証明の様にする)
Xnd−→ X, Yn
P−→ a =⇒ XnYnd−→ aX
4 階数が qである p×q行列Aを A = [A1, A2]と分割する.ただし,A1, A2のサイズはそれぞれ p× q1, p× q2 である.(q = q1 + q2)
p次の対称行列Bi を次式で定める.
B1 = A1(AT1A1)
−1AT1 ,
B2 = A(ATA)−1AT −A1(AT1A1)−1AT1 ,
B3 = Ip −A(ATA)−1ATX を p次元の標準正規分布に従う確率ベクトルとし,
Qi =XTBiX (i = 1, 2, 3)
と定める.このとき,Q1, Q2, Q3は互いに独立にカイ 2乗分布に従うこ
とを証明せよ.また,Qi の自由度を求めよ.
5 T を二項分布B(n, p)に従う確率変数としXn = T/nとおく.
(a) E(Xn)とVar(Xn)を求めよ(答えだけでよい).
(b)√n(Xn−p)は n→∞のときどのような分布に分布収束するか.理
由もあわせて述べよ.
(c) 関数 g(x)は [0, 1]上で定義され x = pで微分可能とする.g(Xn)の
漸近分布を求め,漸近分布の分散が pに依存しない変換 g(x)を求め
よ.(漸近分布については 2 の注を参照のこと)
6 以下の囲み記事は非常に有名でモンティ・ホールの問題と呼ばれている.
この問題がある中学校の数学教科書に(発展)問題として掲載されてい
たとする.家庭教師をしているあなたが生徒からこの問題を質問された
ならば,あなたはどのように説明するか.
あなたはテレビのクイズ番組に参加している.番組の中で3つのド
アがあり,そのうち 1つのドアの後ろには新車が,2つのドアの後ろ
にはヤギがいる.あなたからは,ドアの向こうが何かわからないが,
新車の隠れているドアを開けると新車がもらえる.
あなたが 1つのドアを選んだ後,ドアの後ろに何があるかを知って
いる司会者 (モンティ・ホール)が残りの 2つのドアのうちヤギがい
る方のドアを開けた.そして,今あなたは自分が選んだドアと,残っ
ている開けられていないドアを交換してもよいと言われる.あなたは
交換すべきか.
以上
多変量解析 中間レポート 2011
講義担当者: 狩野 裕
6/13(月)の講義時に紙ベースのレポートを提出
数理以外の受講生
1. 中間試験 2010 4
2. 中間試験 2010 6
数理の受講生
1. 中間試験 2010 3
2. 中間試験 2010 5
3. Prop 2.31(多変量版Delta Theorem)を証明せよ.
6/13の講義資料
http://www.sigmath.es.osaka-u.ac.jp/~kano/lecture/MA/2RA intro.pdf
6/13の参考資料
http://www.sigmath.es.osaka-u.ac.jp/~kano/lecture/MA/regression.pdf
1. 確率変数の列 Wn に対して,適当な実数列 bn と定数 c が存在し,
bn(Wn − c)がある非退化な分布 F に分布収束するとき,F をWnの漸近
分布という.
2. 確率変数の列 Wn に対して,適当な実数列 bn と定数 c が存在し,
bn(Wn− c)がある非退化な分布 F に分布収束するとき,F を bn(Wn− c)の漸近分布という.
3.√n(θ − θ) d−→ N(0,σ2)のとき,θの漸近分布はN(0,σ2)である.
4.√n(θ − θ) d−→ N(0,σ2)のとき,θの漸近分布はN(θ,σ2/n)である.
5.√n(θ−θ) d−→ N(0,σ2)のとき,
√n(θ−θ)の漸近分布はN(0,σ2)である.
1. 母相関係数を ρとする.正規性の仮定の下,Pearsonの標本相関係数 rに
ついて次式が成立することが分かっている.ただし,nは標本の大きさで
ある.√n(r − ρ) d−→ N(0, (1− ρ2)2) (n→∞)
g(x)を x = ρで微分可能な関数としたとき g(r)の漸近分布を求め,漸近
分布の分散が ρに依存しない変換 g(x)を求めよ.
2. T を二項分布B(n, p)に従う確率変数としXn = T/nとおく.
(a) E(Xn)とVar(Xn)を求めよ(答えだけでよい).
(b)√n(Xn−p)は n→∞のときどのような分布に分布収束するか.理
由もあわせて述べよ.
(c) g(x)を x = pで微分可能な関数としたとき g(Xn)の漸近分布を求
め,漸近分布の分散が pに依存しない変換 g(x)を求めよ.
Recommended