촐레스키 분해

 

이번 글은

2022.09.16 - [분류 전체보기] - 상관계수 행렬은 positive definite!

상관계수 행렬은 positive definite!

에서 이어집니다. 저번 글에서 

• positive semidefinite라는 정의
• 상관계수 행렬이 positive semidefinite 라는 것

을 복습했습니다. 

 

 

촐레스키 분해

 

Positive Semidefinite에는 아주 강력한 성질이 있는데요, 바로 촐레스키 분해(Cholesky decomposition)가 가능하다는 것입니다. 

촐레스키 분해(Cholesky Decomposition)

positive semidefinite 행렬 $\mathbf{A}$가 실수 원소로 이루어져 있다고 할 때,

$$\mathbf{A} = \mathbf{L}\mathbf{L}^t \tag{1}$$ 
로 분해된다. 여기서, $\mathbf{L}$은
○ 하삼각행렬(lower triangular matrix)이다
○ $\mathbf{L}$의 대각 원소는 $0$ 이상이다.

만일, 조건이 더 엄격해서 positive definite이면 행렬 분해 시 (1)이 유일함 

증명은 우선 생략토록 하겠습니다. 여러 행렬 분해 기법을 토대로 나온 결과물이라, 지면을 많이 차지할 것 같습니다. 나중에 기회 되면 증명해보도록 하겠습니다.

 

 

상관계수 행렬은 촐레스키 분해 가능!

 

그런데, 상관계수 행렬은 positive semidefinite입니다. 따라서 위의 촐레스키 분해가 가능하죠. 예를 들어볼까요?

 

2차원 상관계수 행렬

변수 $X_1, X_2$의 상관계수를 $\rho$라 합시다. 자기 자신과의 상관계수는 당연히 1이므로 변수 $X_1,X_2$에 대한 상관계수 행렬은

$$\mathbf{R} = \begin{pmatrix} 1&\rho\\ \rho&1 \end{pmatrix} $$

입니다. 얘를 수식 (1)처럼 분해해 보도록 하죠. 수식(1)의 하삼각행렬을

$$\mathbf{L} = \begin{pmatrix} a&0\\ b&c \end{pmatrix} $$

이라 하면, 촐레스키 분해에 의해

$$ \mathbf{R} = \mathbf{L}\mathbf{L}^t$$

즉,

 

$$
\begin{pmatrix} 1&\rho\\ \rho&1 \end{pmatrix} 
=
\begin{pmatrix} a&0\\ b&c \end{pmatrix}
\begin{pmatrix} a&0\\ b&c \end{pmatrix}
=
\begin{pmatrix} a^2& ab\\ ab & b^2+c^2 \end{pmatrix}

$$

입니다. 따라서

$$\begin{cases} a^2 =1 \\ ab=\rho \\ b^2+c^2 =1 \end{cases}$$

이므로

 

$$ a=1~,~ b=\rho~,~ c=\sqrt{1-\rho^2}$$

입니다.

 

즉, 

$$\mathbf{L} = \begin{pmatrix} 1&0\\ \rho &\sqrt{1-\rho^2} \end{pmatrix} $$

입니다.

 

그런데 이 행렬이 원소들을 보시면,

[수학의 재미/확률분포] - 상관관계가 있는 두개의 표준정규분포 난수 구하기에서 구했던 상관관계있는 표준 정규분포 난수에서 다뤘던 식에서 나왔던 것들입니다.

 

 

 

3차원 상관계수 행렬

통계 변수 $X_1, X_2, X_3$ 에 대해 

$$\mathbb{Corr}(X_1, X_2)=\rho_{12}~,~ \mathbb{Corr}(X_2, X_3)=\rho_{23}~,~\mathbb{Corr}(X_1, X_3)=\rho_{13} $$

이라 합시다.

그러면 상관계수 행렬 $\mathbf{R}$은
$$\mathbf{R} = 
\begin{pmatrix}
1 &\rho_{12} &\rho_{13} \\
\rho_{12} &1 &\rho_{23} \\
\rho_{13}&\rho_{23} &1
\end{pmatrix}
$$

이 행렬이 아래와 같이 촐레스키분해 된다고 해볼까요?

 

$$
\begin{pmatrix}
1 &\rho_{12} &\rho_{13} \\
\rho_{12} &1 &\rho_{23} \\
\rho_{13} & \rho_{23}&1 
\end{pmatrix}
=
\begin{pmatrix}
a &0 &0 \\
b &c &0 \\
d &e &f
\end{pmatrix}

\begin{pmatrix}
a &b &d \\
0 &c &e \\
0 &0 &f
\end{pmatrix}
$$

좌변과 우변을 원소끼리 비교하면

 

$$
\begin{cases}
a^2 =1\\
ab =\rho_{12}\\
ad = \rho_{13}\\
b^2+c^2 = 1 \\
bd+ce =\rho_{23}\\
d^2+e^2+f^2 =1
\end{cases}
$$

 

이죠. 이것을 풀면

$$
\begin{align}
a &= 1 \\
b&= \rho_{12}\\
d&=\rho_{13}\\
c& = \sqrt{1-\rho_{12}^2}\\
e &= \textstyle{\frac1c}(\rho_{23}-\rho_{12}\rho_{13})\\
f &= \sqrt{1-\rho_{13}^2 -e^2 }
\end{align}
$$

 

이 값들이 제대로 나오는 값일까요? $a, b, c, d, e$는 사칙연산으로 구하면 나오는 값이지요. $c$가 보장되는 이유는 $c$의 root 안의 숫자 $1-\rho_{12}^2 $이 0보다 크거나 같기 때문입니다. 그러면 $f$는 어떨까요? $f$의 root안 숫자

$$ 1-\rho_{13}^2 -e^2 $$

이 0보다 작지 않아야 합니다. 간단히 살펴보도록 하죠.

 

$$
\begin{align}
1-\rho_{13}^2 -e^2 &=  1-\rho_{13}^2 - \frac1{c^2}(\rho_{23}-\rho_{12}\rho_{13})^2\\
& = 1-\rho_{13}^2 - \frac{(\rho_{23}-\rho_{12}\rho_{13})^2}{1-\rho_{12}^2}\\
& = \frac{1}{1-\rho_{12}^2} (1-\rho_{12}^2-\rho_{13}^2-\rho_{23}^2 +2\rho_{12}\rho_{23}\rho_{13})\\
& = \frac{1}{1-\rho_{12}^2} \det \mathbf{R} \geq 0
\end{align}
$$

입니다. 마지막 부등식은 $\det \mathbf{R} \geq 0$ 인 사실이 쓰였는데요. 이는 아래 더보기를 클릭해보세요.

 

 

FACT.  positive semidefinite 행렬 $\mathbf{A}$에 대해 $\det \mathbf{A} \geq 0$ 이다.

 

Why?) 행렬 $\mathbf{A}$는 대칭행렬이므로 

2022.06.29 - [수학의 재미/행렬 이론] - 대칭행렬을 분해합시다 - 고유값 분해(eigen decomposition) #2 에 의해

$$ \mathbf{A} = \mathbf{Q}\mathbf{D}\mathbf{Q}^t$$

가 성립합니다. 여기서 $\mathbf{Q}$는 직교행렬로서, 가역행렬이고 $\det \mathbf{Q}=\pm 1$을 만족합니다.

또, $\mathbf{D}$는 eigenvalue $\{\lambda_i}$ 들을 대각원소로 하는 대각행렬이고 행렬식은

$$\det \mathbf{D} = \Prod \lambda_i $$

이죠.

그런데, 또 

2022.07.04 - [수학의 재미/행렬 이론] - 행렬이 양수다? positive semidefinite 를 읽어보면, positive semidefinite의 모든 eigenvalue은 음수가 아닙니다. 따라서 $$\det \mathbf{D} \geq 0$이죠. 

 

결론적으로,

$$\det\mathbf{A} = \det \mathbf{Q} \det\mathbf{D} \det\mathbf{Q^T} = (\pm 1)^2 \det \mathbf{D} \geq 0$$

입니다. 

 

 

다음 글에서는 촐레스키 분해는 언제 긴요하게 쓰이는지 한번 보도록 하겠습니다.