상관계수 행렬은 positive definite!

 

 

이번 글은

2022.07.04 - [수학의 재미/행렬 이론] - 행렬이 양수다? positive semidefinite

행렬이 양수다? positive semidefinite

에서 이어집니다.  

 

사실 positive definite의 개념을 설명한 이유는 

상관계수 행렬은 positive definite 이다.

를 설명하기 위해서였는데요, 제가 포스팅을 이어나가지 못하고 있다가 지금에서야 알아차리고 쓰고 있습니다.

얼른 설명해 보도록 하죠.

 

상관계수 행렬에 대해서는

2022.07.05 - [수학의 재미/행렬 이론] - 상관계수와 상관계수 행렬 #1

상관계수와 상관계수 행렬 #1

에서 설명한 바 있습니다. 복습을 해보도록 할게요.

 

 

 

---

상관계수 행렬

 

$p$개의 변수(features) $X_1, X_2, \cdots, X_p$ 가 있고 각각이 $n$개의 관찰 데이터 샘플을 가지고 있는 상황에서, 즉

 

$$
\pmatrix
{
\mid  & \mid &  & \mid \\
X_1 & X_2 & \cdots & X_p \\
\mid  & \mid & & \mid 
} =

\pmatrix
{
x_{11} & x_{12} & \cdots & x_{1p} \\
x_{21} & x_{22} & \cdots & x_{2p} \\
\vdots & \vdots &\ddots  &\vdots \\
x_{n1} & x_{n2} & \cdots & x_{np} \\
}
$$

에서 상관계수 행렬 $\mathbf{R}$는 다음과 같이 구합니다. 각 $i\leq p$에 대해 $\mathbb{E}(X_i)=\mu_i, \mathbb{V}(X_i)=\sigma_i^2$이라 하면,

 

상관계수 행렬

$$ \mathbf{R} = \frac{1}{n} \mathbf{Z}^T \mathbf{Z} \tag{1} $$

$$ \mathbf{Z} = \pmatrix { \mid & \mid & & \mid \\ \frac{X_1-\mu_1}{\sigma_1} & \frac{X_2-\mu_2}{\sigma_2} & \cdots & \frac{X_p-\mu_p}{\sigma_p} \\ \mid & \mid & & \mid } $$

 

 

 

이제 positive semidefinite 행렬을 살펴보도록 하죠.

 

Positive Semidefinite

 

다음의 성질을 만족하는 정방 행렬을 positive semidefinite라 합니다.

어떤 $ n \times n$ 정방 행렬 $\mathbf{A}$가 positive semidefinite라는 정의는

● $\mathbf{A}$는 대칭 행렬이고,

● 임의의 벡터 $\mathbf{v} \in \mathbb{R}^n$에 대하여, $\mathbf{v}^T \mathbf{Av} \geq 0$이다. 

 

 

상관계수 행렬은 왜 positive semidefinite인가?

앞서 말했듯이 $p$개의 통계 변수 $X_1, X_2,\cdots, X_n$ 이 $n$개의 sample을 가지고 있을 때, 이들 각각의 Z-score인 $Z_i$들로 이루어진 행렬 $\mathbf{Z}$에 대해 상관계수 행렬 $\mathbf{R}$은

 

$$ \mathbf{R} = \frac{1}{n} \mathbf{Z}^t \mathbf{Z} $$

이죠. (수식(1) 참고) $\mathbf{R}$은 $p \times p$ 행렬입니다.

 

첫 번째 조건.  상관계수 행렬은 대칭행렬이다.

$$
\begin{align}
\mathbf{R}^t & = \frac1n \left(\mathbf{Z}^t \mathbf{Z}\right)^t \\
 & =  \frac1n \mathbf{Z}^t \left(\mathbf{Z}^t \right)^t \\
& = \frac1n \left(\mathbf{Z}^t \mathbf{Z}\right) = \mathbf{R}
\end{align}
$$이므로 $\mathbf{R}$은 대칭행렬입니다. 여기서 $(\mathbf{AB})^t = \mathbf{B}^t \mathbf{A}^t$ 와 $(\mathbf{A}^t)^t = \mathbf{A}$  라는 관계식이 쓰였습니다.

 

 

두 번째 조건.

이때, 임의의 벡터 $\mathbf{v}\in\mathbb{R}^p$에 대하여

 

$$
\begin{align}
\mathbf{v}^t \mathbf{R} \mathbf{v} & = \mathbf{v}^t \frac1n \mathbf{Z}^t\mathbf{Z} \mathbf{v}\\
& = \frac1n \mathbf{Zv}^t \mathbf{Zv} \\
& = \frac1n \|\mathbf{Zv}\|^2 \geq 0
\end{align}
$$

입니다. 마지막 식은 $\mathbf{a}^t \mathbf{a} = \|\mathbf{a}\|^2$ 을 이용했습니다.

 

 

따라서, 상관계수 행렬은 positive semidefinite입니다. 

 

그런데, 이 사실을 왜 굳이 한 꼭지를 들여 설명을 해야만 했을까요? 바로 positive semidefinite가 가진 강력한 성질을 상관계수 행렬이 물려받을 수 있기 때문이죠.

 

 

과연 positive semidefinite는 어떤 강력한 성질을 가지고 있을까요?