공분산과 공분산 행렬
어떤 현상이나 타깃을 관찰하다 보면 여러 특징(features)들이 있습니다. 예를 들어 사람을 관찰할 경우 키, 몸무게, 나이 등등 학생 학습 성취도를 관찰할 경우: 국어 점수, 수학 점수 등 그런데 경험적으로 키가 큰 사람이 몸무게도 많이 나가고, 수학 점수가 뛰어난 학생이 과학 점수도 좋은, 이른바 양의 상관관계를 띄는 경우도 있고, 같은 거리를 가는데 느리게 가면 시간이 많이 걸리는 등 속도와 시간의 음의 상관관계도 있고, 또 아예 관계가 없어 보이는 경우도 있습니다. 두 특징(또는 변량, 변수)의 관계를 따지는 유명한 방법이 공분산을 산출해 보는 것입니다. 두 변수 $X, Y$의 공분산은 아래와 같이 정의합니다. $X,Y$의 공분산(covariance) $X, Y$의 표본(sample, 즉 관찰..
2022. 7. 4.
트렌드 직선의 비밀(선형회귀) #2
이 글은 2022.05.10 - [수학의 재미] - 트렌드 직선의 비밀(선형회귀) 에서 이어집니다. $n$개의 데이터 $(x_1,y_1), (x_2,y_2),\cdot, (x_n,y_n)$ 이 있고, 이 데이터를 잘 설명하는 직선의 식을 $y=ax+b$라 할 때 우리의 목적은 $$f(a,b) = \sum_{i=1}^n (y_i -(ax_i+b))^2 $$ 를 최소로 하는 $a$와 $b$를 찾는 것입니다. 최솟값을 찾을 땐 보통 미분을 하여 미분값이 0이 되는 점을 찾습니다. 하지만 위의 식은 $a,b$ 이변수 함수인데도 가능할까요? 가능합니다. 대신 미분값이 성분이 2개인 벡터로 표시됩니다. 이를 gradient라 하고 다음처럼 정의합니다. $$\nabla f(a,b) = \Big( \frac{\part..
2022. 5. 11.
