분산, 공분산 행렬...너무 어렵네요.

[박상일]

Davidian 교수님의 강의록을 계속 읽고 있습니다. 현재 chapter 9.인데

진도를 나가면서 항상 걸리는게 있네요.

분산, 공분산행렬의 구조(대칭, 혼합(복합?)대칭, diagonal..)에 대해서 언급이 자주 되는데...

이 구조에 따라서 모델링 방법이 달라지나요?

기본 지식도 없이 이해하려고 하니까 더군다나 영어라서 많이 어렵네요.

분산/공분산 행렬은 어느정도 이해를 하겠는데,

그 구조에 대해 가정을 한다면 그 가정하에서 선택할 수 있는 모델이 다르다는 이야기인지....

AIC, BIC, ML, REML...

제가 기존에 알고 있던 통계방법은 단변량(일변량)의 확률분포를 가정하고(보통 정규분포나 샘플수가 적으면 t 분포겠죠?)

표본의 평균과 표본의 표준편차를 이용해서 표본평균의 분포를 구하고 그 분포의 95% 신뢰구간을 구한다고 이해하고 있습니다.

그렇다면 위의 것들 특히 ML과 같은 것이 다변량, 혹은 다차원 분포에서의 확장이라고 생각하면 되나요? 일변량에서 쓰이는 추정법을 다차원으로 확대해서 쓴다....?????

조금 다르다는 느낌이 드는 것은 계수의 수나 설명변수를 선택하고 그것으로 모델링을 하는데, 모델마다 설명변수의 수와 종류가 다를테니 각 모델마다 위의 값들을 구해 가장 적합한 모델을 찾는다....제대로 감은 잡은 것인가요?

특히 최대 우도 추정(ML)이라는 것이 , 어차피 모집단의 분포의 특성은 알수 없고, 샘플의 분포 특히 분산으로 모집단을 추정하는데, 표본 분산은 표본평균과 상관관계가 있기 때문에 편향추정량이 되고, 따라서 표본분산만으로 모집단을 추정하는 것은 정확하지 않다.표본분산을 가지고 표본을 설명할때 가장 확률이 높은 값을 추정하는 법(베이지안 추정과 같은 것인가요?)이 최대우도 추정법이다..이렇게 이해하고 있으면 어느정도 감은 잡은 것인가요...?

학부적 지식도 없는데...고급 통계를 이해하려고 하니 심신이 고달프네요.

강의록을 한번쯤 정독을 하고 분산,공분산구조를 다시 공부할까 하는데

그 개념에 대한 이해가 없으니 계속 무엇인가 허전합니다..

[박상일]

설명하신것은 이해가 되는것 같아요. 저는 MLE가 종모양일지 접시모양일지 아니면 밥그릇 모양일지는 모른다는 가정하에 주어진 표본들이 표집될 확률이 가장 큰 그릇 모양을 찾는 통계방법(통계량?) 생각하고 있었습니다. 말씀하신대로라면 제가 잘못 알고 있었네요. 그릇모양은 정해놓고 모수값을 추정하는 방법중 하나라는 말씀이시군요. (스마트폰으로 글을쓰다보니 오타가 생깁니다. 죄송합니다)

[안재형]

정규분포인 경우 그렇고요. MLE는 항상 분포를 가정하고 거기에 있는 mu, sigma같은 parameter를 추정합니다.

[안재형]

아... 그리고 공분산행렬의 구조는 중요할수 있습니다. 두 점 y1, y2가 관찰되었을때 왠만한 통계량은 보통 y1, y2의 선형결합니다. 분산을 구해야, "통계치/표준오차"로 t-검정도 할수 있습니다. 그런데 여기서 공분산행렬의 구조는 상당히 중요한 문제입니다.
통계치=y1+y2 라면 var(통계치) = var(y1) + var(y2) + 2*cov(y1,y2) 입니다. 공분산 행렬의 구조가 diagonal 즉 독립이어서 공분산이 모두 0라면 cov(y1,y2)가 0이 되겠고, 양수가 될수도 있고, 음수가 될수도 있습니다. 그러면 "통계치/표준오차"의 값이 달라지고 해당되는 p-value가 달라집니다. 그래서 상당히 중요한 문제일수 있습니다.

[박상일]

그렇군요. 앞부분에서 분산 공분산 행렬에 대해서 꽤 많은 지면을 할애해서 설명하셨는데. 그만큼 중요하군요. symmetry. compound symmetry. ...에 따라서 모델을 설명하시는것 같았는데 왜 그렇게 하시는지 잘 감이 잡히지 않았습니다. 몇번은 다시 읽어봐야 할것 같습니다. 감사합니다.

[안재형]

공분산행렬은 항상 symmetry입니다. (i,j)가 (j,i)하고 같거든요. compound symmetry는 그냥 가장 단순한 공분산행렬입니다. 모든 공분산이 같죠. 추정해야할 parameter가 너무 많아지면 좋을건 없거든요.