숫자라고해서 다 같은 건 아니다 - 세번째

지난번에 참고한 논문에 보면 몇가지 가설 검정을 실시했다.

강현철 외 4명, 2008년, "RDD 전화조사와 주요 결과", 조사연구, 9권1호.

논문 내용은 우리나라 조사회사들이 진행하는 전화조사의 대표성과 편의에 대한 내용이다.
결론을 얘기하면, 결과가 서로 다르다... -_-
이런 결과를 볼 때 마다 느끼는건 조사회사는 도무지 뭐하는 회사인지 모르겠다는거...

아무튼 자세한 내용은 논문을 참고하기 바라고,
여기선 조사회사가 관행적으로 자행하는 척도 문제에 대해서 접근하겠다.

조사회사가 관행적으로 자행하는 척도 문제?
다름아닌 리커트 척도 얘기다.

위 논문에 나온 통계를 갖고 예제를 만들어 봤다.
어제는 χ²-검정을 다뤘는데,
문항이 5개인 리커트 척도이기에 5점 척도로 대표값을 부여하고,
두 집단이므로 T-검정(양측)을 진행했다.
표본크기가 큰 경우는 Z-검정에 근사하니 Z-검정(양측)도 함께 계산했다.

※ 주의 : 자료 인용에 오류가 있을 수 있습니다.

엑셀에서 도수분포표를 갖고 평균 및 분산 구하는 방법은 이미 알고 있을테니,
검정통계량과 P-값 구하는 수식만 살펴보면...

m8 셀 (T-검정, 검정통계량)
=ABS((K8-K9)/(SQRT(((H2-1)*L8^2+(H3-1)*L9^2)/(H2+H3-2))*SQRT(1/H2+1/H3)))

m10 셀 (T-검정, P-값)
=TDIST(M8,H2+H3-2,2)

n8 셀 (Z-검정, 검정통계량)
=ABS((K8-K9)/SQRT(L8^2/H2+L9^2/H3))

n10 셀 (Z-검정, P-값)
=2*(1-NORMSDIST(N8))

그 결과 T-검정(양측), Z-검정(양측) 모두 χ²-검정과 같이
유의수준 0.05에서 귀무가설을 기각 할 수 없는 것으로 나타났다.

음...
리커트 척도에 대표값을 부여해도 독립성검정과 유사한 결과가 나오네?
정말 그럴까?

위 과정이 인정을 받으려면 다른 자료에서도 동일한 결과를 얻어야 한다.
이럴 땐 되고, 저럴 땐 안 되면 일관성이 없으니 그 결과에 신뢰를 보낼 순 없기 때문.

그래서 위 논문에 나온 다른 자료를 참고해 동일한 과정을 거쳤다.
결과는...
익히 말했듯이, 그때그때 달라요...

※ 주의 : 자료 인용에 오류가 있을 수 있습니다.

유의수준 0.05에서 χ²-검정은 귀무가설을 기각 할 수 없다고 나왔으나,
T-검정(양측), Z-검정(양측)은 귀무가설을 기각 할 수 있다고 나왔다.
즉 서로 검정 결과가 다르게 나온 것이다.

물론 동일한 자료를 갖고서도 어떤 분석을 적용하냐에 따라 다른 결과가 나올 수 있다.
통계에서는...

그러나 통계학에서는 순위척도를 등간척도라고 우기진 않는다는 것이다.
그렇지만 조사회사에서는 이를 무시한다.

그러기에 조사회사가 통계를 오용하고 있다고 얘기하는 것이고,
'고문'이라고 명찰 달고 있는 교수들이 돈벌이만 생각했지 제 할 일은 방기하고 있다고
얘기하는 것이다.

위에 처럼 Z-검정, T-검정은 그나마 양반이다.
분산분석 심지어 요인분석도 돌린다.
한마디로 통계학 교과서를 개무시하고 있는 것이다.
조사회사가.

그리고 더 이해되지 않는 것은...
왜 사회과학 하는 넘들은 이 문제를 심각하게 받아들이지 않는지 도무지 이해되지 않는다.