설문조사 표본오차와 신뢰수준 알 뜻 모를듯한 내용을 풀어봅니다

설문조사는 그다지 신뢰하지 않는 편인데요,

선거를 앞두고 업무를 볼 수 없을 정도로 많은 설문조사가 시도 때도 없이 삥- 삥- 울립니다.

업체 전화인가 하고 받아보면 기계음이네요.

대외업무를 하다 보면 모르는 전화라도 안 받을 수가 없는데

참 난감합니다.

 

 

표본조사는

설문조사를 조사대상자를 전체에게 질문한다면

정확한 데이터를 얻을 수 있을 겁니다.

하지만 전체 대상자를 상대로 조사를 할 수도 없고

할 수 있다고 하더라도 시간과 비용을 생각한다면 불가능하겠죠.

 

일부분을 상대로 조사를 하다 보니 전체 대상자를 조사한 값과 차이가 날 수밖에 없는데요.

이 차이를 표본오차라고 부릅니다.

 

신뢰수준

신뢰도는 같은 설문조사를 100번 했을 때 오차범위 내 같은 결과가 얼마나 나오는지를 말합니다.

조사 결과 95% 신뢰수준에 표본오차 +- 5.0%p라는 보도는 많이 들었을 텐데요,

신뢰수준 95%는 설문조사를 100번 진행하면

오차범위 내에서 동일한 결과가 95번 나온다는 얘기가 됩니다.

5%p 오차범위니까 85~95%까지 움직일 수 있고

다르게 말하면 5%p의 오차로 다른 결과가 나올 수도 있다는 거죠.

 

신제품의 반응을 알기 위해 설문조사를 생각한다면

설문조사 그 자체를 설계가 필요합니다.

복잡하고 머리 아픈 많은 공식이 있죠.

 

설문조사는 반응을 알아보기 위해 임의로 대상을 선정해서 참고할 수도 있지만

선거 조사 같은 대외적으로 발표를 하기 위해서는 기준에 맞아야 합니다.

복잡한 공식이 필요합니다.

 

설문조사는 신뢰수준과 오차범위를 설문자가 정하게 됩니다.

그러면 조사를 해야 하는 표본 수가 나오게 되죠.

막상 설문조사를 하더라도 전화나 문자로 설문조사를 받으면 모두 다 감사하게 응하는 것은 아니죠.

그래서 응답률은 10~15%로 잡습니다.

실제 설문조사 대상은 표본 수에 10%를 더해서 조사하게 됩니다.

이런 머리 아픈 공식을 이야기해봐야 통계학을 배우는 전문가들 말고는 알 수가 있을까 싶네요.

 

그래서 선거 여론조사에는 조사표본을 정해놓았습니다.

대통령선거 : 1,000명

광역단체장 선거 : 800명

지역구 국회의원선거 : 500명

지역구 지방의회의원 선거 : 300명

 

그런데 검색을 하다 보면 신뢰수준을 올리면 오차범위는 늘어난다고 하는데

신뢰라는 의미를 생각하면 신뢰를 올리는데 왜 부정적인 오차범위가 넓어질까요.

통계학을 모르는 입장에서는 신뢰라는 말을 이해하지 못했다고 해야겠습니다.

 

 

신뢰수준(confidence level)을린다는 것은

조금 더 풀어 설명하면 신뢰수준은 적용 범위를 넓힌다는 뜻인데요,

이렇게 설명하고 있습니다.

 

서울에서 50개 지점의 온도를 재었더니 평균 3.0도 나왔고

오차범위가 1도라면 적용 범위는 2~4도가 됩니다.

그런데 그 지점에는 김포공항(1.3도)은 포함되어 있지 않다는 거죠.

여기서 신뢰수준을 99%까지 넓혀 1.~5.0도 사이를 포함한다면 김포공항도 포함할 수 있겠습니다.

그래서 이런 지점까지 넓혀서 적용하는 것을 신뢰수준을 올린다고 말합니다.

그러니 50개 지점에서 체크한 온도를 가지고 더 넓은 범위에 적용하려면

당연히 표본오차는 커지게 마련입니다.

이런 표본오차를 안정되게 하기 위해서는 표본 수를 더 높여야 하겠죠.

 

설문조사 결과를 신뢰하지 않는다고 말씀드렸는데

설문조사에 응한 적이 있었습니다.

기계가 아닌 사람이라 어쩔까 하다 응하게 되었습니다.

그런데 보기를 읽어주는데 특정 단어만 기억을 하겠더군요.

 

몇 가지의 예를 듣고 어떤 것이 맘에 드는지 말해보라고 하는데

앞의 보기는 기억나지 않고 알기 쉬운 것만 생각이 나서

이것은 기억하기 좋은 말을 만든 보기가 당첨이 될 수밖에 없는 구조라는 걸 알게 되었죠.

 

보기 4개를 읽어주면 앞에 있는 것 몇 개나 기억할 수 있을까요.

닭 소 말 상어 같은 뻔한 보기가 아닌 정책 관련 같은 것을 한 번 듣고 내용을 이해할 수가 없죠.

내가 어떤 것에 대답했는지도 모르는데 조사결과를 믿을 수 있을까요?

 

2020/01/31 - [일상다반사] - 짜증 나는 선거여론조사 전화 이거 불법은 아닌가요