응답율 낮아 표본 흩어져서 신뢰도 저하

안풍(安風 안철수)이 불면서, 안철수와 박근혜의 대선 양자대결 여론조사가 자주 언론에 등장한다. 추석 전에는 안철수와 박근혜가 박빙을 이뤘다는 여론조사와 안철수가 박근혜를 2배 차이로 따돌렸다는 MBC 여론조사도 있었고, 추석이 지나고 조선일보, 서울신문, 국민일보가 “박근혜가 안철수를 이겼다”는 여론조사 결과를 보도했다. 왜 여론조사 결과는 서로 다를까 여론조사는 믿을만한가

MBC는 지난 10일 “안철수 서울대 교수의 지지율이 박근혜 한나라당 전 대표보다 두 배 가까이 높은 것으로 나타났다”고 여론조사 결과를 발표했다. 지난 8일~9일까지 전국 19세 이상 성인남녀 1537명을 대상으로 휴대전화 여론조사(표본오차95% 신뢰수준 오차 2.5%)를 실시한 결과, 안철수와 박근혜의 1대1 가상대결에서 안철수는 59%, 박근혜는 32%가 나왔다는 보도이다. 조사기관은 엠비존C&C이다. 여론조사는 질문에 따라 결과가 확연히 달라진다. 같은 조사기관에서 실시한 “차기 대선에서 선호하는 후보를 묻는 질문”에 대해서 박근혜는 29.8%, 안철수는 28.4%로 나온 것이다.

박근혜와 안철수에 대한 각종 언론 여론조사 결과가 상이하다. 그 이유는 응답률에 있었다. 낮은 응답률로 인해 표본의 동질성이 흩어져서 여론조사의 신뢰성이 떨어진 것이다고 김철관 회장이 지적했다.
▲박근혜와 안철수에 대한 각종 언론 여론조사 결과가 상이하다. 그 이유는 응답률에 있었다. 낮은 응답률로 인해 표본의 동질성이 흩어져서 여론조사의 신뢰성이 떨어진 것이다고 김철관 회장이 지적했다.

◆여론조사 믿을만한가

본래 여론조사는 통계 조사 방법으로 매우 과학적이므로 믿을 만하다. 그런데 왜 언론이 쏟아내는 여론조사는 서로 다르고, 믿을 만하지 못할까 지난 지방선거에서도 여론조사와 결과는 전혀 달랐다. 이 해답은 응답률에 있다.

2007년 선거관리위원회는 공직선거법 제108조(여론조사의 결과공표금지 등) 5항에 ‘응답률’이라는 개념을 새롭게 도입했다. 응답률은 표본을 얻기까지 시도한 모든 경우의 숫자를 표시하는 것이다. (표본이 1000명이고, 응답률이 15%이면, 표본 1000명을 얻기 위해서 6667명에게 전화를 시도했다는 의미다.)

보통 한국의 유선전화 응답률은 15%로 현저히 낮기 때문에 미리 정해진 표본에 오차가 발생할 수 밖에 없는 셈이다. 지난 12일 서울신문이 여의도리서치와 전국 성인남녀 2029명을 대상으로 실시한 여론조사에서 박근혜는 46.1%, 안철수는 44.3%로 나타났다고 한다. 서울신문측은 “응답률은 조사기관에 물어보질 않아서 모르겠다”면서 “보통 전화 응답률은 20%, ARS 응답률은 15%로 낮다. 표본이 2029명이라는 것은 2029명에게 전화로 확인했다는 의미다”고 설명했다.

추석 전, MBC는 “안철수가 박근혜를 2배 차이로 이기고 있다”고 여론조사 결과를 발표했고, 추석 후 서울신문은 “박근혜가 안철수를 근소한 차이로 이기고 있다”고 여론조사 결과를 발표했다. 추석을 앞두고 각종 서민 복지 혜택이 쏟아졌다고 하지만, 이해가 안되는 수치다. MBC와 서울신문 모두 ‘박근혜와 안철수’의 양자대결에 대한 질문이었다. 상반된 결과가 나온 이유는 ‘조사방법’이다. MBC는 휴대전화를 이용했고, 서울신문은 유선전화를 한 것이다.

이에 대해 김철관 인터넷기자협회 회장은 “추석 동안 친지들이 모인 곳에서 정보의 다양한 교류가 진행되고, 더불어 안철수에 대한 부정적인 이미지가 작용되면서 과외변수가 발생한 것일 수 있다”면서 “안철수가 박원순에게 시장직을 넘기면서 정치에 뜻이 없다는 여론이 형성됐거나, 기업가로서 새로운 변수가 작용해 안철수 여론이 낮아진 것일 수도 있다”고 해석했다.

◆문제는 표본의 동질성

추석이 끝나고, 서울신문은 박근혜 46.1% 안철수 44.3%, 조선일보는 박근혜 45.2% 안철수 41.2%, 국민일보는 박근혜 49.8% 안철수 40.1%의 여론조사 결과를 발표했다. 서울신문은 표본 2029명, 조선일보는 표본 1000명, 국민일보는 표본 700명에게 조사했다. 이러한 발표의 2가지 공통점은 첫째 박근혜가 이기고 있다는 것, 둘째 응답률이 없다는 것이다.

한국의 여론조사가 조사기관마다 상이하고, 실제 결과와 상당한 오차가 발생하는 것과 관련해 김철관 회장은 표본의 동질성 부족이라고 지적했다. 김 회장은 “가령 지방선거에서 표본조사를 할 때, 출구에서 나오는 14번째 사람을 한다고 정했으면, 계속 14번째 사람을 조사해야하는데, 14번째 사람이 응답을 하지 않았을 때 그 다음 사람(15번째)을 조사하면서 표본의 동질성이 흩어지는 것이다”고 설명했다. 14번째 사람이 응답을 하지 않을 경우, 다시 14번째 사람을 조사해야하는데, 15번째 사람을 조사하면서 표본이 흩어졌다는 의미다.

김철관 회장은 “표본을 700명으로 하든, 1000명으로 하든, 2000명으로 하든 그것은 오차범위가 줄어드는 것일 뿐, 여론조사 결과의 신뢰성과는 다른 문제다”면서 “여론조사 결과의 신뢰성은 표본에 달려있다. 전화조사를 할 경우 연령대별, 지역별, 직업별로 동일한 표본 1000명을 선별해서 여론조사를 할 경우, 어떤 조사기관이 하더라도 동일한 결과가 나오는데, 그렇지 못한 것은 응답을 하지 않는 표본이 발생하면서 무응답에 대한 동일한 표본을 채취하지 못한 채, 무작위로 전화를 하면서 표본의 동질성이 사라진 것이다”고 말했다.

또 김 회장은 “여론조사의 경우 표본 채취에 대해서 전문적인 교육을 받은 조사관에 의해서 철저히 실시될 필요가 있다”면서 “일부 여론조사에 대한 전문교육을 받지 못한 조사원이 조사를 하면서, 표본상 노인이 전화응답을 했을 때 여론조사를 해야하는 데도 불구하고 아이가 전화를 받을 경우 여론조사 표본에 넣으면서 표본의 신뢰성이 흐려진 것이다”고 말했다.