기자명 황여준 기자 (yjyj0120@skkuw.com)

질문 유형·순서까지 여론조사 결과에 큰 영향
ARS와 면접원 조사, 정확성 두고 여론조사 의견 대립해

대통령 지지율처럼 질문 내용이 명확해 보이는 주제조차 여러 여론조사가 서로 정해진 오차 범위를 벗어난 차이를 보이는 경우가 있다.
조국 전 법무부 장관 사태 당시 한국갤럽과 리얼미터, 두 여론조사 업체의 대통령 국정운영 지지율 차이가 커 한때 논란이 일었다.
조그마한 변수에도 흔들리는 여론조사를 우리는 어떻게 받아들여야 할까?

누구에게 물어봐야 정확한 여론조사?
여론조사 대상이 되는 표본을 모으는 작업을 표본 추출이라고 한다. 표본 추출 방식은 여론조사의 신뢰도를 가장 크게 좌우하는 중요한 변수다. 여론조사를 가장 정확하게 만드는 이상적인 표집 방식은 ‘확률 추출’이다. 확률 추출은 단순히 무작위로 조사대상을 고른다는 뜻이 아니다. 모집단 내 모든 구성원이 표본에 포함될 가능성을 동등하게 가져야 확률 추출로 불린다. 예컨대 길거리에서 무작위로 표본을 추출하면, 그 근처에서 살거나 근무하는 사람이 그렇지 않은 사람보다 표본에 포함되기 쉬우므로 확률 추출이 아니다.

‘비확률 추출’은 확률 추출의 요건을 충족하지 않는 추출 방식을 일컫는다. 조사원이 편의적으로 가까운 사람을 표본으로 꼽거나, 조사원이 생각하기에 표본으로 적합하다고 생각하는 사람을 추출하는 식이다. 비확률 추출 중 비교적 높은 표본 대표성을 보장하는 방식으로 ‘할당 추출’이 있다. 할당 추출이란 모집단을 일정 기준에 따라 여러 집단으로 나누고 인구 비례에 따라 추출하는 방식이다. 우리 학교 글로벌융복합콘텐츠연구소(소장 장병희) 김헌 선임연구원은 “모집단 내 여러 집단의 정확한 분포를 알고 있으면 할당 추출법으로 구성한 표본도 대표성을 가진다”고 그 특징을 설명했다.

우연의 장난이 만드는 표본오차
여론조사에서 발생하는 오차는 ‘표본오차’와 ‘비표본오차’로 나뉜다. 표본오차는 철저히 확률 추출이 이뤄졌다는 가정하에, 우연에 의해 발생하는 여론조사 오차를 말한다. 표본오차는 표본 수와 신뢰수준에 의해 정해진다. 신뢰수준이란 표본에 의한 조사 결과를 신뢰할 수 있는 정도다. 신뢰수준이 95%라 함은 조사를 통해 구하려는 모집단의 평균값이 표본 평균값의 표본오차 내에 있을 가능성이 95%라는 뜻이다. 여론조사를 보는 사람은 표본오차를 토대로 여론조사에 나타난 두 수치 간 차이가 유의미한지 판단한다. 예를 들면 신뢰수준 95%, 오차범위 ±2.5%인 여론조사에서 A 후보 지지자가 48%, B 후보 지지자가 45%라고 하자. 이는 똑같은 여론조사를 100번 했을 때 95번 정도는 A 후보와 B 후보의 지지율이 각각 45.5~50.5% 42.5~47.5% 안에서 나타난다는 의미다. 즉 위 결과에 따르면 B 후보가 우위에 오르는 것도 가능하므로 3%p 차이로는 A 후보가 B 후보보다 지지율이 앞선다고 해석할 수 없다. 한국갤럽(대표 박재형) 정지연 이사는 여론조사 보도에 관해 “일부 언론이 표본오차를 완전히 무시하고 0.1%p 차이도 국민 여론의 변화로 해석한다”며 “이는 해석이 아닌 소설이다”라고 언론 보도를 수용할 때 주의할 점을 설명했다.

갈대처럼 흔들리는 여론조사
표본오차 이외에 여론조사에서 발생하는 오차를 ‘비표본오차’라고 부른다. 비표본오차는 표본오차와 달리 수학적으로 계산할 수 없다. 비표본오차의 종류로는 크게 표본 추출 과정에서 생기는 오차와 설문지에서 생기는 오차를 꼽을 수 있다.

표본 추출 방식은 종류에 따라 각자 한계가 있다. 특히 할당 추출 같은 비확률 표본 추출은 표본이 모집단을 대표하기 힘들다. 정 이사는 “마케팅 조사에서는 모집단 정의도 모호하고 분포에 대한 정보도 부족해 할당 추출법을 많이 쓴다”며 현실적으로 확률 추출법만 쓰기 어려움을 밝혔다. 한편 할당 추출법은 △소득수준 △정치관심도 △학력 등 통계적으로 파악하기 힘든 변수는 파악하지 못하기 때문에 모집단을 왜곡할 가능성이 여전히 남는다. 게다가 비확률 추출인 만큼 조사원이 조사 대상을 정해 주관을 개입시킬 여지가 있다.

여론조사의 가장 큰 맹점은 설문지의 세세한 요소에 결과가 쉽게 영향을 받는다는 것이다. 이를 극복하고자 학계는 정확한 결과를 도출하는 질문 유형을 끊임없이 연구해왔다. 그 성과 중 하나가 타당도 검사다. 김 연구원은 “단순한 정책 혹은 정치인에 대한 선호도 질문이라도 수많은 다른 유형이 존재한다”며 “같아 보이지만 유형이 다른 여러 질문을 한 조사에 넣어 각 질문 응답을 토대로 타당도 검사를 한다”고 설명했다. 한편 김 연구원은 “타당도 검사는 하나의 질문으로 구성되는 경우가 많은 정치 여론조사에서는 불가능하다”고 덧붙였다.

적절한 질문의 순서에 대해 김 연구원은 “심리적인 영향에 주의해야 한다”고 설명했다. 예를 들어 수입, 거주 지역 등 인구통계학적 요소에 관한 질문을 먼저 하면 응답자에게 부담을 줘 조사에 불성실하게 참여할 수 있다. 질문의 순서가 조사 의도를 다르게 해석하도록 만들기도 한다. 1993년 미국 갤럽에서 실시한 ‘자녀의 정치 입문 선호 여부’에 관한 여론조사는 아들과 딸의 정치 입문 선호를 각각 질문했다. 그 결과, 아들과 딸의 정치 입문 선호 질문 순서를 바꿨을 때 결과에 두 배가량 차이가 생겼다. 딸의 정치 입문을 먼저 질문했을 때, 응답자가 조사의 의도를 ‘정치인이라는 직업에 관한 인식 조사’가 아닌 ‘성 평등 의식 조사’로 인식한 것이다.

ARS 조사와 면접원 조사, 무엇이 다를까
△우편 △인터넷 △전화 등 여러 여론조사 수단 중 가장 흔히 쓰이는 방법은 전화 조사다. 어떤 전화 조사 방식이 가장 정확하냐는 문제는 여론조사 업체 간 첨예한 대립을 이룬다. 전화 여론조사에는 사람이 직접 전화를 거는 면접원 조사와 자동응답 시스템이 조사하는 ARS(Automatic Response System) 조사가 있다. 두 방식은 여러 정치 여론조사에서 다른 결과를 나타냈다. 조국 전 법무부 장관 사퇴 당시 대통령 지지율 추이가 상반됐던 한국갤럽과 리얼미터도 각각 면접원 조사와 ARS 조사를 채택했다.

두 방식의 가장 큰 차이점은 응답률이다. ARS는 면접원 조사보다 응답률이 낮다는 사실 때문에 비판을 받는다. 한편 응답률이 여론조사 신뢰도에 유의미한 상관관계가 있는지는 의견이 분분하다. 정 이사는 ARS 조사와 관련해 “정치에 관심이 많고 참여적 성향이 강한 사람이 끝까지 응답을 완료할 가능성이 높다”며 비판적인 견해를 밝혔다. 그에 반해 리얼미터 등이 속한 한국정치조사협회에서는 응답률과 신뢰도가 관계가 없다는 입장이다.

혼란한 통계 속에서 중심을 잡으려면
여론조사를 현명하게 수용할 방법을 묻자 김 연구원은 “여론조사 문항은 타당도 조사가 불가능하기 때문에 독자 스스로가 설문지를 살펴보고 질문 유형에 어떤 저의가 있는지 비판적으로 고찰할 필요가 있다”고 조언했다. 또한 정 이사는 “여론조사는 여론을 측정하는 수단이지 여론 그 자체가 아니다”며 “조사 결과를 해석할 때는 자료 수집 방법이나 과정도 함께 살피는 신중한 접근이 필요하다”고 당부했다.

글 | 황여준 기자 yjyj0120@skkuw.com
일러스트 | 정선주 외부기자 webmaster@

 

일러스트 | 정선주 외부기자 webmaster@
2019년 한국갤럽, 리얼미터 대통령 지지율 조사.
(리얼미터: 10월 14~18일 전국 19세 이상 유권자 2,505명 대상 신뢰수준 95% 표본오차 ±2%
/ 한국갤럽: 10월 15~17일 전국 유권자 1,004명 대상 신뢰수준 95% 표본오차 ±3.1%),
여러 번 오차범위 이상 차이가 나고 추이도 정반대인 것을 알 수 있다.
일러스트 | 정선주 외부기자 webmaster@