먼저, 지난주(2월 3주) 전화면접 여론조사 중 윤석열 국민의힘 대선후보가 오차범위를 넘는 우세를 보인 몇 가지 조사에 대해 필자가 '단일화 컨벤션 선행 효과'라고 언급했다. 즉 고관여 보수 성향자의 여론조사 응답 적극성이 강해지고, 반대로 이재명 더불어민주당 대선후보 지지자의 응답 중단 현상에 의한 효과라고 한 데에는 몇 가지 논란이 있는 것 같다. 그에 대해 필자의 의견을 제시하고자 한다.

'NBS 9%P' 격차 관련 논란
 

큰사진보기
▲ NBS 2월 3주 대선주자 4자 대결 지지율 2월 17일 발표한 NBS의 4자 대결 문항에서 윤석열 후보는 처음으로 40%선에 닿았다.
ⓒ NBS	관련사진보기

 
첫째, '다른 조사 중에선 이재명 지지자의 응답 중단이 뚜렷하지 않다'고 여론조사 업계 후배가 귀띔을 해줬다. 고마운 지적이다. 필자의 주장이 와전돼 NBS 2월 3주 조사의 응답률이 낮아진 이유가 오로지 이재명 지지자의 응답 중단에 의한 것이라는 주장까지 이어진 것 같은데, 그것은 사실이 아닐 수 있다. 왜냐면 NBS는 조사 품질 제고를 위해 변함없이 노력했을 것이고, 응답률이 낮아진 데에는 품질관리의 방침이 달라졌기 때문으로 추정된다.

둘째, NBS 응답률이 30% 가까이 됐다가 20% 초반으로 떨어진 것으로 인해 문제가 발생했다는 지적, 그리고 의도적일 수 있다는 음모론은 틀린 주장으로 보인다. 왜냐하면 한국갤럽 등 다수의 전화면접 여론조사의 응답률은 20% 미만임에도 비슷한 시기에 발표된 NBS 조사와 비슷한 흐름이었다. 20% 초반으로 낮아진 응답률이 문제라면 지금까지 발표된 전화면접 조사 중 신뢰할 수 있는 조사는 몇 개 없다.

셋째, 그렇지만 동률에서 9%P 격차로 벌어진 것을 '컨벤션 선행 효과'를 배제하고 이해하긴 어렵다. 지난 13일(일요일) 안철수 후보의 단일화 제안 직후 월~수 3일 간 조사한 결과이며 최초로 단일화 문항을 포함해 조사했기 때문에 다른 이유를 찾기 쉽지 않다.

넷째, 화~수 2일간 조사한 방송3사 조사에서는 양강 후보의 격차가 오차범위 이내라는 주장이 있다. 이는 하루에 추출하는 표본수 때문일 수 있다. 2006명을 조사한 방송3사 조사의 경우 하루에 1000명가량을 조사했지만, NBS는 하루 평균 330여 표본을 조사하면 됐다. 하루에 추출하는 표본수를 늘리면 이재명 지지자가 상대적으로 조금 더 잡힌다는 정도는 여의도에서 상식이다. 같은 원리로 전국이 아닌 시·도 하나 규모에서 1000명 이상 추출하면 이재명 지지자가 조금 더 잡힌다. 이재명 지지자의 응답 적극성이 약하다는 방증이다.

다섯째, 요일별 시간대별 균등할당해 추출하지 않는다면, 3일 동안 조사를 하더라도 첫날 비교적 많은 표본을 추출하게 된다. 즉, NBS는 일요일 안철수 후보의 단일화 제안 직후 월요일 하루에 상대적으로 많은 표본을 추출했을 개연성이 충분하다.

여섯째, 금요일 발표한 한국갤럽 2월 3주 조사에서도 이재명-윤석열 7%P 격차가 나타났으나 단일화 문항이 포함되지 않아서 단일화로 인한 효과는 없을 것이라는 주장이 있다. 그러나 한국갤럽 조사의 경우에는 낮에만 조사하고 NBS는 일과 후에도 조사를 한다. 한국갤럽의 표본추출틀은 무작위 생성번호인 RDD(Random Digit Dialing)이며 NBS는 여론조사심의위원회를 통해 구입하는 휴대전화 가상번호다. 한국갤럽은 유선번호에도 전화를 걸지만 NBS는 전부 무선번호이다.

결국, 같은 조건이면 한국갤럽 결과는 보수 성향자가 조금 더 추출될 수 있다. 한국갤럽 조사가 화~목 3일 간 진행돼 월요일을 포함하지 않았다 점을 고려하면 특별히 이상하지 않다.

일곱째, NBS 조사에서 그 전 2월 2주와 비교해서 진보-보수 성향자의 규모에 차이가 발생하지 않았으니, 이재명 지지자의 체계적 이탈은 없었다고 봐야 한다는 주장이 있다. 이는 상관관계를 잘못 설정한 것 같다.

왜냐면 주관적 이념 성향자의 규모 차이가 발생하지 않았지만 대선 후보 지지율에는 차이가 발생한 것이니, 이념 성향과 후보 지지는 관계가 없다는 것을 밝힌 게 된다. 필자의 후배 연구원이 귀띔해 준 것처럼 일부 조사에서 이재명 지지자의 체계적 이탈이 뚜렷하지 않더라도, 보수 성향자의 응답 적극성이 매우 강해진 것 역시 컨벤션 선행 효과라고 봐야 할 것 같다.

여전히 남은 논란 거리

필자는 논란이 된 내용에 대해 위와 같이 정리를 하면서, 앞으로 여론의 흐름을 읽는 데에 다음과 같은 몇 가지 이슈가 더 남는 것 같다.

첫째, 최근 ARS 조사 대비 전화면접 여론조사에서 보수 성향자의 응답 적극성이 더 강해지고 있다고 볼 수 있다. 지난 20일(일요일) 발표된 <오마이뉴스>-리얼미터 조사의 경우, 이-윤 격차가 4.2%P(오차범위 밖, n=3043)였다. 최근, 보수 성향자의 전화면접 여론조사에 대한 응답 적극성이 ARS보다 더 강해진 것으로 해석할 수 있는 것 같다. 이는 과거 국민의힘 경선 혹은 단일화 여론조사가 모두 전화면접 방식을 취했기 때문으로 보인다. 앞으로도 계속 이런 현상이 지속될지 지켜봐야 할 일이다.

둘째, 지금까지 단일화 컨벤션 선행 효과를 통해 이슈 프리미엄을 충분히 얻은 윤석열 후보가 안철수 국민의당 후보와의 단일화에 소극적이었다고 안 후보가 여긴 것으로 보인다. 그래서 20일 안 후보는 단일화 제안을 전격 철회했다. 그렇다면 윤 후보의 구심력이 약해질 것인가도 생각해볼 일이다. 필자는 이런 정치 이슈는 최소 2주 동안 유지될 수 있다고 본다. 향후 윤 후보로 결집된 보수 성향자의 지지세 급격히 이동할지 그대로 유지될지 지켜봐야 할 것 같다.

셋째, 이같이 급격하게 여론조사 결과가 바뀌는 데 표본추출틀이 갖는 포함오류(coverage error)는 전혀 없는 것인지 생각해볼 일이다. 지난해 더불어민주당 국민참여 경선 3차 투표에서 나타난 이상 현상의 원인을 규명하지 못하고 지나간 것 같은데, 최근 여론조사 결과도 그와 비슷한 원인이 있을 것이라는 가설이 있다.

현실적으로 거의 불가능해 보이는 이런 일은 작은 선거구에서는 가끔 발생하기도 한다. 전국 단위에서도 가능한지는 필자도 의구심이 들지만 만일 이런 설이 사실로 밝혀진다면, 전국 여론조사에서도 표본추출틀이 왜곡될 가능성이 있을 수 있다는 문제 제기가 된다.

ARS 조사가 전화면접 여론조사를 견인한다
 

큰사진보기
▲  지난 11일 오후 서울 중구 매경미디어센터에서 열린 한국기자협회 주최·방송 6개사 공동 주관 "2022 대선후보 초청 토론"에서 후보들이 기념촬영을 하고 있다. 왼쪽부터 더불어민주당 이재명 후보, 정의당 심상정 후보, 국민의당 안철수 후보, 국민의힘 윤석열 후보.
ⓒ 국회사진취재단	관련사진보기

 
최근 벌어진 여론조사의 신뢰성에 대한 논의에서 빠질 수 없는 이슈가 있다. 필자는 최근 여론조사의 흐름이 저품질 ARS로 인해 여론이 왜곡될 수 있다는 주장을 자주 접하고 있다. 모든 ARS 조사가 그렇지는 않겠으나, 일부 저품질 ARS 조사가 문제될 수 있다는 것이다. 어떤 과정에서 여론조사가 여론을 왜곡할 수 있는지 간단히 보자.

첫째 단계, 특정 후보의 지지율이 높을 수밖에 없는 시간대에 ARS 조사로 표본을 다량 추출해 결과를 산출한다.

둘째 단계, 이 결과를 일부 언론사가 받아서 보도한다. 때로는 오차범위 이내의 격차도 과도하게 해석해서 보도하기도 하며, 실제 몇몇 사례에서는 세부 집단의 격차를 해석할 때 전체 표본 수로 산출한 오차범위를 적용하기도 한다.

셋째 단계, 언론 보도에 영향을 받은 유권자는 전화면접 여론조사의 '당선 가능 후보' 문항에서, 자신의 지지 여부와는 무관하게 일부 언론이 우세하다고 자주 언급한 후보를 응답한다.

넷째 단계, 이후 '당선 가능 후보' 문항이 선행 지표로 역할해, 지지율에도 영향을 미친다. 즉, 전화면접조사의 결과가 첫째 단계의 ARS 조사에 의해 영향을 받게 되는 것이다. 이 단계에서 밴드웨건 효과가 발생하게 된다.

필자는 이러한 사이클이 약 3~4주 정도에 완성될 수 있고, 언론이 적극적으로 보도를 하는 경우에는 2~3주로 단축될 수 있다고 본다. 결국, ARS 조사가 전화면접 여론조사를 견인할 수도 있다는 이야기다. 

ARS 조사와 전화면접 여론조사의 동등 비교를 중단해야 한다

필자는 정치권에 최초로 ARS 시스템이 도입되는 과정을 옆에서 지켜봤으며, ARS 조사를 위한 서버 시스템 도입에 수 차례 관여했다. 지금도 매일 ARS 조사를 들여다 보고 있다. 물론 전화면접 여론조사나 온라인 조사도 매일매일 활용하고 있다. 그런 필자가 이런 주장을 한다는 것은 여러 동료들에게 지탄의 대상이 될 수 있는 위험을 무릅쓰는 것이다. 개인 의견이니 너그럽게 봐주길 바란다.

최근 ARS 조사가 더 안정적이고, 전화면접 여론조사의 수치가 불안정하다는 주장이 있는데 수긍이 간다. 하지만, 일부 저품질 ARS 조사가 여론을 만들기도 한다는 데에 의심을 지울 수가 없다. 오후 1시부터 밤 9시까지 조사를 한다고 하더라도, 대량의 회선으로 오후 1시부터 2시까지 조사를 하고 회선을 극히 일부만 열어서 밤까지 조사하면 문제 삼는 사람도 없다.

ARS 조사는 응답자의 선의와 성실성에 의존하기 때문에 사실상 표본추출 과정이 관리되지 않는다는 간단한 사실을 모두 알고 있다. 그럼에도 이를 전화면접과 동등하게 '여론조사'라고 부르는 것은 문제다. 남자가 여자라고 응답을 하든, 60대가 20대라고 응답을 하든 어떻게 통제할 수가 없는 것이다. ARS 업체 중 어느 한 업체라도 18~29세 표본에 전화를 다시 걸어 진짜 청년이 맞는지 확인하는 곳은 없다. 왜 스스로 품질 제고의 노력을 하지 않을까. 물론 비용 때문이다.

ARS 조사가 정치권에서 정당과 후보에게는 참고할 정보가 돼 전략과 전술 마련에 기여할 수가 있다는 점에 크게 공감한다. 필자도 여러 해 동안 ARS 조사를 활용해왔다. 그렇지만, 활용도가 높은 조사라고 모두 '여론조사'라고 공표하진 않는다. 정성조사 중 하나인 표적집단심층면접(FGI, Focus Group Interview)을 마케팅이나 선거 캠페인에 자주 쓰면서도 '여론조사'라고 일반화시켜 공표하지는 않는 것처럼, ARS도 '여론조사'라고 하기보다는 '고관여자 의견조사'라고 하는 게 더 합당하지 않나.

언론에서 전화면접조사처럼 학계에서 공인한 방법으로 만든 결과와 ARS를 분리해서 다뤄주면 더 좋겠다. 언론이 두 방식의 조사를 섞어서 발표하니, 유권자에게 큰 혼동을 주는 게 아닌가 한다. 유권자에게 양질의 정보를 왜곡 없이 제공해야 하는 의무를 생각해볼 때가 됐다.

==========

[NBS(2월 3주) 조사 개요]
의뢰처: 자체조사(㈜엠브레인퍼블릭, 케이스탯리서치, ㈜코리아리서치인터내셔널, ㈜한국리서치) / 조사기관: (주)코리아리서치인터내셔널 / 조사기간: 2월 14~16일 / 조사대상: 전국 만 18세 이상 남녀 1,012명 / 조사방식: 전화면접조사 방식 / 표본오차: 95% 신뢰 수준에 ±3.1%p / 응답률: 20.3%

[방송3사(2월 3주) 조사 개요]
의뢰처: KBS, MBC, SBS / 조사기관: 입소스 주식회사, (주)코리아리서치인터내셔널, (주)한국리서치 / 조사기간: 2월 15~16일 / 조사대상: 전국 만 18세 이상 남녀 2,006명 / 조사방식: 전화면접조사 방식 / 표본오차: 95% 신뢰 수준에 ±3.1%p / 응답률: 20.2%

[한국갤럽(2월 3주) 조사 개요]
의뢰처: 자체조사 / 조사기관: 한국갤럽 / 조사기간: 2월 15~17일 / 조사대상: 전국 만 18세 이상 남녀 1,007명 / 조사방식: 전화면접조사 방식 / 표본오차: 95% 신뢰 수준에 ±3.1%p / 응답률: 14.1%

[오마이뉴스-리얼미터(2월 3주) 조사 개요]
의뢰처: 오마이뉴스 / 조사기관: 오마이뉴스 / 조사기간: 2월 13~18일 / 조사대상: 전국 만 18세 이상 남녀 3,043명 / 조사방식: 유선과 무선 ARS 및 무선 전화면접 / 표본오차: 95% 신뢰수준에 ±1.8%p / 응답률: 10.3%

설문지 등 더 자세한 사항은 언론사/조사기관 및 중앙여론조사심의위원회 홈페이지(https://www.nesdc.go.kr/)를 통해 확인하실 수 있습니다.