김진의 “92명”은 과학인가?

얼마전 한 토론회에 나온 김진씨가 안철수 문재인의 단일화를 비판하면서 노무현 정몽준의 단일화 사례를 들어 여론조사로 후보를 결정하는 것이 말이 되지 않된다고 하였다. 명백하게 틀린 말이고 유권자를 호도하는 말이다. 알고서도 그랬다면 통계학을 가장한 거짓말이다. 처음에는 여론조사와 통계학을 잘 모르고 하는 말이거나 의도치 않은 실수려니 생각을 했다. 그런데 엇그제 백지연씨가 사회를 본 토론회에 나와서 똑같은 발언을 하는 것을 보았다.

먼저 그런 엉터리 발언이 방송에 무방비로 노출되었다는 사실에 놀랐다. 두 번이나 똑같이 어처구니없는 일이 벌어졌다는 사실이 믿기지 않는다. 개인이 저지른 실수는 그렇다 쳐도, 말을 꺼낸 토론자 주위에 여론조사나 통계학 기초라도 아는 사람이 하나도 없다는 것일까? 아니면 방송사에 그런 잘못을 발견하여 수정해주는 사람이나 절차가 없다는 소리인가? 대통령선거를 앞두고 서로 치고 박고 하는 와중에 한쪽 편에 기운 사람이 아무런 제지도 받지 않고 방송에 나와 잘못된 내용에 기초하여 다른 편을 비난하고 있으니 혀를 찰 일이 아닌가. 본인이 의도했든 안했든 과학적인 정보인 것처럼 포장하여 통계학을 접하지 못한 많은 유권자를 호도하고 있으니 말이다.

“92명”이 나라의 운명을 결정했다고?

김진씨의 주장은 이렇다. 2002년 노무현 정몽준의 단일화는 2천명을 상대로 한 여론조사로 했는데, 노무현이 4.6퍼센트 차이로 이겼다. 그런데 이 4.6퍼센트는 고작 92명이다. 대한민국 국민이 5천만명이고 전체 유권자가 3,895만명인데, 고작 이 92명이라는 사람들의 후보를 결정하고 나라의 운명이 결정했다. 이게 말이 되는가. 그러니 여론조사로 단일화해서는 안된다.

황당무계한 왜곡이자 비약이다. 상상의 나래를 펴고 성층권을 지나 대우주로 향하고 있다. 이 말이 맞다면 어떻게 해야 했을까? 아마도 김진씨는 전체 4천만명에 이르는 유권자에게 일일이 물어서 결정했으면 흡족해 했을 것같다. 과연 이것이 합당한 일인가? 엄청난 비용이나 시간을 소비해야 한다는 사실은 일단 제쳐두자. 만일 전체 유권자의 4.6퍼센트 차이로 역시 노무현이 승리를 했다면 김진씨는 무슨 생각을 했을까? 그때도 고작 4.6퍼센트가 나라의 운명을 결정했으니 부당하다고 말했을까?

김진의 “92명”은 단순한 숫자이지 “과학”이 아니다

김진씨가 말한 92명은 전체 유권자 개개인과 비교되는 단순한 개개인이 아니다. 전체 유권자는 모집단(population)이라고 하고 여론조사를 한 2천명은 표본(sample)이라고 한다. 왜 표본이 필요한가? 많은 경우 모집단 전체를 직접 조사하기 어렵기 때문이다. 기술적인 문제도 있지만, 인력과 비용과 시간을 감당하기 어렵기 때문이다. 그래서 표본을 추출하여 그 특성(statistic—2천명의 지지)을 조사하고 분석하여 모집단의 특성(parameter—전체 유권자의 지지)을 추론하는 것이다. 이것이 통계학이다. 통계학 첫째 시간에 흔히 소개되는 내용이다.

결국 전체 유권자가 누구를 더 지지하는지를 알고 싶은데, 전부에게 물을 수가 없으니까 일부에게 물어서 전체 유권자의 지지율을 추론해보자는 것이다. 어떻게 일부만 가지고 전체를 알 수 있단 말인가? 통계학의 이론과 방법이 해법을 말해준다. 모집단을 잘 대표할 수 있는 표본을 구해서 일련의 절차를 통하여 분석을 한다. 축적된 과학으로 증명된 방법이고 한국을 포함해서 거의 모든 나라에서 흔히 사용하고 있는 방법이다. 문제는 결과나 숫자가 아니라 얼마나 과학에 충실하게 조사가 실행되었느냐이다.

이런 과학(통계학) 절차에 따라서 여론조사가 실시되었고 분석이 되었다면 4.6펀센트인 92명은 나머지 3,803(=3,895-92)와 단순히 비교될 수 없으며 비교되어서도 안된다. 한마디로 과학을 모르는 엉터리 비교이고 어처구니없는 사실왜곡이다. 그 92명은 통계학으로 해석해야 한다.

또 표본이 한없이 커야 좋은 것은 아니다. 비용과 시간을 고려해야 할 뿐만 아니라 분석방법에 맞는 표본 크기를 생각해야 한다. 무작정 표본을 키우면 통계검정의 힘 (statistical power of a test)이 지나치게 커서 조그만 차이도 (실제로는 의미없는 차이) 의미있는 차이로 왜곡될 수 있다. 단순한 표본 크기와 차이 (예컨대 92명)보다는 표본을 추출하고 조사를 실행하는 과정에서 정해진 절차와 규칙을 따랐는지를 따지는 것이 중요하다.

게임 규칙이 중요하다

표본이 모집단 자체가 아니기 때문에 오차가 발생할 수 있고, 분석결과 어떤 수치가 나온다고 해도 최종 판단(누가 이겼는지 결정하는)은 사람의 몫이다. 따라서 얼마만큼 오차까지 참을 수 있을지 (표본 수와 관련된다), 어떤 왜곡을 어느 정도 참을 수 있을지 (역선택 같은 현상), 어떤 기준으로 최종 판단을 할지는 (예컨대, 3퍼센트 이상 차이로 이겨야 승리한다) 관련된 사람들이 합의할 사항이다. 게임의 규칙을 합의하는 것이다.

노무현 정몽준 단일화 경우에 두 기관이 여론조사를 하되, 이회창 지지율이 그 당시 다른 여론조사의 최저치인 30.4퍼센트보다 높을 때 조사결과를 유효하게 받아들이기로 합의했다. 신뢰를 높이고 왜곡을 방지하겠다는 것이다. 결국 두 여론조사 중 월드 리서치의 결과에서 이회창 지지율이 28.7퍼센트가 나와 그 결과는 무효가 되었고, 32.1퍼센트가 나온 리서치엔 리서치 여론조사에서 46.8퍼센트를 얻은 노무현이 42.2퍼센트에 그친 정몽준을 이긴 것이다. 김진씨의 4.6(=46.8-42.2)퍼센트는 여기에서 나온 것이다.

하지만 4.6이라는 숫자가 중요한 것이 아니라 서로 합의한 절차와 기준에 따라 부합했느냐가 중요한 것이다. 김진씨가 그토록 “저주한” 92명(4.6퍼센트)은 합의한 내용에 따른 결과인 한 충분히 큰 차이다. 설령 차이가 단지 한명이었다 해도 노무현의 승리가 틀림이 없다. 그렇다고 그 여론조사가 완벽했다는 말은 아니며 최소한 두 후보 측에서 불만을 가질 만큼 엉터리는 아니었을 것이라는 추측이다(안그랬으면 난장판이 되었을 것 아닌가?).

김진씨는 4.6퍼센트가 작게 보였을 수 있다. 아마도 5퍼센트 이상 차이가 나야 의미있다고 생각했을는지 모른다. 그것은 자신의 기준일 뿐이다. 노무현과 정몽준이 합의한 기준이 중요하다. 그들은 차이의 범위 (예컨대, 3퍼센트 이상의 차이만 의미있게 간주)보다는 역선택을 더 우려했던 것같다. 따라서 이회창 지지율이 최저치 이상으로 나와야 유효한 여론조사로 인정하기로 했고, 유효한 여론조사에서 단 1표라도 더 얻은 사람이 이기는 것으로 협의했던 것같다. 결국 4.6퍼센트(92명)는 여론조사가 유효한 이상 확실히 의미있는 차이였던 것이다. 1명이 아닌 92명이나 더 지지했으니 말이다. 따라서 4.6퍼센트나 92명이 작다고 말하는 것은 개인의 느낌일 뿐이지 과학이 아니다. 김진씨는 주관의 느낌을 과학과 병치 혹은 과학으로 대치시키는 오류를 범하여 황당한 결론에 이른 것이다. 다시 말하건대 92명이라는 숫자는 전체 유권자 3,895만명(모집단)과는 비교대상이 될 수 없음은 상식이다.

"문세표"와 "고부갈등"은 뭐란 말인가?

이러한 게임의 규칙은 어디에서든 존재한다. 한국을 포함한 많은 나라에서 사용하는 선거 규칙 중 하나는 1명이든 1퍼센트든 많은 표를 얻는 자가 승리한다는 것이다. 소위 “문세표”가 이것을 잘 말해준다. 혹시나 해서 여러번 검표를 했지만 역시나 단 세표 차이로 낙선을 한 경기도 광주의 문학진 얘기다. 김진씨는 이를 부당하다 말할 것인가? 김진의 논리대로라면 광주의 전체 투표자 3만 5천명의 4퍼센트는 고사하고 .009퍼센트인 단지 세 명이 문학진의 운명을 결정하고 경기도 광주의 운명을 결정했다는 것이다. 새발의 피도 아닌 단 세 표 차이니 비분강개할 일 아닌가? 과연 합당한 소리인가?

2000년 미국 대선에서 플로리다주 선거를 두고 벌어진 앨 고어와 조지 부시의 갈등(소위 “고부갈등”)는 어떠한가? 고어는 2,912,253표를 얻었고 부시는 2,912,790표를 얻었다(http://www.fec.gov/). 단 537표 차로 플로리다에 할당된 25명의 선거인단을 부시가 가져가면서 대통령으로 당선이 되었다. 미국 전체 유권자의 표로 치면 고어가 이겼지만, 승자독식에 의한 선거인단을 통한 간접선거에서는 부시가 이긴 것이다. 노무현은 4.6퍼센트 (2천명 중 96명) 더 많이 얻어 “후보”가 되었지만 놀랍게도 부시는 .009퍼센트 (플로리다 전체 투표자 6백여만명 중 537명)차이로 고어를 꺾고 “대통령”이 되었다.

단순 숫자로 보면 “고어갈등”은 말이 안된다. “문세표”가 울고 간 .009퍼센트 차이에 버금가는 차이 아닌가? 특히 한국과 같이 “세 표”까지도 철저히 따지는 나라에서는 도저히 이해가 안되는 상황이다. 물론 미국 내에서도 이런 선거인단 간접투표 문제를 지적하기도 하지만 오래된 미국의 전통이고 게임의 규칙이니 어쩔 수 없는 일이다.

김진씨는 “고부갈등”을 어떻게 볼 것인가? 당시 투표에 참여한 1억명 중 고작 537명이 나라의 운명을 결정했으니 부당하다 말할 것인가? 그러면 537명을 뺀 나머지 투표에 참여한 전국의 유권자들은 뭐란 말인가? 김진씨가 92명과 그들을 제외한 4천만 유권자들을 비교했으니 하는 말이다. 물론 537명은 표본의 차이인 92명과는 성질이 다르다. 다만 여기서 말하고자 하는 것은 게임의 규칙에 합의한 이상 그것에 충실하면 되는 것이지 무작정 어떤 숫자가 크고 작고를 주관적으로 따지는 것은 적절치 않다는 것이다. 의도적으로 그 숫자를 사용했다면 과학(통계학)을 빙자한 새빨간 거짓말 (statistical lie)일 뿐이다.

과정과 절차와 합의를 따질 뿐이다

김진씨는 숫자를 가지고 비판을 할 것이 아니라 단일화 여론조사가 정당하게 이루어졌는지, 분석이 제대로 되었는지, 결정규칙에 합의한 내용이 타당했는지를 따졌어야 했다. 표본으로 뽑힌 2000명이 전체 유권자를 대표할 수 있는지 (예컨대, 성별, 지역별, 세대별, 직업별 등으로 골고루 뽑혔는지)를 물었어야 했다. 질문문장이 어느 후보에게 유리하지 않았는지 따졌어야 했다. 가중치를 제대로 고려하여 계산을 했는지, 계산 상 실수 (혹은 의도적 왜곡)는 없었지는 물었어야 했다. 또 합의한 참을만한 범위가 너무 넓었는지, 의미있는 차이의 기준이 너무 작았는지를 따졌어야 했다. 혹은 합의과정상 금품거래(혹은 약속)나 압력이나 폭력이 있었는지를 물었어야 했다.

두 후보와 그 참모들이 눈에 불을 켜고 지켜보고 있는 가운데 위에서 지적한 일이 일어나기는 어렵다. 인간으로서 한계나 의도하지 않은 실수라면 모를까 어느 한 쪽이 장난질을 치는 것은 거의 불가능하다. 여차하면 전쟁이라도 벌일 분위기에서 누가 섯불리 일을 저지르겠는가. 자세한 여론조사 절차와 규칙에 대한 합의에 대해 알려진 바는 많이 없지만 최소한 단일화를 부정하거나 폄하할 만한 근거는 보이지 않는다. 어차피 양 측에서 합의해서 만족한 것이라면 (안그랬으면 난리가 났을 것 아닌가) 누가 뭐라 할 것인가. 문재인 안철수 단일화도 마찬가지다.

노무현 정몽준의 단일화에서 비판할 것이 있다면 그것은 투표 전날 정몽준이 느닷없이 단일화 약속을 파기하고 노무현 지지를 철회한 일이다. 한 개인이 아닌 대통령이 되겠다고 나선 자가, 그것도 정당끼리 약속한 것을 깨고 “몽니”를 부렸다는 것이 놀랍고 화가 나고 참담했던 것이다. 국민을 기만하고 분노케 하는 것은 단일화가 아니라 국민과 한 약속을 지키지 않은 무책임이었다. 그런 자가 이번 단일화에 대해 구태정치니 뭐니 비난하다니 참으로 후안무치厚顔無恥가 따로 없다. 유권자와의 “큰약속”을 저버렸다는 점에서 1997년 여당 경선에서 패하고 뛰쳐나와 독자 대선출마를 감행한 이인제와 용호상박龍虎相搏인 셈이다. 두고 두고 세간의 비웃음과 손가락질 거리가 될 것이다.

엄밀한 사실과 과학에서 출발하라

김진씨는 위에서 적은 과학(통계학)을 접할 기회를 갖지 못했을는지 모른다. 그래서 그런 엉터리를 사실인양 점잖고 심각한 표정으로 강변했던 것일까? 알면서도 일부러 사실을 왜곡하여 유권자를 호도했다면 음흉한 사람이다. 한 개인의 무지에서 비롯된 “단순한 죄”라면 참고 넘길 만하다. 하지만 그런 엉터리가 걸러지지 않고 방송에 반복해서 나온다는 것이 몹시도 불편하다. 토론자 주변에서도 방송국에서도 그런 엉터리를 바로잡을 사람과 절차가 없다는 것 아닌가. 학부에서 통계학개론을 들었어도 쉽게 잡아낼 수 있는 그런 쉬운 문제 아닌가…

나는 여론조사가 국민의 소리를 듣는 좋은 방법이라고 생각한다. 물론 오차가 없는 완벽한 여론조사를 말하는 것이 아니라 과학적 방법에 충실하게 수행된 여론조사를 말하는 것이다. 하지만 그동안 한국에서 수행된 정치에 관련한 여론조사에 많은 의구심을 가지고 있다. 대부분이 자신이 얻고 싶은 결론에 편향된 (표본추출, 질문, 질문하고 답을 적는 절차에서) 여론조사라는 생각이다. 최소한 절차로서 과학과 적잖은 거리를 두고 있다는 생각이다. 어쩌면 김진씨는 도둑이 제발 저리는 심정으로 그리 여론조사를 불신하는지도 모른다(엉터리만 있는 것이 아니라 과학적인 여론조사도 있다는 것을 알았으면 한다). 시간이 갈수록 더 나아지고는 있지만 여전히 지지율, 표본수, 오차범위 정도만 두리뭉실 언급하는 여론조사가 많다.

모집단이 무엇인지, 어찌 표본을 추출했는지, 어떤 질문을 했는지, 어떻게 물었는지 (언제 어떻게 전화를 했는지, 방문을 했는지), 어떻게 답변을 적었는지, 몇명이 답을 했는지 (무응답이 많을텐데 왜 말하지 않는지), 어떻게 분석했는지 등을 보고해야만 여론조사로서 가치가 있다. 방송에서 시간이 부족하다면 웹사이트에 공개하여 누구라도 찾아볼 수 있게 해야 한다. 당당하게 밝히지 못하거나 안한다면 가치가 없거나 여론을 호도하려는 술책일 뿐이다. 사실도 아니고 과학도 아닌 그저 쓰레기일 뿐이다. 앞으로 그런 여론왜곡이 여론조사라는 이름으로 버젓이 신문이나 방송에서 오르내리지 않았으면 한다. 신문사나 방송사는 여론조사와 통계학 전문가를 좀 채용해서 엉터리 조사를 걸러내길 바란다.

마지막으로 토론회에 나오는 사람들이 자기가 무엇을 말하고 싶은 것인지, 그것을 뒷받침하는 논거가 있는지, 그 논거가 사실과 과학에 바탕을 둔 것인지 등을 잘 따졌으면 한다. 억지스러운 자기 주장만 나열한다든가 사실과 과학에 근거하지 않은 허무맹랑한 소리를 듣고 싶지 않기 때문이다. 노무현(NLL관련된)은 현재고 정수장학회는 과거라는 어거지가 어디 있단 말인가? 아울러 자기 주장을 논리적으로 설득력있게 펴는 것 못지 않게 상대방의 주장도 차분히 들어주는 기본을 챙겼으면 한다. 품위까지는 기대하지도 않지만 상대방을 모욕하거나 중간에 남의 말을 함부로 끊는 몰상식을 더이상 보고 싶지 않다. 미국 대선 토론회라도 구해서 좀 보고 나왔으면 한다. 그래서 토론회가 서로의 주장만 날카롭게 대립하는 “백날토론”이 아니라 무엇인가 토론자 상호간에 이해를 넓히고 건설적으로 뜻을 모을 수 있는 자리가 되길 바란다.

2012.11.09

댓글

이 블로그의 인기 게시물

조국 기자간담회 관전평: 조국보다 기자?

천안함사건 민군합동조사단의 과학성

빨간불인데도 지나가는 "막가는 차"