여론조사 기사를 읽을 때 처음에는 ‘A 후보 우세’, ‘지지율 역전’이라는 제목만 보고 실제 민심이 뚜렷하게 변화했다고 받아들였다. 그러나 기사 제목을 먼저 모은 뒤 중앙선거여론조사심의위원회 공표문의 원자료를 확인하는 방식으로 순서를 바꾸자, 제목에서 크게 보였던 격차가 표본오차 안에 있을 가능성을 따져 보아야 한다는 의문이 생겼다. 즉, 기사 제목은 수치의 차이를 강조하지만 원조사 공표문에는 표본 수, 조사 기간, 응답률, 표본오차처럼 그 차이를 해석하는 조건이 함께 제시되어 있었다.

공표일을 기준으로 최근 조사 2건을 선정하고, 각 조사 결과를 인용한 기사 제목을 2~3건씩 총 4~6건 수집하는 계획을 세웠다. 기사 제목에는 ‘우세’, ‘앞서’, ‘역전’, ‘접전’, ‘오차범위 내’ 등의 표현을 표시하고, 원조사에서 두 후보 또는 정당의 비율 차이와 표본오차를 함께 대조하기로 하였다. 실제 기사 사례는 조사명·공표일·URL을 기록하여 원조사와 혼동하지 않도록 하였다.

수업에서 배운 정규분포는 많은 관측값이 평균 부근에 모이는 모습을 설명하고, 표준화는 값이 평균에서 얼마나 떨어졌는지를 표준편차 단위로 비교하게 한다. 이 개념을 여론조사에 적용하면, 기사에 제시된 지지율 자체만이 아니라 그 수치가 표본의 변동 속에서 어느 정도 차이인지를 보게 된다. 따라서 같은 2%p 차이라도 표본 수와 표준오차가 다르면 동일한 확실성으로 읽을 수 없다고 판단하였다.

이에 탐구 질문을 두 가지로 좁혔다. 첫째, 오차범위 내 차이를 언론은 어떤 어휘로 표현하는가이다. 둘째, 기사 제목과 본문의 표본오차 설명 방식은 독자에게 주는 확실성의 인상을 어떻게 다르게 만드는가이다. 이후에는 제목의 자극성 자체를 비판하기보다, 원자료의 불확실성이 제목과 본문에서 얼마나 일관되게 전달되는지를 검토하고자 하였다.

1절에서 기사 제목의 지지율 차이가 실제 우열을 뜻하는지 확인하려면, 표본비율이 왜 흔들리는지를 먼저 이해해야 했다. 유권자 전체의 실제 지지율을 $p$라고 할 때, 한 번의 조사에서 얻는 표본비율 $\hat p$는 전체를 완벽히 복사한 값이 아니다. 같은 조건으로 표본을 다시 뽑으면 응답자가 달라져 $\hat p$도 달라진다. 다만 표본 수 $n$이 커질수록 표본비율은 대체로 실제 비율 $p$ 주변에 더 밀집한다.

개별 응답을 ‘지지함=1, 지지하지 않음=0’으로 두면, 지지 응답자 수 $X$는 이항분포를 따른다. $np\geq5$, $n(1-p)\geq5$이면 $X$는 평균 $np$, 분산 $np(1-p)$인 정규분포로 근사할 수 있다. 따라서 표본비율은 다음과 같이 평균 $p$ 주변의 분포로 생각할 수 있다.

$$\hat p=\frac{X}{n},\qquad E(\hat p)=p,\qquad SE(\hat p)=\sqrt{\frac{p(1-p)}{n}}$$

예를 들어 표본 수를 $n=1{,}000$, 지지율 추정값을 $\hat p=0.50$으로 놓으면 $np=500$, $n(1-p)=500$이므로 정규근사 조건을 충분히 만족한다. 이때 추정 표준오차는 약 $0.0158$, 즉 약 1.58%p이다. 95% 신뢰수준에서는 대략 표준오차의 1.96배를 고려하므로 약 ±3.1%p의 범위를 생각할 수 있다. 이는 ‘50%가 틀렸다’는 뜻이 아니라, 표본으로 전체 비율을 추정할 때 불확실성이 그 정도 존재한다는 뜻이다.

표준화는 서로 다른 조사 결과를 공통 척도로 해석하게 한다. 표본비율이 가정한 전체 비율 $p$에서 얼마나 떨어졌는지는 다음의 $Z$값으로 나타낸다.

$$Z=\frac{\hat p-p}{\sqrt{p(1-p)/n}}$$

즉, 단순히 ‘2%p 차이’라고 말하기보다 그 차이가 표준오차의 몇 배인지를 보아야 한다. Smith et al.의 전국 대표 설문 연구도 반복 조사로 행동 준수 수준을 추정하면서 표본조사 결과를 확정적 사실이 아니라 추정치로 다룬 사례이다.^[1] 이를 통해 대표성 있는 조사라도 결과값과 불확실성의 설명이 함께 제시되어야 한다고 보았다. 따라서 기사 속 ‘95% 신뢰수준 ±몇 %p’는 부차적 각주가 아니라 우세·접전이라는 표현을 해석하는 핵심 정보이다.

1절에서 동일한 지지율 차이가 제목의 어휘에 따라 다르게 읽힐 수 있음을 발견하고, 2절에서는 그 차이가 표본분포와 표준오차 안에서 해석되어야 함을 확인하였다. 이 과정은 신문방송학에서 통계 수치가 단순한 장식이 아니라 독자가 사회 현상을 판단하는 근거라는 점을 보여 준다. 특히 선거 여론조사는 유권자의 판단과 대화의 방향에 영향을 줄 수 있으므로, 숫자를 제시하는 방식은 공론장 형성에도 연결된다.

여론조사 공표문에는 조사 기간, 대상, 표본 수, 질문 문항, 가중 방식, 표본오차 등의 조건이 포함되지만 기사 제목은 매우 짧은 문장으로 압축된다. 이 압축 과정에서 ‘누가 앞섰는가’만 남고 조사 시점이나 오차범위가 빠지면, 작은 표본 차이도 결정적인 변화처럼 보일 수 있다. 따라서 통계 문해력은 숫자가 맞는지 확인하는 능력에 그치지 않고, 숫자가 어떤 방식으로 만들어졌으며 무엇까지 말할 수 있는지를 질문하는 능력이라고 재구성하였다.

데이터 저널리즘과 팩트체크의 관점에서 좋은 기사는 많은 통계를 나열하는 기사가 아니라, 데이터의 출처·산출 과정·한계를 독자가 검증할 수 있게 하는 기사라고 판단하였다. 예를 들어 ‘지지율 2%p 상승’이라는 문장은 사실일 수 있지만, 직전 조사와 표본 설계가 같은지, 두 조사 오차범위가 겹치는지에 따라 ‘상승’의 의미는 달라진다. 기자는 수치를 빠르게 전달해야 하지만, 그 속도가 통계적 맥락을 삭제하는 이유가 되어서는 안 된다.

신문방송학 진로와 연결하여, 나는 통계 지식을 기사 작성의 계산 기술보다 해석의 윤리로 보게 되었다. 앞으로 원조사와 기사 제목을 비교할 때에는 수치 오류만 찾지 않고, 제목이 독자에게 어느 정도의 확실성을 암시하는지까지 분석하고자 한다. 이는 기자가 정보를 제공하는 사람인 동시에, 독자가 현실을 바라보는 틀을 만드는 사람이라는 책임과 연결된다.