비율이 크게 보이는 순간을 조심해야 하는 이유
다섯 명 중 네 명이 같은 답을 했다면 80퍼센트라는 숫자가 만들어집니다. 숫자만 보면 상당히 많은 사람이 같은 생각을 하는 것처럼 읽히지만, 실제로는 한 사람의 답이 바뀌는 것만으로 비율이 20퍼센트포인트씩 움직입니다. 표본이 작을수록 한두 건의 변화가 결과를 크게 흔들기 때문에, 같은 비율이라도 큰 조사에서 나온 값과 똑같이 해석해서는 안 됩니다.
보고서를 읽는 사람은 대개 숫자의 규모를 먼저 보지 않고 비율이나 순위부터 봅니다. 그래서 숫자를 옮기는 사람이 규모에 대한 정보를 함께 제공해야 오해를 막을 수 있습니다.
비율 옆에 실제 건수와 조사 조건을 적기
표에 비율을 적을 때는 반드시 실제 응답 수를 옆에 함께 적습니다. "80퍼센트"보다 "5명 중 4명"이 훨씬 정확한 규모를 전달합니다. 조사한 기간과 방법, 어떤 경로로 응답을 모았는지도 표 아래에 한 줄로 밝힙니다.
자발적으로 응답한 사람만 포함되었는지, 특정 채널이나 시간대에서만 모았는지 확인하는 것도 중요합니다. 응답한 사람의 특성이 한쪽으로 치우쳐 있으면 같은 건수라도 전체를 대표한다고 보기 어렵습니다. 응답하지 않은 사람의 생각을 이미 조사한 것처럼 추정해서 적지 않습니다.
두 집단을 비교할 때 점검할 것
두 집단의 비율을 나란히 비교할 때는 집단이 서로 비교 가능한 조건인지 먼저 봅니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 차이가 실제 효과가 아니라 집단의 성격에서 나왔을 수 있습니다. 분모가 서로 다른 비율을 같은 표에 놓는다면 각 집단의 건수를 함께 보여 줍니다.
질문의 문구나 설문 위치가 바뀐 경우에도 이전 결과와 시간순으로 이어 붙이지 않는 것이 좋습니다. 같은 항목처럼 보여도 응답하는 사람이 받은 질문이 달랐다면 두 값은 직접 비교하기 어렵습니다. 바뀐 시점은 표에 표시해 둡니다.
그래프에서 과장이 생기는 지점
그래프는 숫자보다 인상이 먼저 전달되기 때문에 더 주의해야 합니다. 세로축을 0이 아닌 값에서 시작하면 두 건과 세 건의 차이가 매우 커 보이는 막대로 그려집니다. 축의 범위와 단위를 표시하고, 가능하면 0에서 시작하는 축을 사용합니다.
작은 자료에서는 순위를 매기는 방식도 신중해야 합니다. 한 건 차이로 순서가 바뀌는 항목들을 첫째와 둘째로 나누어 보여 주면 의미 없는 차이를 강조하게 됩니다. 그런 경우에는 순위 대신 비슷한 수준이라고 묶어서 표현하거나, 건수를 그대로 나열하는 편이 정확합니다. 복수 선택이 가능했던 질문이라면 합계가 100퍼센트를 넘을 수 있다는 점도 표 아래에 적습니다.
표 제목과 주석에도 같은 원칙을 적용합니다. 제목에 "고객 만족도"처럼 넓은 표현을 쓰면 읽는 사람은 전체 고객의 평가라고 받아들이기 쉽습니다. "이번 기간 응답자 기준"처럼 범위를 한정한 제목을 붙이고, 결측이나 무응답이 있었다면 그 건수도 주석에 남겨 두면 숫자를 인용하는 사람이 범위를 넘겨 해석하는 일을 줄일 수 있습니다.
결론 문장의 범위를 자료에 맞추기
결론을 쓸 때는 "모든 고객은"처럼 전체를 가리키는 표현을 피하고 "이번에 확인한 응답에서는"처럼 자료의 범위를 드러내는 표현을 씁니다. 작은 표본은 확정적인 결론을 내리기에는 부족하지만, 현장에서 어떤 질문이 나오는지를 발견하는 데에는 충분히 쓸모가 있습니다. 그래서 결과를 주장으로 쓰기보다 확인할 질문의 목록으로 정리하는 방식이 더 유용할 때가 많습니다.
추가 조사를 계획한다면 어떤 집단과 기간을 보완할지 구체적으로 적어 둡니다. 막연히 더 조사하겠다는 문장은 다음 의사결정에 도움이 되지 않습니다.
다시 조사할 수 있도록 방법을 보관하기
마지막으로 질문지와 응답자를 포함한 기준, 집계 방식을 파일로 보관합니다. 다음 조사에서 같은 조건을 적용하면 변화가 실제 차이에서 온 것인지 방법의 차이에서 온 것인지를 나누어 볼 수 있습니다. 표본이 작다는 이유로 자료를 버리기보다 한계를 기록하고 후속 검증에 연결하는 편이 낫습니다. 자료가 말하지 않는 부분을 확정적인 사실로 바꾸지 않을 때 보고서의 신뢰도도 함께 유지됩니다.