서울 영등포구의 한 리서치 전문 회사. 7년 차 조사 연구원 김민준 대리의 책상 위에는 식어버린 아메리카노와 모니터를 가득 채운 통계 프로그램 화면, 그리고 빨간색 스티커가 빽빽하게 붙은 통화 기록지가 어지럽게 널려 있다.

"고객님이 전화기를 꺼놓아 ooo으로 연결되며…."

수화기 너머로 들려오는 기계음은 오늘만 벌써 스무 번째다. 

김 대리가 담당하는 프로젝트는 한 지방자치단체의 ‘지역 주민 삶의 질 및 정책 만족도 조사’. 표본 크기는 1,000명, 조사 기한은 불과 사흘 앞으로 다가왔다. 

김 대리의 모니터 하단에 떠 있는 진행률 수치는 잔인하게도 ‘38.2%’에 머물러 있다.

가장 큰 문제는 단순히 응답자 수가 부족한 것이 아니다. 수집된 382명의 데이터를 세부적으로 들여다보면 스크린 속 그래프는 기형적인 모양을 하고 있다는 점이다. 60대 이상 여성 응답자는 이미 목표 표본 수를 200% 초과 달성해 접수를 조기 마감(Quota Close)했지만, ‘2030세대 남성’과 ‘30대 워킹맘’ 카테고리는 탈모가 진행된 머리처럼 듬성듬성 비어 있다.

"김 대리, 20대 남성 표본 아직도 15명밖에 안 채워졌어? 모레가 중간보고인데 이거 어쩔 거야?"

팀장의 찌푸린 미간을 보며 김 대리는 속으로 한숨을 삼킨다. 

20대 남성의 스마트폰은 모르는 번호로 전화가 걸려 오는 순간 스팸 차단 앱에 의해 ‘광고/협박’ 수준으로 자동 스크리닝된다. 간신히 연결되더라도 “바쁩니다”라는 차가운 한마디와 함께 끊어지기 일쑤다.

방문 조사는 사정이 더 나쁘다. 지난 주말, 면접원들을 현장에 보냈지만 아파트 단지 입구의 공동현관기 앞에서 경비원과 입주민들의 눈총을 받으며 쫓겨나기 일쑤였다. 

“남의 집에 함부로 찾아와서 개인정보를 물어보느냐!”라며 경찰에 신고하겠다는 소동까지 벌어졌을 정도다.

지금 대한민국 리서치 현장에서는 도대체 무슨 일이 일어나고 있는 것일까? 우리는 과연 ‘진짜 국민’과 ‘진짜 소비자’의 목소리를 제대로 담아내고 있는 것일까?

리서치 현장에서 지금 이런 비명이 들려오는 것 같다.

“아무리 벨을 눌러도 대답이 없고, 아무도 전화를 받지 않는다!!”

과거 조사회사 연구원들에게 전화조사와 방문면접은 데이터를 수집하는 가장 신뢰할 수 있는 전통적 쌍두마차였다. 전화번호부나 RDD(임의전화걸기) 방식을 통해 전국의 가구에 접근하고, 숙련된 면접원이 대문 안으로 발을 들여놓으며 응답자의 눈빛과 표정까지 읽어내던 시절이 있었다.

하지만 지금 현장의 모습은 그 시절과는 180도 달라졌다.

우선 집 전화 한 대의 시대에서 개인별 한 대의 스마트폰 시대가 되었지만 전화로 응답자에게 접근하는 것은 더 어려워졌다. 스팸 차단 앱과 수신 거부라는 강력한 무기에 의해서 응답을 바라는 연구원들의 목소리는 차단당하기 일쑤다. 스마트폰 이용자의 대다수가 ‘T전화’, ‘후후’, ‘티스팸’ 같은 스팸 차단 앱을 사용한다. 조사회사의 전화번호는 시스템에 의해 ‘광고/설문’으로 분류되어 화면에 띄워지기도 전에 차단되기도 한다.

여기에 느닷없이 걸려 오는 모르는 발신자로부터의 전화를 두려워하는 ‘콜 포비아(Call Phobia)’도 한몫한다. 특히 2030 세대에게 예고 없는 전화는 실례이자 공포다. 친한 친구끼리도 텍스트 메시지로 먼저 의사를 묻고 통화하는 시대에, 모르는 번호의 조사 전화에 응할 리가 만무하다.

방문면접의 경우는 전화보다 더 심하다. 방문 조사의 거점이었던 아파트 단지는 스피드 게이트와 공동현관 보안 장치로 철통 봉쇄되었다. 게다가 타인과의 접촉을 최소화하려는 선택적 단절 문화가 자리 잡으면서, 낯선 면접원의 방문은 사생활 침해를 넘어 안전 위협으로 인식된 지 오래다. 보안 시스템과 침해받지 않을 권리가 면접원의 발목을 잡고 있는 것이다. 

이런 이유들로 현재 국내 전화조사의 실제 응답률은 한 자릿수(3~8%)대로 추락했다. 100명의 목소리를 담기 위해 최소 1,000명, 많게는 3,000명 이상에게 전화를 걸어야 하는 지독한 ‘확률과의 싸움’이 매일 반복되고 있는 것이다.

하지만 응답률 급감보다 연구원들을 더 깊은 절망에 빠뜨리는 것은 바로 ‘표본의 편향(Sample Bias)’ 문제이다.

통계학에서 가장 중요한 전제는 ‘모든 구성원이 조사 대상에 포함될 확률이 동일해야 한다’라는 대표성(Representativeness)이다. 하지만 현실에서는 조사를 ‘잘 받아주는 계층’과 ‘절대 안 받는 계층’으로 극명하게 갈라진다.

응답을 잘 받아주는 계층은 주로 시간적 여유가 상대적으로 많고, 정치·사회적 이슈에 의견을 표출하고 싶어 하는 60대 이상 장년층, 전업주부, 자영업자 등으로 분류할 수 있다.

이와 반대로 응답을 절대 안 받는 계층은 직장 생활로 바쁜 3040세대, 1인 가구, 개인정보 유출에 민감한 고소득층, 그리고 20대 남성이다.

김 대리가 다루는 데이터에도 이 왜곡이 그대로 반영된다. 20대 대학생의 목소리를 듣기 위해 전화기를 붙잡고 있으면, 결국 연결되는 사람은 ‘낮 시간대에 한가롭게 전화를 받을 수 있는 극소수의 20대’뿐이다. 과연 이 5%의 응답자가 전체 20대의 생각과 가치관을 대표한다고 말할 수 있을까?

*AI생성 이미지

부족한 표본을 채우기 위해 가중치(Weighting) 기법을 사용하지만, 이 역시 한계가 있다. 응답자가 10명밖에 없는 20대 남성 데이터에 가중치 5를 곱해 50명으로 뻥튀기하는 순간, 특이한 성향을 지닌 1명의 목소리가 5명의 목소리로 과대 포장되는 착시 현상이 발생하기 때문이다.

자 그럼 이 사태를 조사회사들은 그대로 바라만 보고 있는 걸까. 그렇지는 않을 것이다. 대표성의 문제를 해결하지 않으면 생존에 위협을 받으니, 조사회사들도 이대로 손을 놓고 있을 수는 없다. 데이터의 정확도가 곧 생명인 조사회사와 연구원들은 급변하는 환경 속에서 대표성을 확보하기 위해 새로운 기술과 기법을 쏟아내고 있다. 어떤 대응을 하고 있는지 몇 가지 알아보자.

우선 어느 한 가지 조사 방식만으로는 절대 대표성을 얻을 수 없다는 반성에서 출발한, 혼합 조사 기법(Mixed Mode Survey)의 고도화 대응이다. 전화조사로 60대 이상 표본을 채우고, 동일한 설문지를 웹/모바일 응답 링크(URL) 형태로 전환해 2040세대에게 문자메시지나 카카오톡으로 발송한다. 기기에 친숙한 젊은 층은 모바일 화면으로 빠르게 응답하고, 고령층은 구술로 응답함으로써 각 매체의 단점을 서로 보완하는 형태다.

두 번째 대응으로는 모바일 패널(Panel) 생태계 구축과 품질 관리를 들 수 있다. 랜덤 조사(RDD)의 한계를 극복하기 위해, 사전에 리워드와 이용 동의를 받은 수백만 명 규모의 모바일 패널을 확보하는 데 사운을 걸고 있다. 하지만 패널 조사 역시 ‘체리피커(리워드만 노리고 대충 응답하는 사람들)’나 ‘AI 불성실 응답’이라는 난관에 봉착해 있다. 이를 막기 위해 연구원들은 응답 시간이 지나치게 짧은 데이터나, 모든 문항에 똑같은 번호를 찍는(Straight-lining) 데이터를 걸러내는 ‘행동 기반 신뢰도 스코어링 알고리즘’을 도입해 품질을 실시간 검증하기도 한다.

마지막으로는 이전에도 활용되던 것이긴 하지만, 이전보다 고급 통계적 보정 기법(Propensity Score & Data Stitching)을 활용하는 대응이다. 단순 성·연령·지역 가중치를 넘어, 응답자의 성향과 행동 데이터를 기반으로 무응답 편향을 보정하는 고급 통계 모형을 적용한다. 예를 들어, 설문 응답 결과에 카드 결제 내역이나 통신사 위치 데이터 등 실제 행동 데이터(Behavior Data)를 결합하여, 응답자가 말한 내용(Attitude)의 실제 신뢰성을 다각도로 검증하는 방식이다.

그렇다면 이 ‘응답 거부의 시대’라고도 할 수 있는 시대에 리서치 업계의 미래는 어디로 향하고 있을까? 

아마도 앞으로의 변화는 단순한 조사 기법의 개선을 넘어, 리서치라는 산업의 정의 자체를 바꾸는 방향으로 흘러가지 않을까 생각한다. 그럼, 그 방향은 어떤 방향일까.

우선 첫째, ‘묻는 조사(Ask)’에서 ‘관찰하는 조사(Observe)’로 전환하지 않을까 한다. 소비자에게 “이 제품을 살 의향이 있습니까?”라고 직접 물어보는 방식은 아마도 점차 줄어들지 않을까 싶다. 대신 소비자의 동의하에 비식별화된 웹 서핑 이력, 앱 사용 시간, 결제 데이터, SNS 언급량 등 ‘디지털 발자국(Digital Footprint)’을 실시간으로 추적하고 분석하는 행동 기반 분석이 시장 조사의 메인스트림으로 자리 잡을 것으로 보인다. 말은 거짓말을 하지만, 결제 내역은 거짓말을 하지 않기 때문이다.

둘째로는 이전 컬럼에서 몇 번 다루었던 내용으로, 생성형 AI와 합성 데이터(Synthetic Data)의 보완적 활용이 확대될 것으로 예상된다. 지금도 진짜 사람의 응답을 얻기 힘든 마당에 앞으로도 더욱 그러할 테고, 그렇게 생긴 응답자의 빈자리를 AI가 채우기 시작하지 않을까 생각한다. 기존에 축적된 거대한 인구통계학적 데이터와 소비 패턴을 학습한 ‘AI 페르소나’를 생성하고, 이들에게 가상의 시나리오를 제시하여 반응을 예측하는 ‘합성 소비 트렌드’ 또는 ‘합성 소비자’ 분석이 활성화될 전망이다. 이는 인간 조사를 완전히 대체하기보다는, 표본이 극히 부족한 특수 계층의 응답을 보완하는 통계적 예측 도구로 쓰이게 될 것이다.

세 번째로는 ‘질문의 격(Quality of Question)’과 ‘해석의 가치’가 상승할 것이다. 이 부분도 이전의 컬럼에서 몇 번 다룬 적이 있다. 응답자의 목소리를 듣기 힘들어질수록, 한 번의 조사에서 얻어내는 데이터 단 한 조각의 가치는 더욱 귀해진다. 길고 지루한 50문항짜리 설문지는 완전히 사라지고, 1~2분 안에 직관적으로 답할 수 있는 Micro-survey가 대세를 이루지 않을까 한다.

위에서 언급한 흐름을 고려한다면 연구원의 역할도 역시 설문지를 만들고 데이터를 집계하는 사람에서, 파편화된 수많은 데이터 조각을 모아 인간의 진심과 맥락을 읽어내는 데이터 텔러(Data Teller)로 진화해야 하는 것은 두말할 필요가 없을 것이다. 

오후 6시 30분. 마침내 20대 남성 표본 50명 중 마지막 1명의 모바일 응답이 시스템에 들어왔다. 김 대리의 모니터에 초록색 완료 불빛이 들어온다.

퇴근길 지옥철에 몸을 실은 김 대리가 고개를 들어 보니 손에 쥔 스마트폰 화면을 들여다보는 수많은 사람이 눈에 들어온다. 모두가 고개를 숙인 채 저마다의 디지털 세계에 몰입해 있다. 저들 중 누구도 낯선 전화에 응답하거나 벨 소리에 문을 열어주지 않을 것이다.

하지만 김 대리는 안다. 차갑게 꺼져 있는 저 화면들 너머에도 여전히 삶의 고충이 있고, 사회에 대한 불만이 있으며, 더 나은 제품에 대한 열망이 숨 쉬고 있다는 것을.

조사 연구원의 일은 이제 단순히 전화를 걸고 벨을 누르는 것이 아니다. 단단하게 닫힌 디지털의 장벽을 넘어, 그들의 진짜 목소리에 닿을 수 있는 새롭고 따뜻한 통로를 만들어내는 일. 

수신 거부의 시대에 리서처가 던지는 질문은 그래서 더 깊어지고, 더 세심해져야만 한다.

_ 박규상_사회정보학 박사/(주)조사연구컨설팅＃올림 전문위원