오후 2시, 사무실은 건조한 히터 바람과 타자 소리로 가득 찼다. 입사 4년 차, 강민우 대리는 자신의 모니터를 멍하니 바라보았다. 그의 직함은 ‘시니어 리서처’였지만, 민우는 스스로를 디지털 고물상이라 불렀다.

“대리님, A사 화장품 프로젝트 데이터 다 통합(merge)됐어요?” 

옆자리의 신입, 지은 씨가 해맑게 물었다. 민우는 얼굴을 한번 쓱 문지르고는 대답했다. 

“지은 씨, 데이터는 통합되는 게 아니야. 그냥 접착제로 억지로 붙여놓는 거지. 언제 떨어질지 모르는 상태로.”

이번 조사의 클라이언트는 2030 여성 대상의 코스메틱 브랜드. 그들의 요구는 심플했다.

“고객이 우리 제품을 인지하고 구매하기까지의 완벽한 여정(customer journey map)을 그려주세요.”

문제는 그 여정이 고속도로가 아니라, 폭격 맞은 비포장도로처럼 끊겨 있다는 점이었다. 민우는 한숨을 쉬며 엑셀 파일을 열었다.

민우의 모니터에는 서로 다른 세 개의 세계가 있었다. 이것이 바로 그 지긋지긋한 ‘데이터 파편화’의 실체였다.

[세계 1: 설문조사 속의 김지영] 설문조사 결과 파일 속 소비자 김지영(가명, 28세) 씨는 매우 이성적이었다. 그녀는 구매 시 가장 중요한 요소로 ‘친환경 성분’과 ‘기업의 윤리’를 꼽았다. 텍스트만 보면 그녀는 완벽한 개념 소비자였다.

[세계 2: 검색 데이터 속의 김지영] 하지만 검색 키워드 분석 툴이 보여주는 김지영 씨는 딴판이었다. 성분이나 윤리는 순위권 밖이었다. 압도적 1위는 ‘올영 세일 추천템’, 2위는 ‘000 토너 1+1’, 3위는 ‘좁쌀 여드름 박멸’이었다. 여기서는 지극히 현실적이고, 가격에 민감하며, 즉각적인 효능을 갈구하는 소비자였다.

[세계 3: 행동 데이터 속의 김지영] 마지막으로 자사 몰 로그 데이터의 김지영 씨는 또 달랐다. 그녀는 새벽 2시에 비회원으로 접속해 결제했다. 쿠키가 만료되어 그녀가 아까 그 설문조사의 김지영인지 알 방법은 없었다.

 

“이봐, 강 대리.” 팀장인 박 부장이 파티션 너머로 고개를 내밀었다. 

“그거 ‘싱글 뷰(Single View)’로 쫙 뽑히지? 인스타에서 보고, 네이버 검색하고, 앱에서 산 거 한 줄로 꿰어서.”

민우는 억지 미소를 지었다. 

“부장님, 그건 유니콘 같은 겁니다. 인스타의 김지영과 네이버의 김지영을 연결하려면 주민등록번호라도 받아야 해요. 지금은 그냥 다 다른 사람 취급이라고요.” “에이, 전문가가 왜 그래? 비식별 결합 기술 있잖아. 그럴듯하게 연결해 봐. ‘추정’이라고 각주 달고.”

박 부장은 ‘그럴듯하게’라는 폭탄을 던지고 사라졌다. 민우는 혼잣말처럼 나지막이 읊조렸다. “데이터가 파편화된 게 아니라, 내 멘탈이 파편화되고 있군.”

야근은 필연적이었다. 서베이와 검색, 그리고 행동 사이의 거대한 간극을 메우는 건 과학이라기보단 문학에 가까웠다.

민우는 파편화된 데이터를 억지로 기워 맞추며 보고서에 이렇게 적었다. 

“소비자는 '가치 소비'를 지향하나, 고물가로 인해 ‘할인’이라는 자극이 주어질 때만 지갑을 엽니다.”

사실은 그냥 싸니까 산 거겠지만, 보고서엔 그렇게 쓸 수 없었다.

가장 큰 골칫덩어리는 숏폼이었다. 틱톡과 릴스 데이터는 API 제한으로 긁어올 수가 없었다. 민우는 영상 하나하나를 눈으로 보며 엑셀에 수기로 태그를 달았다. [영상 1: 표정 밝음 / "개꿀"] [영상 2: 찌푸림 / "별로"]

최첨단 AI 시대를 사는 데이터 연구원이, 모니터 앞에서 원시인처럼 표정 읽기를 하고 있다니. 데이터는 흩뿌려진 별가루 같았고, 민우는 빗자루도 없이 맨손으로 그걸 쓸어 담고 있었다.

프레젠테이션 당일. 클라이언트 마케팅팀장은 날카로운 눈빛을 가진 여성이었다. “저기, 연구원님. 자사 몰 장바구니 이탈률이 70%인데, 보고서엔 이 사람들이 유튜브를 보고 다시 돌아온다고 돼 있네요? 근거가 뭐죠?”

민우의 등줄기에 식은땀이 흘렀다. 보고서의 내용은 부장님 말대로 추정한 것이었으니까.

 “아, 그건… 데이터 파편화로 직접 추적이 어려운 구간이라, 검색량과 조회수로 시계열 상관관계를 분석한 결과입니다.” 

“상관관계가 인과관계는 아니잖아요?”

정곡을 찌르는 말이었다. 그때 팀장이 덧붙였다.

“제 조카 보니까 SNS에서 보고 카톡 선물하기로 사달라고 조르던데, 그런 건 데이터 어디에 있어요?”

민우는 쓴웃음을 삼켰다. 카카오톡이나 DM 같은 사적인 채널은 분석가가 볼 수 없는 블랙홀이다. 그는 솔직해지기로 했다.

“팀장님, 맞습니다. 현재 데이터 환경에선 그 사각지대를 볼 수 없습니다. 저희는 흩어진 뼈조각으로 공룡을 복원하는 고고학자와 같습니다. 하지만 확실한 건, 파편화된 채널 속에서 고객들이 엄청난 정보 피로감을 느낀다는 사실입니다.”

잠시 정적이 흘렀다. 팀장이 피식 웃었다. 

“사각지대라…. 우리가 뭘 모르는지를 아는 것도 결과긴 하죠. 알겠습니다.”

프로젝트는 무사히(?) 끝났다. 자리로 돌아온 민우에게 새 메일이 와 있었다. Z세대 남성의 편의점 하이볼 구매 요인 분석을 부탁하는.

민우는 허탈하게 웃으며 새 탭을 열었다. “이번엔 커뮤니티를 뒤져야 하나, 편의점 POS 데이터를 사야 하나.”

그는 알고 있었다. 이번에도 완벽한 Z세대 남성은 찾을 수 없을 것이다. 디시인사이드의 익명 유저와 편의점 포인트 적립 안 하고 나가는 쿨한 손님 사이의 연결고리는 영원히 미지수일 테니까.

어쩌면 아침엔 직장인, 밤엔 익명의 악플러, 주말엔 효자가 되는 우리네 삶 자체가 이미 산산이 조각난 파편일지도 모른다.

“지은 씨, 엑셀 켜. 하이볼 마시는 유령들 잡으러 가보자.” 

민우의 손가락이 다시 춤추듯 Alt + Tab을 눌렀다. 수많은 데이터 조각이 그의 안경알 위로 쏟아져 내렸다.

소설처럼 그려본 어느 조사회사의 모습이다. 하지만 이 모습이 반드시 소설 속의, 그러니까 가상의 모습뿐인 것은 아니다.

현대 리서치 시장에서 연구원의 책상은 예전보다 훨씬 분주해졌다. 과거에는 설문조사 데이터(survey data) 하나만 잘 분석해도 소비자의 마음을 읽어냈다고 자부할 수 있었는데, 지금은 상황이 달라졌다.

엑셀 시트뿐만 아니라, 로그 데이터, 소셜 리스닝 결과, 카드 결제 내역, 그리고 생성형 AI가 쏟아내는 비정형 데이터까지. 넘쳐나는 정보에 정작 진실을 보기에는 더욱 어려워졌다. 이런 어려움은 ‘데이터 파편화’가 만들어 놓은 산물이다.

데이터 파편화는 단순히 데이터의 양이 많아진다는 의미가 아니라, 맥락의 단절을 의미한다. 조사 대상자의 움직임을 볼 수 엿볼 수 있는 각종 플랫폼의 정보는 분산되어 있고, 서로 형식도 맞지 않을뿐더러, 정성 데이터의 언어도 서로 다르다. 게다가 실시간 트렌드 데이터와 분기별 추적 조사 데이터 간의 시차도 발생한다.

푸드 업계의 조사를 담당하는 A 대리는 “설문조사에서는 80%가 ‘환경을 생각하는 제품을 사겠다’고 답했는데, 실제 이커머스 매출 데이터에서는 저가형 비친환경 제품이 완판되었네. 과연 무엇이 진짜 소비자의 마음일까?”를 고민한다.

플랫폼 담당 B 팀장은 “앱 로그 데이터를 보면 체류 시간이 길어 긍정적인 줄 알았는데, CS 데이터를 보니 인터페이스가 불편해서 헤매고 있던 것일 뿐이었네. 파편화된 수치만 믿었다가 큰일 날 뻔했군.”이라며 어려움을 토로한다. 

이처럼 데이터가 조각나 있을 때, 연구원은 코끼리 다리만 만지고 코끼리 전체를 설명해야 하는 함정에 빠지기 쉽다.

이 지점에서 우리는 기술이 아닌 사람, 그러니까 리서치 연구원의 마음에 주목해야 할 것이다. 데이터 파편화는 연구원에게 세 가지 심리적 압박을 준다.

우선 완전성에 대한 집착과 불안이다. “내가 보지 못한 데이터에 결정적인 단서가 있으면 어떡하지?”라는 불안감은 데이터가 많아질수록 완벽한 결론을 내리지 못할 것 같은 공포를 야기한다.

확증 편향의 유혹도 있을 것이다. 파편화된 데이터 중 내 가설에 유리한 조각들만 골라 맞추고 싶은 유혹에 빠지게 되면, 객관성을 훼손하는 결과를 가져올 수 있다.

가장 문제는 번아웃이다. 서로 다른 영역의 데이터를 맞추어 나가는 작업은 시간과 땀과 눈물을 요구한다. 이렇게 피로가 누적되는 과정에서 연구원의 창의적 에너지는 고갈되고 말 것이다.

그래서 연구원은 자신을 ‘데이터 큐레이터(curator)’라고 여기는 마음가짐이 필요하다.

이제 파편화된 조각들을 억지로 이어 붙이는 단순한 분석가(analyzer)를 넘어서, 그 조각들 사이의 연결고리(context)를 찾아내는 큐레이터라고 생각해 보자.

데이터가 왜 파편화되었는지 그 배경을 이해하고, 누락된 데이터가 주는 메시지를 읽어내는 능력도 길러야 할 것이다. 

그리고 파편화 데이터를 하나로 묶어주는 것은 결국 인간의 욕망일 테니, 이에 대한 이해의 힘을 이르는 인문학적 소양도 가져야 한다.

그래서 이런 데이터 파편화를 조금 다른 관점에서 볼 필요도 있다. 재앙이 아니라, 오히려 새로운 기회로써 말이다. 누구나 쉽게 얻을 수 있는 통일된 데이터는 차별화된 통찰을 주지 못한다. 여기저기 흩어진 데이터 조각들을 나만의 시각으로 엮어 하나의 스토리를 만들어낼 때, 연구원의 가치는 비로소 빛을 발할 것이다. 

나는 과연 이런 능력을 지니고 있는가? 여기저기 흩어져 있는, 그리고 중간중간 구멍이 난 세상의 데이터를 하나로 그러모아 하나의 스토리를 만들어 낼 수 있는 능력을 키우고 있는지, 돌아볼 일이다.

_ 박규상_사회정보학 박사/(주)조사연구컨설팅＃올림 전문위원