컬럼과 소식

올림은 무엇을 고민하는지 올림의 생각을 전합니다

[Research Lounge_24] 외로움 예방 사업의 질적 성과지표와 조사회사의 역할

  • 작성자 관리자
  • 조회 12

필자는 지난 10월 14일, 서울시복지재단이 주최하는 ‘제17차 사회적고립연결포럼’에 다녀왔다. “연결의 유통기한을 늘리는 패러다임의 전환”이란 제목으로 여는말을 하기 위해서였다. 고립/외로움 관련 사업들의 결과물인 연결의 유통기한을 늘리기 위한 패러다임 전환이 필요하다는 내용을 다루면서, 3분 정도 가볍게 성과지표(KPI)에 대한 이야기를 했다. 자세히 다루고 싶었지만, 20분이란 시간 제약에 전달해야 할 내용이 광범위했기에 정말 하고 싶은 말들을 줄이고 줄일 수밖에 없었다. 특히 조사회사의 전문위원으로, 조사결과 기반의 성과지표에 대한 고민이 많았던 참이라 시간이 짧다는 점이 무척 아쉬웠다. 그래서 이번 컬럼은 연결포럼에서 담지 못했던 이야기를 해보고자 한다.


“우리는 고립과 외로움 관련 사업이나 정책의 성과를 말할 때 늘 ‘몇 명이 왔는가’ 또는 ‘수혜자는 몇 명인가’를 먼저 묻습니다. 그런데 이 질문을 ‘무엇이 연결되었는가’로 바꾸면 어떻게 될까요?”


여는말 모두에 사회적 연결의 성과지표와 관련해 청중에게 짧게 던졌던 질문이다. 

숫자를 세는 일은 쉽고, 정직해 보인다. 하지만 숫자는 연결이 얼마나 되었는지를 말해줄 뿐, 그 연결이 어떤 모양인지는 말해주지 않는다. 벽돌을 몇 개 쌓았는지만 세어서는 그 건물이 튼튼한지 알 수 없다. 기둥이 어디에 서 있는지, 하중이 어떻게 나뉘는지, 비바람을 몇 해나 버틸지가 건물의 진짜 성능을 가른다. 사회적 연결도 마찬가지다. 개인적으로 성과지표로 측정해야 할 것은 연결의 양이 아니라 ‘깊이와 구조’라고 생각하기 때문에 던진 질문이었다.


그럼, 먼저 널리 사용되는 양적 지표는 왜 매력적이고, 또 왜 부족한지를 알아보도록 하자.

양적 지표가 널리 쓰이는 데는 이유가 있다. 우선 측정하기 쉽고, 보고하기 쉽고, 해마다 비교하기 쉽다. 예산을 쓰는 쪽도 평가하는 쪽도 이해하기 쉬운 숫자다. 그리고 이 숫자들은 사업이 실제로 돌아가고 있는지를 확인하는 기초 자료로는 분명히 의미가 있다. 

예를 들어 보자. 인천시가 올해 시행계획에서 밝힌 것처럼 지난해 고립·은둔 청년 214명을 발굴해 전담 사례관리를 진행했다는 정보는 사업의 도달 범위를 보여준다. 문제는 그 숫자를 성과로 읽는 순간에 생긴다. 두 사람을 떠올려 보자. 편의상 A와 B라고 부르겠다. A는 올해 지역 모임에서 열 사람과 접촉했다. 모두 모임에서 알게 된 사람이고, 모임이 끝나면 인사만 나누고 헤어진다. 속마음을 이야기해 본 적은 없다. B는 세 사람과 이어져 있다. 한 사람은 오래된 친구, 한 사람은 같은 동네에 사는 이웃, 한 사람은 복지관 담당자다. 힘든 일이 생기면 누구에게 전화할지 알고 있고, 그 연락이 지난 3년간 끊긴 적이 없다.

양적 지표로 보면 A가 B보다 세 배 이상 ‘연결된’ 사람이다. 하지만 정말 그런가. 두 사람이 갑자기 아파서 쓰러졌다고 가정해 보면 답은 분명해진다. 다음 날 아침 누가 문을 두드려 줄까. 양의 지표는 이 질문에 답하지 못한다. 같은 숫자가 전혀 다른 현실을 가리키기 때문이다.

사회적 연결의 양적 지표가 알려주지 않는, 놓치고 마는 것은 크게 세 가지가 있다. 바로 ‘연결의 질’, ‘연결의 다양성’, ‘연결의 지속성’이다.

‘연결의 질’은 연결을 통해서 무엇이 오가는가를 말해준다. 같은 열 번의 만남이라도 그 안에서 오가는 것은 전혀 다르다. 날씨 이야기만 하고 헤어지는 만남이 있고, 마음 편하게 속을 털어놓는 만남이 있다. 후자는 위로와 도움, 정보, 소속감처럼 사람이 실제로 필요로 하는 것을 주고받는 연결이다. 

흥미롭게도 이미 현장에서는 이 질적 측면을 일부 묻고 있다. 우리나라 고령층 10명 중 4명가량이 집안일을 부탁하거나 속마음을 털어놓을 상대가 없는 사회적 고립 상태라는 조사 결과가 그렇다. 이 문항은 ‘몇 명을 아는가’가 아니라 ‘속마음을 말할 한 사람이 있는가’를 묻는다. 양에서 질로 한 걸음 옮긴 질문이다.

‘연결의 다양성’은 연결이 어디에 걸쳐 있는가를 다룬다. 한 사람이 가진 관계가 모두 같은 종류라면 그 관계망은 취약하다. 가족뿐이거나 한 복지기관뿐이거나 같은 모임 사람들뿐이라면, 그중 하나가 흔들릴 때 전체가 무너질 수 있다. 반대로 가족, 친구, 이웃, 직장이나 활동 동료, 지역 기관, 전문가가 고르게 걸쳐 있으면 한 곳이 약해져도 다른 곳이 받쳐준다. 구조공학으로 말하면 하중이 분산되어 있는 셈이다. 같은 연결 세 개라도 한 사람에게 몰려 있느냐 세 갈래로 흩어져 있느냐에 따라 튼튼함이 달라진다.

‘연결의 지속성’은 시간을 얼마나 견디는가와 연계된다. 연결의 유통기한이 여기서 등장한다. 프로그램 안에서 맺은 관계가 프로그램이 끝나도 이어지는지가 핵심이다. 지속성은 한 번의 측정으로는 알 수 없다. 처음 몇 번의 만남은 열기로 이어지기 쉽지만 6개월, 1년이 지나면 많은 관계가 조용히 사라진다. 이 소멸을 볼 수 있어야 연결의 유통기한을 말할 수 있다. 반대로 말하면, 지속성을 재지 않는 평가는 유통기한이 지난 연결도 성과로 계산하게 된다.

‘연결의 질’, ‘연결의 다양성’ 그리고 ‘연결의 지속성’은 서로 다른 질문에 답한다. 질은 “그 관계가 나를 지탱하는가?”, 다양성은 “그 지탱이 한 곳에 몰려 있지 않은가?”, 지속성은 “그 지탱이 시간을 견디는가?”이다. 어느 하나라도 빠지면 연결의 모습이 왜곡된다. 연결의 질은 깊은데 연결의 지속성이 없으면 일시적 위안에 그치고, 지속은 되는데 다양성이 없으면 단일 관계 의존으로 위험하다. 그러니 숫자 하나로는 이 입체적인 모양을 담을 수 없다.

그럼, 입체적인 모양을 담기 위해 어떻게 하면 될까?

‘깊이와 구조’라는 새로운 렌즈를 통해 ‘연결의 질’, ‘연결의 다양성’ 그리고 ‘연결의 지속성’을 하나로 묶어 보면 어떨까 한다. 

깊이는 연결의 질이다. 한 관계 안에 무엇이 흐르는지를 본다. 사회적 지지에 관한 연구는 관계가 하는 일을 대체로 몇 가지로 나눈다. 마음을 나누는 정서적 지지, 급할 때 손을 보태는 실질적 도움, 필요한 정보를 주는 조언, 어딘가에 속해 있다는 소속감, 그리고 누군가에게 쓸모 있는 사람이라는 감각이다. 이 가운데 어떤 기능이 살아 있는지가 “무엇이 연결되었는가”라는 질문의 구체적인 답이다. 밥을 같이 먹는 관계와 아플 때 병원에 같이 가주는 관계는 같은 만남 한 번이 아니다. 여기에 상호성이 더해진다. 받기만 하는 관계보다 주고받는 관계가 오래가고, 사람에게 자기 효능감을 준다.

구조는 연결의 짜임이다. 다양성과 지속성, 그리고 의존의 분산을 본다. 관계가 몇 개의 영역에 걸쳐 있는지, 한 사람이나 한 기관에 몰려 있지 않은지, 시간이 지나도 이어지는지가 모두 구조의 문제다. 구조는 개별 관계의 합이 아니라 관계들이 이루는 전체의 모양이다. 한 사람의 관계망을 지도로 그려 보면 이 구조가 눈에 들어온다. 중심에 한 사람만 있고 나머지가 모두 그 사람에게 매달려 있는 지도는 보기에는 연결이 많아 보여도 사실은 가는 줄 하나에 걸려 있다.

여기서 한 가지 짚어둘 점이 있다. 필자는 고립과 외로움이 깊이와 구조에 대략 겹친다고 본다. 고립은 주로 구조의 문제다. 기댈 수 있는 관계가 있는지, 다양한 영역에 걸쳐 있는지의 문제다. 외로움은 깊이의 문제에 가깝다. 관계가 있어도 그 관계가 나를 이해해 주지 않는다고 느낄 때 외로움이 생긴다. 물론 이 대응은 경향일 뿐 칼로 자르듯 맞아떨어지지는 않는다. 그래도 구조는 고립을, 깊이는 외로움을 비추는 렌즈라고 기억해 두면 지표를 설계할 때 도움이 된다.


결국 이렇게 깊이와 구조로 사회적 연결의 성과지표를 고민하다 보면 결국 “질적 가치를 어떻게 측정할 것인가?”라는 종착역에 다다르게 된다.

여기서 흔한 오해 하나를 풀어두자. ‘질적 지표’라고 하면 숫자가 없는 서술형 평가를 떠올리기 쉽다. 그런데 정확히 말하자면 질적 지표를 개발한다는 말은, 질을 포기하는 것이 아니라 질을 숫자로 번역하는 일이다. 관계의 깊이도 척도 문항으로 묻고 점수로 나타낼 수 있다. 관계의 다양성도 지수로 만들 수 있다. 지속성도 시점별 유지율로 계산할 수 있다. 숫자를 버리자는 것이 아니라 숫자로 측정할 수 있는 대상을 바꾸자는 것이다. 사람 수를 세던 눈을 관계의 속성으로 돌리면 된다. 대략 다음의 표와 같이 정리할 수 있을 것이다. 
 

6eb41a7da090487173fa4db0014d99e8_1793154086_595.jpg

위 표의 지표 일부는 이미 학계와 해외 조사에서 쓰이는 방식과 닿아 있다. 예컨대 “중요한 일을 의논할 사람을 떠올려 달라”는 식으로 응답자의 관계망을 떠올리게 하는 질문이나, 속마음을 나눌 상대의 유무를 묻는 문항이 그렇다. 구체적인 척도를 선택할 때는 연구 문헌과 최신 지침을 확인해 조사 설계에 맞게 정리하면 된다.

질적 지표에는 숫자만으로 포착하기 어려운 것을 보완하는 방법도 필요하다. 사례관리자의 기록이나 심층면접은 “왜 이 관계가 이어졌는가”를 설명해 준다. 설문이 ‘무엇이, 얼마나’를 말해준다면, 면접은 ‘왜, 어떻게’를 말해준다. 둘을 함께 쓰면 숫자가 놓친 이야기가 보이고, 이야기가 놓친 규모가 보인다.


지표가 바뀌면 고립 관련 사업이나 정책이 바뀐다. 평가가 참여자 수를 묻는 한, 사업과 정책은 사람을 모으는 데에 힘을 쓴다. 평가가 관계의 깊이와 구조를 묻는 순간, 사업과 정책은 다른 질문을 하게 된다. 참여자가 모임 밖에서도 서로 연락하는가, 프로그램에 의존하지 않는 관계가 생기는가, 여러 갈래의 연결이 만들어지는가.

이는 ‘출구 설계’의 중요성으로 이어진다. 많은 고립 관련 사업이 종료와 함께 연결도 종료되는 구조다. 지속성이 지표가 되면 사업은 종료 전부터 참여자를 지역의 일상적 관계망, 예컨대 동네 모임, 이웃, 자원봉사나 취미 활동으로 넘겨주는 데 공을 들이게 된다. 프로그램은 다리 역할을 하고, 다리를 건넌 사람이 다리 없이도 이어져 있어야 성공이다.

현장 공무원의 인력난이 크다는 지적도 있는 만큼, 이 전환은 한꺼번에 모든 것을 바꾸자는 것이 아니다. 먼저 사업 말미에 관계의 질에 대한 간단한 문항 두세 개를 추가하고, 6개월 뒤 동일한 문항을 한 번 더 묻는 데서 시작할 수 있다. 작은 질적 지표 하나가 보고서의 시선을 바꾸는 계기가 된다.

가상의 보고서를 통해 어떤 차이가 생기는지 생각해 보자. 기존 방식은 이렇게 쓴다. “연간 모임 48회, 연인원 960명 참여, 만족도 92%.” 이에 반해 새로운 방식을 적용하면 이렇게 쓰게 될 것이다. “참여자의 60%가 모임 밖에서 연락할 사람이 한 명 이상 생겼다고 응답했고, 6개월 뒤에도 그 관계를 유지하는 비율은 3분의 1이었다. 도움을 청할 수 있는 영역은 평균 1.4개에서 2.1개로 늘었으나, 여전히 한 기관에 의존하는 비율이 높았다.”

새로운 방식의 보고서는 덜 화려하지만, 다음에 무엇을 개선할지가 훨씬 분명하다. 지속성을 늘릴 것인지, 다양성을 넓힐 것인지, 기관 의존을 낮출 것인지가 명확히 보인다.


그래서 조사회사가 고립과 외로움에 관한 조사를 한다면, 그 결과는 깊이와 구조를 담는 방향으로 설계되고 읽혀야 한다. 필자가 생각하는 연결 방식은 네 가지다.

우선 관계의 ‘프로파일’을 만든다. 고립×외로움의 구분에 더해 깊이와 구조의 두 축으로 응답자를 나누어 볼 수 있다. 관계가 깊은지 얕은지, 구조가 넓은지 좁은지에 따라 네 부류가 나올 것이다.
 

6eb41a7da090487173fa4db0014d99e8_1793154100_5097.jpg
 

양적 지표로는 ‘넓지만 얕은’ 사람과 ‘깊지만 좁은’ 사람이 구별되지 않는다. 이 프로파일은 각 집단에 필요한 정책이 다르다는 점을 보여준다. 정책의 대상과 목표를 부류별로 달리 정하자는 것이 필자의 제안이다.

둘째, 기준선과 목표를 깊이·구조 위에 세운다. 현재 지역 주민의 몇 퍼센트가 속마음을 털어놓을 사람이 있는지, 몇 퍼센트가 한 사람 이하에게만 의존하는지를 모집단 조사로 확인한다. 그래야 “3년 뒤 얕고 좁은 연결에 놓인 비율을 몇 퍼센트포인트 줄인다.” 같은 의미 있는 목표를 세울 수 있다. 참여자 수 목표는 이 수준의 변화를 보장하지 않는다.

셋째, 패널·추적 조사로 지속성을 본다. 같은 사람의 관계가 시간에 따라 어떻게 변하는지는 단면 조사로는 알 수 없다. 추적 조사를 통해 어떤 관계가 이어지고 어떤 관계가 사라지는지, 어떤 사람에게서 끊김이 잦은지를 볼 수 있다. 이것이 연결의 유통기한을 재는 실제 수단이다.

넷째, 사각지대를 메우고 한계를 밝힌다. 가장 깊이 고립된 사람은 설문에 응답하기 어렵다. 방문 조사, 행정자료와의 결합, 복지관·보건소 등 접점 기관을 통한 표집이 필요하다. 그리고 “누구의 목소리가 빠져 있는가”를 결과와 함께 밝혀야 한다. 깊이와 구조를 재겠다면서 가장 구조가 약한 사람을 놓치는 조사는 자기모순이기 때문이다.

덧붙여 현장 사업의 사전·사후 설문과 지역 모집단 조사가 핵심 문항을 공유하도록 설계하면, 프로그램 참여자의 변화를 지역 전체 수준과 견주어볼 수 있다. 문항이 기관마다, 해마다 바뀌면 깊이와 구조의 변화를 읽을 수 없을 것이다.


현재 우리나라에서 외로움과 고립으로 힘들어하는 사람이 약 1백만 명에 달하고, 이 중에서 청년층이 54만 명을 차지하고 있다. 하지만 이들에 대한 실태 조사가 되어 있지 않고, 위험군을 대상으로 이루어지고 있는 사업도 제대로 된 성과지표를 정하지 못한 채 진행되고 있다. 

특히, 외로움은 주관적 인식이라는 점, 고립은 가시화되지 않는다는 점이 대상을 파악하는데 더욱 어렵게 느껴지는 측면이다. 외로움과 고립을 예방하기 위한 직접적인 사업도 필요하지만, 그 사업이나 정책의 효과성을 파악하기 위한 성과지표 연구와 개발도 동시에 진행되어야 할 것이다.


_ 이완정_『외로움의 함정』 저자/(주)조사연구컨설팅#올림 전문위원