리터놀리지 : 복잡한 문제에서 리서치로 길을 밝힌다

 

반품문제를 해결하는 리터놀 팀에서 데이터를 분석하는 분석가는 완전히 멘탈이 나가버렸습니다(?)

리터놀에게는 반품된 상품을 검품하는 물류센터가 있습니다. 리터놀의 핵심 자산인 이 물류센터의 생산성을 더 높이고 싶었는데요.

배운게 도둑질이라고, 데이터분석가로서 물류센터의 전산 시스템을 기반으로 센터의 생산성을 측정하기 위해 몇달을 고민했지만 결국 한계에 부딪혔습니다. 센터 작업자분들이 한시간에 물건을 100개씩 처리하는지, 200개씩 처리하는지는 데이터로 추적이 가능하지만, 왜 이런 정도만 가능한지, 왜 더 못하는지는 이 데이터모델에서 알 수가 없었거든요.

‘작업자가 동기부여될만한 인센티브가 부족하다’, ‘작업자의 근무 강도가 높다’와 같은 원인에 가까운 정보는 모델에 담겨있질 않았습니다. 생산성을 높이고 싶다는 목표에 관해서, 정작 필요한 정보는 못보는 셈이죠.

결과를 넘어 원인을 찾아 알 수 있는 데이터모델을 만들 수는 없을까요? 리터놀리지는 이런 질문에서 만들어졌습니다. 우리가 풀고자 했던 문제는 복잡했고, 정말 다양한 시도들이 필요했거든요. 우리가 풀고자 했던 문제가 무엇이었는지, 리터놀리지가 어떻게 이 문제 해결 과정을 관리하는 데에 사용되는지를 정리해봅니다.

우리가 풀고 싶은 복잡한 문제

어떤 환자가 있습니다, 이 환자는 배가 아파 의사를 찾았고 의사는 이렇게 말합니다. ‘당신이 배가 아픈건 위가 아프기 때문입니다.’ 이 진단은 맞는 진단일까요?

의사는 배가 아프다는 결과적인 현상을 잘게 쪼개 그 중 구체적인 부위를 찾았습니다. 이것은 많은 가능성을 배제시킨 중요한 분석이지만, 이것 만으로는 문제를 해결할 수 없습니다. 원인은 결과와 다른 영역에 존재하거든요. 환자가 위가 아픈 이유는 무언가 감염이 되었거나 암이 생겼거나, 위액이 역류했거나.. 등등 일꺼에요.

저는 배가 아프다→ 위가 아프다 처럼 현상을 같은 영역 안에서 세분화시키는 과정을 수평적인 확장으로, 위가 아프다 → 세균에 감염됐다 와 같이 현상을 다른 영역으로 연결하는 과정을 수직적 확장으로 그립니다.

 

문제를 해결하는 과정은 이렇게 결과로부터 수직적, 수평적 확장을 거쳐 결과를 만들어낸 원인에 닿아 이를 제거하는 과정이라 생각합니다.

제가 지금껏 마주한 문제들에는 2가지 종류가 있습니다. 하나는 <수술>이 필요한 경우입니다. 거대하고 명백한 원인이 있어 얘만 싹둑 잘라내면 문제라는 결과를 대체로 없앨 수 있는 경우입니다.

다른 하나는 <체질개선>이 필요한 경우입니다. 세세하고 자잘자잘한 원인이 여기저기 흩뿌려져 있어서 결과를 없애려면 이 세세한 것들을 찾아 제거해야하는 경우입니다. 제가 일하면서 마주했던 여러 중요한 문제들은 이 <체질개선>이 필요한 경우가 많았던 것 같습니다. 그런데 이게 참 어려웠던 점은, 체질개선은 복잡하다는 것입니다.

복잡한 문제를 해결하는 원리

어떤 공간에 감성을 부여하고 예쁜 카페를 만드는 일은 <체질 개선> 문제의 대표적인 경우로 보입니다. 텅 빈 공간에 몇 개의 테이블과 의자가 놓았을 때, 그 공간에 의도한 감성이 생길까요? 컨셉을 기획하고, 인테리어 공사를 통해 조명과 전반적인 톤을 맞추고, 공간에 알맞는 소품을 적절히 배치하는 등 수많은 고민과 작업을 거친 끝에 감성이 만들어집니다.

공간은 개별 작업들에 의해 만들어지지만, 개별작업들의 감성을 다 더한다고 이 공간의 감성이 되지는 않습니다. 여러 작업들이 계속해서 쌓이면서 이것들이 서로 영향을 주기도 하고, 시너지를 내기도 하면서 개별 작업에서는 없었던 효과가 만들어 발현되는게 감성의 정체입니다.

<체질 개선>은 이러한 상승효과가 존재한다고 가정하고 문제를 바라봅니다. 개별적인 작업 하나하나는 미약하고 목표에 어떻게 영향을 줄지 그리기 어렵지만, 이러한 시도들이 모여 쌓였을 때 원하는 목표에 도달하게 하는 힘이 만들어진다고 봅니다.

많은 문제 해결 과정이 이런 식인 것 같습니다. 비만을 해결하기 위해 짧게 보면 운동도 하고, 식단도 하고, 멀리 보면 일상 루틴을 교정하고, 약속을 줄이기 위해 친구들과의 관계를 조절하기도 합니다. 소비자에게 브랜드의 이미지를 각인시키기 위해 로고를 만드는 것부터 전반적인 디자인, SNS에 게시되는 글의 말투 하나까지 설계합니다.

<체질 개선>의 핵심 원리는 목표에 긍정적 영향을 줄 것으로 기대되는 수많은 작은 시도를 계속하는 한편, 이 중 어떤 시도가 목표에 닿아 기여하게 된 시도를 되짚어보며 점점 타율을 높여가야 합니다.

그런데 테이블에 올려놓은 소품 하나가 우리 카페의 감성에 기여를 했는지 안했는지를 과연 알 수 있을까요?

복잡함을 어떻게 관리할까

내가 한 시도가 곧바로 결과로 이어져 성적표처럼 나오면 이거 계속할지 말지, 더 잘해야하는지 못하고 있는지 알 수 있을텐데. <체질 개선>을 하면서 어려운 점은 작은 일은 목표에서 너무 멀리 떨어져 있어 목표에 정말 도움이 되는 행동인지 보이질 않는다는 점입니다.

예를 들어 한 동네 카페에서 사람들의 방문을 높이기 위해 네이버 지도에 광고를 냈다고 가정해봅시다. 광고비를 들여 광고를 쓰긴 했는데, 이 광고로 인해 매장 방문이 높아졌는지는 아리까리합니다. 광고는 분명 어떤 식으로든 방문을 높이는 영향을 줬을 것 같은데, 실제 매장 방문을 만들어내는 데에는 많은 변수들이 작용하니, 어떤 효과가 있었는지 알기가 어렵습니다.

데이터 분석가들은 이 문제를 해결하기 위해 대리 지표(proxy metric)을 도입했습니다. 직접 측정하기 어려운 본래 목표를 대신해 그 변화를 추정하고 반영할 간접 측정 지표를 만드는 것입니다. 광고를 하는 것에서부터 고객이 우리 매장을 방문하기까지의 놓여진 중간 과정을 한 번 찾아 길을 밝혀봅니다.

• 광고 집행 → 노출 상위에 우리 매장 위치 → 상위 노출이 되면 매장 클릭율이 높아짐 → 우리 매장 페이지에서 사진, 리뷰, 메뉴 확인 및 방문 판단 → 방문

이렇게 중간 과정을 쪼개어 측정을 시도하면 좀 더 수월한 측정이 가능해집니다.

• 광고가 방문에 미친 영향을 직접 계산하긴 어렵지만, 광고를 통해 우리 매장의 노출이 얼마나 늘었는지는 확인할 수 있습니다.
• 상위 노출로 올라간 우리 매장의 클릭이 어떻게 변했는지도 데이터를 받아볼 수 있습니다.
• 클릭해 들어와서 보이는 사진과 리뷰, 메뉴가 얼마나 매력적인지, 이 뷰가 방문을 유도해낼 수 있는지는 비교실험을 해보면 어떨까요? 지인들 붙잡고 비슷한 다른 매장의 소개 페이지와 우리 매장의 소개 페이지를 비교해 차이를 보는 것입니다.

이렇게 작은 작업이 목표에 영향을 끼치는지는 검증하기 어려웠지만 그 영향이 지나가는 중간과정로 다리를 놓으면 좀 더 검증해볼만 해집니다. 이 중간 과정에서의 영향이 있다는 점이 모두 규명된다면, 우리의 작은 작업이 결국 목표에 기여하고 있는지 추정해볼 수 있습니다.

리터놀로지로 지도를 만들어 길을 밝히다

리터놀리지는 이러한 복잡한 문제를 다루는 도중에 길을 잃지 않도록 문제의 중간 과정을 가시화시키고, 조사된 결과를 증거삼아 검증하는 리서치 도구입니다. 이를 위해 몇가지 설계 원칙을 가져갔습니다

• 정량화할 수 없는 개념을 억지로 정량화하지 않는다
• 관찰로, 누군가의 발언으로 획득한 자료도 세심히 검증해 증거로써 활용한다
• 단순히 현상이 일어나는지만 보는게 아니라, 어떤 맥락과 조건에서 발생하는지를 밝힌다

리터놀리지에서 프로젝트를 생성하면 먼저 다양한 작은 작업들에서 목표로 이어지는 중간과정들을 그리고, 프로젝트 진행 과정에서 계속해서 업데이트합니다. 이렇게 그려진 과정은 우리가 해결할 문제에 도달하는 일종의 지도가 됩니다. 우리의 여러 작은 시도들이 어떤 중간 과정을 거쳐서 결과적으로 목표에 영향을 미치게 되는지를 세분화 시켜 보여줍니다.

리터놀리지로 진행된 프로젝트의 한 화면 : 각 요인들이 어떤 과정을 거쳐 목표에 영향을 주는지 연결해 복잡한 연결을 구현해냄

그런 다음 각 과정이 돌아가고 있는지 증거를 통해 검증합니다. 활용할 수 있는 증거는 다양합니다. 실험을 통해 검증된 사실이 증거로 활용될 수도, 고객과의 인터뷰나 관찰일지 등 리서치 활동을 통해 수집된 다양한 자료들이 증거로 사용될 수도 있습니다.

리터놀리지는 리서치 과정에서 수집된 자료를 AI를 통해 리뷰합니다. 각 자료에 대해 정확성, 투명성, 다각화, 맥락 등 다양한 관점에서 분석하여 자료의 신뢰성을 평가해 해당 자료가 이 중간과정이 실제로 벌어지고 있음을 충분히 근거삼을 수 있을지 검증하고 맥락을 더합니다.

리터놀로지로 진행된 프로젝트의 한 화면 : 각 리서치 자료들로부터 중간 과정을 규명하고, 해당 과정이 어떤 맥락과 조건에서 발현되는지 정보를 더함

증거가 붙은 지도에서는 현재 문제해결의 관점에서 어떤 부분이 원활히 동작하고 있는지, 어떤 부분에서 기대했던 일이 일어나지 않고 있는지, 또 관리가 필요한데 우리가 아직 조사해보지 않은 영역이 어디가 있는지를 알 수 있습니다 됩니다.

리터놀로지로 진행된 프로젝트의 한 화면 : 목표를 달성하기 위해 가는 길에서 지금 좋은 신호(파란색)가 발견된 곳, 나쁜 신호(빨간색)가 발견된 곳은 어디인가, 그리고 우리가 모르는 영역은 어디인가

우리의 이해를 AI가 따라올 수 있는 지도가 되어주길

이제 프로젝트를 진행하면서 AI는 함께할 수밖에 없는 동반자인데요. 이런 생각을 해 봅니다. 작업부터 목표까지의 중간과정을 굳이 촘촘하게 만들어낼 필요 없이, 그냥 우리 문제와 관련된 모든 자료를 LLM에 쏟아붇고 질의응답하면서 도움을 받으면 되는거 아닐까?

만들다 보니 리서치 도구가 아닌 문제해결 도구에 더 가까워진 것 같긴한데(?) 리터놀리지는 원래 리서치 도구로 만들어졌습니다. 곳곳에 흩어진 리서치 문서를 관리하기 위한 knowledge base system이 원형입니다.

리서치 자료를 쌓아놓고 LLM을 붙여 궁금한 내용을 찾아보고 인사이트를 얻으려 시도했던 분이라면 비슷한 경험을 공유할 것 같습니다. AI가 자료를 탐색해 내뱉는 답변이 그럴듯한 답변이 많지만, 또 한편으로 비슷한 문장을 짜집기해서 가져올 뿐, 자료의 맥락과 조건이 고려되지 않은 채 붙어있는 경우도 적지 않습니다.

자료는 방대한데 여기서 의미있는 데이터를 찾지 못한다? 이건 정량 데이터의 관리에서도 고려되는 문제인데요. 정량 데이터 관리에서는 다양한 데이터 소스에서 발생하는 데이터를 하나의 플랫폼에 모으는 데이터웨어하우스를 운영하는 한편, 목적이나 주제에 따라 적절히 가공된 데이터마트를 운영합니다. 모아두는 일과 쓸 수 있게 만드는 일이 서로 다른 작업이기 때문입니다. 원본을 아무리 성실히 쌓아도, 어떤 질문에 답할 것인지 미리 정해 그 형태로 깎아두지 않으면 찾는 사람은 매번 처음부터 헤매게 됩니다.

즉, 정량데이터는 활용하면서 목적에 따라 비즈니스 로직으로 형식을 구성하고, 구성된 형식에 맞는 내용을 집어 넣는 형태로 활용합니다.

리터놀리지는 문제해결과정에서 만들어지는 지도를 AI가 우리의 이해를 따라올 때 참고할 수 있도록 자료의 형식으로서 활용합니다. 연구자들이 이해하는 세계(구성, 인과지도)를 그리고 거기에 해당하는 내용(리서치 문서)를 채워 넣음으로 데이터에 맥락을 부여했습니다.

마무리

개인적으로 이 도구를 만들게 된 배경은 ‘사실에 가까운 모델을 만들고 싶다’라는 점에서 출발했습니다.

센터 작업자분들이 한시간에 물건을 몇개씩 처리하는지는 데이터로 추적이 가능하지만, 왜 이런 정도만 가능한지, 왜 더 못하는지는 이 데이터모델에서 알 수가 없었는데요. 맨 처음 언급했던대로 원인은 결과와 다른 영역에 존재하더라구요.

결과에서부터 파고들어 심층의 원인으로 내려갈수록 점점 더 정량화가 어려워지는 경향이 있었습니다. 작업자의 작업량은 쉽게 측정 가능했지만, 그 결과를 만들어내는 작업자의 신체적, 심리적 컨디션이라던지, 조직의 동기부여 정책이라던지 하는 요인들은 정량화시키기가 어려웠습니다.

또 한편으로 심층의 원인일수록 이게 분명 결과에 영향을 주는 중요한 요소일 것 같은데, 그 개별 요소만으로 결과에 미치는 영향을 산정해보려 하면 아주 미미해보였습니다.

이런저런 공부를 하면서 복잡계라는 개념도 알게 되고, 데이터분석가로서 현상을 탐구하던 제 시선이 실증주의적 과학관이라는 단어로 설명된다는 것도 알게 되었습니다. 새 안경을 갈아끼듯 현상을 바라보는 프레임을 바꾸고 나니 좀 더 제가 정량적 데이터 모델로 설명하지 못해 답답했던 요소들을 훨씬 잘 그려볼 수 있었던 것 같습니다.

리터놀리지는 리터놀의 성장과 함께 계속해서 더 다듬고 발전해나갈 예정입니다. 효과적이고 효율적인 모델링에 관심있는 분들과의 만남은 언제나 기대합니다.

 

리터놀 바로 알아보기