바야흐로 데이터의 시대입니다. 정보의 홍수라는 표현으로는 부족할 정도로 오늘날 인류는 하루에도 수 엑사바이트(EB)에 달하는 폭발적인 양의 데이터를 생성하고 있습니다. 다양한 디지털 서비스와 디바이스를 통해 우리 사회의 더 많은 부분은 지금도 계속해서 디지털의 영역으로 포섭되고 있고, 다양한 부문에서의 의사결정에 있어 조직 내 데이터를 적극적으로 활용하는 일은 이제 선택이 아닌 필수가 되었습니다.
그러나 이처럼 데이터 기반(data driven) 사고가 점차 보편화되는 추세 속에서도 조직의 성과 및 목표와 긴밀히 연결된 지표를 발굴하고 이를 측정하는 일은 여전히 쉽지 않은 작업입니다. 과거에는 정밀한 기준을 통해 선별된 믿을만한 데이터를 충분히 확보하는 것이 관건이었다면, 최근에는 이전에 한 번도 데이터로 취급된 적이 없었던 정보를 어떻게 수량화하고 측정하여 새로운 가치를 창출해 내는지가 더 중요한 문제로 여겨지고 있습니다.
그런 의미에서 오늘의 주제인 허영 지표는 데이터 기반 의사결정을 추구하는 집단이라면 가장 경계해야할 개념 중 하나입니다. 허영 지표(vanity metrics)란 매력적으로 보일 수는 있지만, 조직이 거둔 성과에 대한 의미있는 정보를 제공하지 못하여 향후 실행 가능한(actionable) 계획을 세우는데는 아무런 도움이 되지 않는 지표를 가리키는 말입니다.
이해를 돕기 위해 독자 여러분들의 팀에서 개발한 어플리케이션이 마켓에서 2주만에 백만 건 이상의 다운로드 횟수를 기록했다고 가정해 보도록 하겠습니다. 기대 이상의 성과에 그동안의 노력이 드디어 결실을 맺었다는 기쁨이 밀려듭니다. 시장에서 이만큼의 반응을 얻는 것은 결코 쉬운 일이 아님을 알기에 팀원들도 모두들 이번 프로젝트의 성공을 축하하는 분위기입니다.
그러나 2주 후, 여러분은 지난 한 달간 해당 앱을 통해 벌어들인 수익이 예상에 비해 터무니 없이 적은 금액이라는 것을 알게 됩니다. 그동안 꾸준히 다운로드 수도 늘어났고, 별다른 문제점이나 부정적인 피드백이 보고된 적도 없는데 어찌된 영문인지 그저 당황스럽기만 합니다. 뒤늦게 활성 사용자(active user) 수를 확인한 여러분은 그제야 다운로드 수에 비해 실제로 앱을 사용하는 고객의 수가 현저히 적다는 것을 깨닫습니다.
사실 여러분의 앱을 다운로드한 사용자들은 처음에는 호기심에 몇 번 정도 서비스를 이용했지만 이내 제품에 별다른 매력을 느끼지 못해 이탈해버리는 경우가 대부분이었습니다. 하지만 그러한 행동이 서비스 자체에 큰 결함이 있어서 발생한 것은 아니었으므로, 고객들은 번거롭게 개선점에 대한 피드백을 남기기 보다는 침묵하는 쪽을 택했습니다. 하지만 그래도 여전히 새롭게 유입되는 사용자들의 수는 적지 않았기에 다운로드 수는 계속해서 증가세를 유지할 수 있었습니다.
이처럼 잘못 설정된 허영 지표는 단순히 조직 목표 달성에 도움이 되지 않을 뿐만 아니라 때로는 문제 상황에 대한 적절한 조치를 지연시킴으로써 전체 성과에 부정적인 영향을 미치기도 합니다. 여기서 중요한 부분은 어떤 지표가 허영 지표인지 아닌지를 가르는 기준은 지표 그 자체 보다는 그것을 어떻게 활용하는가에 달려있다는 것입니다.
특정 상황에서는 유용한 지표도 잘못된 용도로 사용되는 경우에는 예상치 못한 부작용을 일으킬 수 있습니다. 이러한 종류의 실수는 업무 성과를 확인하는 자리에 전혀 다른 목적을 가지고 설계된 엉뚱한 지표를 끌어들이는 형태로 자주 발견됩니다. 특히 해당 지표가 구성원들에 대한 조직 차원에서의 평가와 직접적으로 연계되는 상황에서는 오직 지표 개선에만 구성원들의 주의가 집중되어 조직 목표 달성이라는 본래의 목적은 뒤로 밀려나버리는 주객전도 현상이 종종 발생하기도 합니다.
이번에도 직접적인 예시를 통해 문제 상황을 살펴보도록 하겠습니다. 스프린트 단위로 프로젝트를 진행하는 조직이 하나 있습니다. 이 조직의 매니저는 하나의 스프린트에서 각 팀이 얼마나 많은 양의 스토리 포인트를 커버하는가를 업무 평가의 기준으로 삼기로 합니다. 스토리 포인트는 사용자 관점의 기능 개발 단위인 사용자 스토리를 구현하는 작업의 난이도를 측정한 것이므로, 같은 기간 동안 어려운 작업을 더 많이 수행한 팀에게 좋은 평가를 주겠다는 매니저의 정책은 일견 타당해 보입니다.
하지만 스토리 포인트를 사용하는 이유와 해당 지표가 만들어지는 방식을 고려해보면 이 아이디어에는 근본적인 문제가 있음을 알 수 있습니다. 스토리 포인트는 본래 개별 팀이 수행할 수 있는 작업의 양을 보다 직관적으로 나타내어 향후 일정을 쉽게 예측하고 계획하기 위해 만들어진 개념으로, 개별 스토리 포인트는 절대적인 수치라기 보다는 오히려 과거의 경험과 팀원간의 논의에 기반한 일종의 추정값에 가깝습니다. 따라서 원칙적으로 서로 다른 팀에서 책정된 스토리 포인트는 단순 비교가 불가능합니다.
스프린트 일정을 계획하기 위한 보조 수단에 지나지 않았던 스토리 포인트를 성과 평가의 핵심 지표로 제시함으로써 매니저는 하나의 스프린트가 끝나기 전 최대한 많은 스토리를 빠른 시간 안에 해치우는 것이 좋다는 잘못된 메시지를 구성원들에게 전달하게 되는 것입니다. 하지만 어떤 독자분들은 그래도 짧은 시간 안에 많은 일을 끝낸다면 결국 생산성이 오르는 셈이니 좋은 일이 아니냐고 반문하실 수도 있을 것입니다.
여기서 우리는 조직 전체의 입장에서 무엇이 바람직한 모습인지를 다시금 생각해 보아야 합니다. 단순히 빠르게 결과물을 내는 것만이 최종 목표라면 위와 같은 방법도 상황에 따라서는 고려의 대상이 될 수 있습니다. 그러나 대부분의 경우, 빠르게 새로운 기능을 추가하는 것 못지 않게 충분한 고민과 테스팅 작업을 거쳐 전체적인 서비스 품질을 높은 수준에서 유지하는 것 역시 중요한 과제 중 하나입니다.
그러나 앞서 언급된 것과 같은 상황에서는 구성원들의 주된 목표가 눈앞의 스토리 포인트를 최대한 많이 확보하는 것으로 변질된 상태이므로 해당 이슈는 자연스럽게 우선순위에서 밀려날 수밖에 없습니다. 오히려 구성원들은 스토리 포인트를 추정하는 과정에서 포인트를 과도하게 부풀리거나, 작업 속도를 높이기 위해 전반적으로 스토리들의 스펙을 하향 평준화 시키는 등 조직 전체의 입장에서 볼 때는 명백히 해로운 행동들을 감행할 강력한 유인을 갖게 됩니다.
그렇다면 이제 과연 좋은 지표란 무엇인가라는 질문을 던질 차례입니다. 지금까지 살펴본 바에 따르면 나쁜 지표란 궁극적으로 달성하고자 하는 과업과는 전혀 무관하거나 어느 정도 연관성이 있더라도 구체적인 행동 방향을 결정하는데는 도움이 되지 않는 것을 뜻합니다. 다시 말해 좋은 지표는 아래와 같은 조건을 반드시 갖추어야 합니다.
1. 조직이 달성하고자 하는 목표와 긴밀하게 연관되어 있을 것
결국 무엇보다도 중요한 조건은 지표 자체가 조직 목표와 밀접한 관련이 있어야 한다는 것입니다. 아무리 정교하게 설계된 지표라 하더라도 팀원들이 그동안의 노력을 통해 목표 달성에 얼마나 더 가까워졌는지를 효과적으로 나타내주지 못한다면 이미 그 지표는 존재목적을 잃은 것이나 다름 없습니다.
2. 곧바로 실행가능한 행동 전략이나 의사결정의 근거가 될 수 있을 정도로 구체적일 것
뛰어난 통찰도 행동으로 이어지지 않으면 아무런 의미가 없습니다. 좋은 지표는 측정 대상의 상태를 가시화하는 것을 넘어 문제 상황을 해결하기 위한 행동 방침을 결정하는 밑바탕이 될 수 있어야 합니다.
팝업 광고 페이지를 예로 들어 생각해보면, 단순 페이지 뷰 수는 그 자체로 어떤 전략적 판단의 근거가 되기는 어렵지만, 서비스 홈페이지로 넘어오는 사용자의 비율(CTR)은 마케팅 캠페인 컨셉을 수정하거나 다른 광고 매체를 고려해보는 등 관련된 의사결정으로 이어지는 근거를 제공할 수 있습니다.
3. 필요하다면 외부적 요인에 관계없이 동일한 측정 결과를 재현할 수 있을 것
임의의 프로세스를 통해 특정 시점의 측정 결과를 재현하는 것이 불가능하다면 해당 지표는 전략적인 관점에서는 큰 의미를 갖기 어렵습니다. 재현이 어렵다는 것은 곧 데이터가 우리의 역량으로는 통제 불가능한 요소에 의해 좌우되고 있다는 의미이기 때문입니다. 이러한 경우 대다수의 측정 결과는 순전히 확률적인 요인에 의하여 결정될 가능성이 높습니다.
4. 3번이 불가능하다면 최소한 측정 결과에 영향을 미치는 외부 요인을 식별할 수 있을 것
상황에 따라서는 외부 이슈의 영향력을 완전히 배제한 데이터를 얻는 것이 불가능한 경우도 있습니다. 그러한 경우에는 특히 불규칙적으로 발생하는 이벤트에 의해 발생한 노이즈를 충분히 걸러냄으로써 수집된 데이터의 신뢰성을 유지할 수 있는 별도의 프로세스가 함께 준비되어 있어야 합니다. 측정 결과가 누군가의 의도에 따라 쉽게 조작될 수 있거나 외부 효과에 의한 변동이 심하게 나타나는 경우에도 해당 지표의 유효성은 크게 훼손될 수 있습니다.
지금까지 허영 지표 개념과 연관된 사례를 중심으로 좋은 지표가 갖추어야할 조건에 대해 간단하게 살펴보았습니다. 어느 경우에나 마찬가지지만 모든 상황에서 적용될 수 있는 만능 지표 같은 것은 아쉽게도 존재하지 않습니다. 주어진 비즈니스 환경과 진행 중인 작업의 성격, 당면한 과제의 우선순위를 종합적으로 고려하고, 여의치 않다면 목적에 보다 적합한 새로운 지표를 발굴해낼 수도 있어야 합니다.
Yeoleum / Product Manager
비즈니스 고민 함께 나누고 싶다면?
이 팀이 일하는 방식 보고 싶다면?
