編輯導(dǎo)語：指標(biāo)建設(shè)對于企業(yè)的業(yè)務(wù)發(fā)展十分關(guān)鍵，是衡量業(yè)務(wù)效果的主要依據(jù)，本篇文章作者結(jié)合自身經(jīng)驗分享了指標(biāo)的設(shè)計與加工過程，詳細(xì)地講述了其基礎(chǔ)概念和設(shè)計加工方法，以及設(shè)計加工過程中的注意點，一起來學(xué)習(xí)一下吧，希望對你有幫助。
一、指標(biāo)建設(shè)的必要性
1. 什么是指標(biāo)
指標(biāo)是可客觀描述某個事物某個特征的可量化的數(shù)字度量，如用戶最近30天購買次數(shù)，某商品最近30天銷售額等。
指標(biāo)常從多個維度來描述，如某地區(qū)的新增用戶數(shù)、線上線下的新增用戶數(shù)，維度讓指標(biāo)更加具象與豐滿。
2. 建設(shè)背景
大數(shù)據(jù)時代數(shù)字化轉(zhuǎn)型背景下，企業(yè)所需要的往往不單單是數(shù)據(jù)，而是數(shù)據(jù)背后映射的業(yè)務(wù)洞察，相比較數(shù)據(jù)我們更加關(guān)心的是其體現(xiàn)的業(yè)務(wù)價值以及覆蓋的業(yè)務(wù)場景。
龐大的數(shù)據(jù)只有和業(yè)務(wù)相結(jié)合轉(zhuǎn)化為信息，經(jīng)過處理呈現(xiàn)才能真正體現(xiàn)他們的價值。
指標(biāo)作為數(shù)據(jù)計算的結(jié)果，是直接反映衡量業(yè)務(wù)效果的依據(jù)，應(yīng)用在企業(yè)的方方面面，如數(shù)據(jù)報表、分析平臺及日常取數(shù)等。
1）數(shù)據(jù)報表
它最直接的指標(biāo)結(jié)果查看的載體，作為業(yè)務(wù)部門的人，可能每月或者每周甚至每天都要輸出業(yè)務(wù)報表，不管是傳統(tǒng)的紙質(zhì)文檔，線上的excel還是后來的報表工具，最終目的都是一樣，我們希望通過報表實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)精益增長的目的。
2）分析平臺
作為數(shù)據(jù)計算結(jié)果多樣化展示的平臺，不管是可視化大屏、還是其他一些BI系統(tǒng)，都通過數(shù)據(jù)計算結(jié)果的呈現(xiàn)更好地輔助業(yè)務(wù)了解行業(yè)現(xiàn)狀。
3）日常取數(shù)
有數(shù)據(jù)在哪里，便要去哪里拿，取數(shù)的過程，往往是基于不同的業(yè)務(wù)場景，滿足不同的業(yè)務(wù)需求，對數(shù)據(jù)進(jìn)行加工計算獲取，當(dāng)然在這過程中，數(shù)據(jù)計算結(jié)果往往需要保證較高的準(zhǔn)確性和一致性。
3. 建設(shè)過程中遇到的問題
數(shù)據(jù)指標(biāo)作為數(shù)據(jù)計算的結(jié)果，是企業(yè)數(shù)據(jù)價值的直觀體現(xiàn)，在業(yè)務(wù)擴張、指標(biāo)計算需求的暴增背景下，隨之而來的指標(biāo)管理問題也越來越多：
- 指標(biāo)管理不統(tǒng)一：管理機制不統(tǒng)一、分散管理、重復(fù)建設(shè)、成本高、費時費力；
- 指標(biāo)口徑不一致：同名不同義、同義不同名、計算邏輯復(fù)雜多變、開發(fā)技術(shù)門檻高，過程不可視；
- 指標(biāo)流程不規(guī)范：沒有統(tǒng)一的流程控制，開發(fā)和使用人員分離，溝通成本高、周期長，結(jié)果可信度不高。
4. 解決方案
要解決以上問題，幫助企業(yè)建立指標(biāo)體系，我們需要從以下三個方面入手：
1）指標(biāo)平臺
建立統(tǒng)一的指標(biāo)管理平臺，集中管理數(shù)據(jù)指標(biāo)，沉淀指標(biāo)資產(chǎn)
2）指標(biāo)體系
有一套標(biāo)準(zhǔn)規(guī)范的指標(biāo)搭建方法論，搭建企業(yè)級數(shù)據(jù)指標(biāo)體系
3）流程管理
搭載統(tǒng)一的流程控制機制，全面把控數(shù)據(jù)指標(biāo)的生命周期
如果是平臺、流程是基礎(chǔ)，那指標(biāo)內(nèi)容的搭建便是關(guān)鍵。指標(biāo)體系的搭建作為整個指標(biāo)管理的核心，為指標(biāo)管理提供最堅實的基礎(chǔ)支撐。
二、指標(biāo)建設(shè)五步法
總結(jié)以下五個步驟，從0到1搭建指標(biāo)體系：
1. 明確目標(biāo)
搭建指標(biāo)體系的第一步就是明確搭建目標(biāo)，大部分企業(yè)由于目標(biāo)不清晰造成指標(biāo)管理混亂，通過指標(biāo)體系的搭建，我們要實現(xiàn)“一個指標(biāo)、一個口徑、一次加工、多次使用”，做到統(tǒng)一指標(biāo)口徑，減少重復(fù)工作，結(jié)果統(tǒng)一輸出。
1）統(tǒng)一關(guān)鍵指標(biāo)
創(chuàng)建公司級統(tǒng)一的關(guān)鍵指標(biāo)，幫助企業(yè)通過統(tǒng)一的指標(biāo)框架來助力業(yè)務(wù)業(yè)務(wù)擴張。
2）減少重復(fù)工作
為每一個成員提供統(tǒng)一的平臺來協(xié)同，了解企業(yè)整體數(shù)據(jù)業(yè)務(wù)情況，減少數(shù)據(jù)團隊重復(fù)性工作和時間花費
3）結(jié)果統(tǒng)一輸出
針對指標(biāo)結(jié)果，提供一套能將指標(biāo)和上層應(yīng)用結(jié)合起來的輸出方式，發(fā)揮數(shù)據(jù)指標(biāo)最大的價值
2. 需求分析
明確目標(biāo)之后，我們開始著手去構(gòu)建指標(biāo)體系，在設(shè)計指標(biāo)之前，我們首先要進(jìn)行需求分析。
同一個企業(yè)，不同的業(yè)務(wù)線、不同的部門，甚至是同一部門的不同人員，提出來的指標(biāo)計算需求都會有所不同。所以在需求分析的階段，我們要做到基于不同行業(yè)的業(yè)務(wù)情況，分析數(shù)據(jù)指標(biāo)需求，合理劃分主題，更好地為后續(xù)指標(biāo)設(shè)計提供業(yè)務(wù)支撐。
1）需求調(diào)研
（1）主導(dǎo)人
數(shù)據(jù)分析師，數(shù)倉架構(gòu)師；
（2）調(diào)研方式
列好提綱，面對面訪談；
（3）調(diào)研內(nèi)容
- 指標(biāo)應(yīng)用場景調(diào)研：指標(biāo)應(yīng)用在哪些業(yè)務(wù)場景中，應(yīng)用方式有哪些（BI使用、業(yè)務(wù)人員自行取數(shù)、數(shù)據(jù)門戶展現(xiàn)等）
- 指標(biāo)來源調(diào)研：指標(biāo)加工的源數(shù)據(jù)來源于哪些系統(tǒng)，數(shù)據(jù)是否都采集上來，分為哪些業(yè)務(wù)域、業(yè)務(wù)過程。
- 指標(biāo)現(xiàn)有情況調(diào)研：現(xiàn)在有哪些指標(biāo)，缺少多少，能滿足百分之多少的業(yè)務(wù)場景。指標(biāo)建設(shè)現(xiàn)在遇到的問題是什么。之前的指標(biāo)加工是否規(guī)范，是否需要調(diào)整。
- 指標(biāo)需求調(diào)研：了解客戶需要完成的指標(biāo)加工范圍。
（4）產(chǎn)出
訪談匯總結(jié)果與需求收集表。
2）需求分析
（1）目標(biāo)
梳理需要加工的指標(biāo)，指標(biāo)業(yè)務(wù)口徑，指標(biāo)更新頻率；
（2）主導(dǎo)人
數(shù)據(jù)分析師；
（3）產(chǎn)出
指標(biāo)需求表；
數(shù)據(jù)分析師基于業(yè)務(wù)部門、科技部門的業(yè)務(wù)場景和需求，挖掘和提煉具體的指標(biāo)、業(yè)務(wù)定義、優(yōu)先級、實現(xiàn)難易程度、大概的實現(xiàn)方式。
并根據(jù)指標(biāo)數(shù)量、難易程度、數(shù)據(jù)依賴關(guān)系，劃分初步的階段性計劃，一期完成哪些指標(biāo)、給哪些業(yè)務(wù)場景用，二期完成哪些指標(biāo)，給哪些業(yè)務(wù)場景用。
3. 指標(biāo)設(shè)計
1）指標(biāo)拆解
（1）主導(dǎo)人
數(shù)據(jù)分析師；
根據(jù)上述的業(yè)務(wù)需求分析，按照從上往下的方式對指標(biāo)進(jìn)行分級拆解，看需要的指標(biāo)需要由哪些指標(biāo)加工出來，各個指標(biāo)的關(guān)系，，明確各指標(biāo)之間的關(guān)系，可層層溯源，一般分為3層：
- 一級指標(biāo)：公司戰(zhàn)略層面的指標(biāo)，全公司認(rèn)可的衡量公司業(yè)務(wù)目標(biāo)的核心指標(biāo)，如某大業(yè)務(wù)線產(chǎn)品收入、累計用戶數(shù)、新增用戶數(shù)、付費用戶數(shù)等，面向管理層。
- 二級指標(biāo)：業(yè)務(wù)策略層面的指標(biāo)，如產(chǎn)品收入拆解到各個產(chǎn)品線，累計用戶數(shù)拆解到各個渠道，面向不同業(yè)務(wù)線。
- 三級指標(biāo)：業(yè)務(wù)執(zhí)行層面的指標(biāo)，對二級指標(biāo)進(jìn)行路徑拆解，如產(chǎn)品收入需要拆解到付費用戶數(shù)、客單價上面。付費用戶數(shù)又可以拆解為新增付費用戶數(shù)、復(fù)購用戶數(shù)，根據(jù)這些指標(biāo)可以不斷優(yōu)化運營或銷售策略，面向業(yè)務(wù)部門。
2）指標(biāo)建模
（1）主導(dǎo)人
數(shù)倉架構(gòu)師；
根據(jù)對業(yè)務(wù)需求的理解、數(shù)據(jù)情況的探查，劃分對應(yīng)的業(yè)務(wù)域、業(yè)務(wù)過程、維度、度量、統(tǒng)計周期等，搭建指標(biāo)建設(shè)的框架。
（2）數(shù)據(jù)來源
數(shù)據(jù)指標(biāo)遵循ODS-DWD-DWS-ADS的數(shù)倉設(shè)計架構(gòu)，主要基于DWS輕度匯總表來加工；
數(shù)據(jù)架構(gòu)師根據(jù)指標(biāo)需求，看企業(yè)數(shù)倉設(shè)計的完善性，是否需要增加底層的明細(xì)表或匯總表，將基礎(chǔ)表梳理加工好之后，開始指標(biāo)的加工。
（3）指標(biāo)定義
我們先了解下指標(biāo)的的組成：
指標(biāo)=統(tǒng)計周期+維度+過濾條件+度量
- 維度：描述性數(shù)據(jù)，指標(biāo)統(tǒng)計的環(huán)境，如地區(qū)、個人賬戶、產(chǎn)品名稱、產(chǎn)品類型、銷售渠道；
- 度量：數(shù)字性數(shù)據(jù)，銷售金額、貸款金額、銷售數(shù)量、如賬戶余額、國債余額、基金余額；
- 統(tǒng)計周期：計算指標(biāo)的時間范圍，如近30天、當(dāng)年、當(dāng)月、近7天、上月、上周、去年；
- 過濾條件：計算指標(biāo)的條件限制，如正常狀態(tài)、有效狀態(tài)、全國范圍內(nèi)，西湖區(qū)的、工作日的。
統(tǒng)計周期、維度、度量是組成的必要條件，過濾條件根據(jù)業(yè)務(wù)場景而定。
（4）維度與度量
在指標(biāo)加工前，需要先定義數(shù)據(jù)模型，數(shù)據(jù)模型中定義“維度”與“度量”，因為這兩個是組成模型的基礎(chǔ)必要條件。
數(shù)據(jù)模型按照數(shù)倉的業(yè)務(wù)主題來創(chuàng)建，如存款業(yè)務(wù)、貸款業(yè)務(wù)，可遵循星型模型或雪花模型，建立事實表與維表的關(guān)聯(lián)關(guān)系，其可以是多張表的關(guān)聯(lián)關(guān)系，也可以是單張表。表確定好之后，選擇“維度”與“度量”，作為后續(xù)指標(biāo)加工的基礎(chǔ)。
我們以一個銀行“存款業(yè)務(wù)模型”的模型來看，其是圍繞賬戶存款余額明細(xì)數(shù)據(jù)建立的存款業(yè)務(wù)主題數(shù)據(jù)模型。
數(shù)據(jù)模型建好之后，選取維度與度量，作為后續(xù)指標(biāo)加工的基礎(chǔ)。
4.1 維度
選取數(shù)據(jù)模型中，作為環(huán)境描述的字段作為統(tǒng)計的維度。
4.2 度量
選取數(shù)據(jù)模型中，后續(xù)要加計算的數(shù)值型字段作為度量。
（5）統(tǒng)計周期
統(tǒng)計周期也是指標(biāo)必不可少的條件，描述一個指標(biāo)應(yīng)該指定其時間周期，比如累計交易次數(shù)、最近30天交易次數(shù)、最近90天交易次數(shù)等。一般系統(tǒng)會內(nèi)置常用的統(tǒng)計周期，也會支持用戶自定義統(tǒng)計周期，統(tǒng)計周期需要特別注意的便是日期格式了，比如yyyyMMdd，還是yyyy-MM-dd。
根據(jù)以上內(nèi)容，已準(zhǔn)備好數(shù)據(jù)模型，和指標(biāo)的三要素：維度、度量、統(tǒng)計周期。
3）指標(biāo)分類
袋鼠云指標(biāo)管理產(chǎn)品按照指標(biāo)加工類型，分為原子指標(biāo)、派生指標(biāo)、復(fù)合指標(biāo)、SQL指標(biāo)。
- 原子指標(biāo)：某一業(yè)務(wù)行為事件的度量，統(tǒng)計數(shù)據(jù)來源，如交易筆數(shù)、交易金額、交易用戶數(shù)、賬戶余額。
- 派生指標(biāo)：基于原子指標(biāo)進(jìn)行維度、統(tǒng)計周期的派生。派生指標(biāo)=統(tǒng)計周期+派生維度+過濾條件+原子指標(biāo)，如近7天賬戶消費金額，去年賬戶余額總和、昨天產(chǎn)品銷售金額等。
- 復(fù)合指標(biāo)：多個指標(biāo)的加減乘除運算，如平均交易額、資產(chǎn)負(fù)債率等。
- SQL指標(biāo)：通過自定義SQL生成的指標(biāo)，適應(yīng)復(fù)雜的指標(biāo)配置邏輯，滿足開發(fā)人員不同的指標(biāo)開發(fā)場景。
4）指標(biāo)內(nèi)容
（1）主導(dǎo)人
數(shù)據(jù)分析師、數(shù)倉架構(gòu)師；
基于指標(biāo)需求、指標(biāo)建模、指標(biāo)分類確定指標(biāo)的具體內(nèi)容，作為指標(biāo)開發(fā)的指導(dǎo)。
- 指標(biāo)名稱：指標(biāo)中文名稱；
- 指標(biāo)編碼：指標(biāo)英文名稱，也是存表的字段；
- 指標(biāo)目錄：指標(biāo)所屬類目的分類；
- 指標(biāo)分類：屬于原子、派生、復(fù)合、SQL指標(biāo)的哪種；
- 業(yè)務(wù)口徑：指標(biāo)的業(yè)務(wù)口徑，如最近30天付費用戶數(shù)指最近30天發(fā)生過一筆及以上購買交易的用戶數(shù)量之和；
- 技術(shù)口徑：由哪個指標(biāo)、哪些維度加工而來；
- 指標(biāo)責(zé)任人：該指標(biāo)的負(fù)責(zé)人，可作為該指標(biāo)的維護(hù)人與告警接收人；
- 更新頻率：日更新、周更新、月更新等；
- 描述信息：對指標(biāo)的額外描述信息。
5）指標(biāo)評審
（1）主導(dǎo)人
數(shù)據(jù)分析師、數(shù)倉架構(gòu)師；
指標(biāo)模型設(shè)計完成、指標(biāo)內(nèi)容設(shè)計完成后，數(shù)據(jù)分析師與數(shù)倉架構(gòu)師召開指標(biāo)評審會議，面向數(shù)據(jù)開發(fā)、業(yè)務(wù)人員進(jìn)行評審。
- 說明每個指標(biāo)的定義、業(yè)務(wù)口徑、技術(shù)口徑、更新周期等
- 說明各個數(shù)據(jù)指標(biāo)的類型，以及派生指標(biāo)由數(shù)倉的哪些數(shù)據(jù)模型加工，其派生維度是什么，統(tǒng)計周期是什么。復(fù)合指標(biāo)的派生維度，由哪些指標(biāo)加工而成。
評審后進(jìn)行補充完善，之后進(jìn)入指標(biāo)開發(fā)階段。
4. 指標(biāo)開發(fā)
1）指標(biāo)加工
我們來看下各類指標(biāo)如何加工。
（1）原子指標(biāo)
原子指標(biāo)來源于數(shù)據(jù)模型，是從上述“數(shù)據(jù)模型”中直接讀到的度量，是數(shù)據(jù)模型表中的一個字段，如上述的“存款業(yè)務(wù)模型”中，可以把“存款利率”、“存款匯率”、“賬戶余額”、“固定余額”、“分成比例”等度量作原子指標(biāo)。
選好度量后，同時需要選取描述該度量的維度，這些維度用于描述度量。如將“賬戶編號”、“機構(gòu)編號”、“客戶經(jīng)理編號”、“客戶編號”、“賬戶狀態(tài)”等作為維度，則可以表示各個賬戶的存款賬戶余額、各個客戶的存款賬戶余額、各個分行/支行的存款賬戶余額，各個客戶經(jīng)理管理賬戶的存款賬戶余額等。
所以原子指標(biāo)是數(shù)據(jù)模型中維度和度量的組合映射，非一個有真實含義的指標(biāo)，因為它表示的“客戶”的“賬戶余額”，還沒有加上統(tǒng)計周期與計算邏輯，比如客戶當(dāng)日賬戶余額、客戶最近一年平均賬戶余額等。但原子指標(biāo)是后續(xù)派生、復(fù)合指標(biāo)加工的基礎(chǔ)，不可缺少。
（2）派生指標(biāo)
派生指標(biāo)是基于原子指標(biāo)進(jìn)行維度與統(tǒng)計周期的派生，并設(shè)置計算邏輯。
如“當(dāng)日存款賬戶余額”，可基于原子指標(biāo)“賬戶余額”來進(jìn)行派生，維度選取“賬戶編號”、“機構(gòu)編號”、“客戶經(jīng)理編號”、“客戶編號”，計算邏輯選取“求和”，統(tǒng)計周期選取“當(dāng)日”，表示各個賬戶的當(dāng)日存款賬戶余額、各個客戶的當(dāng)日存款賬戶余額、各個分行/支行的當(dāng)日存款賬戶余額，各個客戶經(jīng)理管理賬戶的當(dāng)日存款賬戶余額等。
派生指標(biāo)中內(nèi)置的計算邏輯有：求和、均值、計數(shù)、去重計數(shù)、最大值、最小值等，也可以自定義函數(shù)。
內(nèi)置的統(tǒng)計周期有：當(dāng)日、當(dāng)月、當(dāng)年、去年、最近7天、最近30天、歷史截止當(dāng)前，也支持自定義。
（3）復(fù)合指標(biāo)
復(fù)合指標(biāo)是基于原子指標(biāo)或派生指標(biāo)進(jìn)行的加減乘除運算。
如“當(dāng)日基金賬戶利潤”復(fù)合指標(biāo)，可基于復(fù)合指標(biāo)“當(dāng)日基金賬戶利潤率”、派生指標(biāo)“當(dāng)日基金賬戶余額”加工而來。
在“當(dāng)日基金賬戶利潤率”>1時，
當(dāng)日基金賬戶利潤=當(dāng)日基金賬戶利潤率 * 當(dāng)日基金賬戶余額
在“當(dāng)日基金賬戶利潤率”=1時，
當(dāng)日基金賬戶利潤=（當(dāng)日基金賬戶利潤率+ 0.05）* 當(dāng)日基金賬戶余額
復(fù)合指標(biāo)的維度，需為加工公式中用到指標(biāo)的公共維度，可以計算這些維度的該復(fù)合指標(biāo)。如“當(dāng)日基金賬戶利潤率”指標(biāo)的維度有“機構(gòu)編號”，“當(dāng)日基金賬戶余額”指標(biāo)的維度有“賬戶編號”、“客戶編號”、“機構(gòu)編號”、“客戶經(jīng)理編號”，則基于這2個指標(biāo)加工的復(fù)合指標(biāo)“當(dāng)日基金賬戶利率”只能有其公共維度“機構(gòu)編號”，可查看各個機構(gòu)的當(dāng)日基金賬戶利率。
高級設(shè)置：公式中用的來源指標(biāo)可設(shè)置指標(biāo)數(shù)據(jù)的過濾條件，加工后的復(fù)合指標(biāo)可取聚合函數(shù)，根據(jù)實際情況使用即可。
以上便是復(fù)合指標(biāo)的加工。
（4）SQL指標(biāo)
當(dāng)存在以上通過內(nèi)置函數(shù)、內(nèi)置運算符加工不出來的邏輯較為復(fù)雜的指標(biāo)時，可采用自定義SQL指標(biāo)實現(xiàn)。只要遵循正確的語法結(jié)構(gòu)，便可以靈活加工。
指標(biāo)加工完后，后續(xù)可在指標(biāo)血緣關(guān)系中查看指標(biāo)間的上下游關(guān)系。
2）指標(biāo)落庫
指標(biāo)邏輯配置成功后，每個指標(biāo)可配置其更新周期，調(diào)度策略配置完成后，進(jìn)行指標(biāo)發(fā)布。發(fā)布后便按照設(shè)定周期周期性加工。同時，也支持手動立即更新。
指標(biāo)更新后，會將每個指標(biāo)和其維度存儲在Hive表中，每個指標(biāo)和其維度存儲一張單獨的表。
3）指標(biāo)運維
指標(biāo)上線后，運維同學(xué)便需要進(jìn)行指標(biāo)的日常運維，觀察指標(biāo)運行情況，及時處理報錯情況，保證指標(biāo)的正常加工和線上業(yè)務(wù)可用。
5. 指標(biāo)應(yīng)用
指標(biāo)常應(yīng)用在數(shù)據(jù)門戶、BI數(shù)據(jù)分析、可視化大屏展示，業(yè)務(wù)人員數(shù)據(jù)分析中。那產(chǎn)生的指標(biāo)怎么與上層應(yīng)用對接呢？
1）指標(biāo)API
通過API服務(wù)將指標(biāo)平臺加工好的指標(biāo)，提供給上層的展示、分析系統(tǒng)。
在創(chuàng)建API時定義需要查詢出去的指標(biāo)，多個指標(biāo)的公共維度作為該API的入?yún)?。通過API接口，查詢對接的指標(biāo)結(jié)果。
外部系統(tǒng)調(diào)用API的url，用API-TOKEN認(rèn)證便可以進(jìn)行數(shù)據(jù)的查詢。
2）自助取數(shù)
在自助取數(shù)平臺中，可直接查詢指標(biāo)平臺定義好的維度、指標(biāo)，業(yè)務(wù)人員靈活拖拉拽，實現(xiàn)在線取數(shù)。并且取數(shù)邏輯可沉淀成固定的報表模板，報表可周期性自動生成數(shù)據(jù)，業(yè)務(wù)人員屆時拿結(jié)果數(shù)據(jù)即可。
本文由 @木研 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來自 Unsplash，基于 CC0 協(xié)議。
]]>