編輯導(dǎo)語:指標建設(shè)對于企業(yè)的業(yè)務(wù)發(fā)展十分關(guān)鍵,是衡量業(yè)務(wù)效果的主要依據(jù),本篇文章作者結(jié)合自身經(jīng)驗分享了指標的設(shè)計與加工過程,詳細地講述了其基礎(chǔ)概念和設(shè)計加工方法,以及設(shè)計加工過程中的注意點,一起來學(xué)習(xí)一下吧,希望對你有幫助。
指標是可客觀描述某個事物某個特征的可量化的數(shù)字度量,如用戶最近30天購買次數(shù),某商品最近30天銷售額等。
指標常從多個維度來描述,如某地區(qū)的新增用戶數(shù)、線上線下的新增用戶數(shù),維度讓指標更加具象與豐滿。
大數(shù)據(jù)時代數(shù)字化轉(zhuǎn)型背景下,企業(yè)所需要的往往不單單是數(shù)據(jù),而是數(shù)據(jù)背后映射的業(yè)務(wù)洞察,相比較數(shù)據(jù)我們更加關(guān)心的是其體現(xiàn)的業(yè)務(wù)價值以及覆蓋的業(yè)務(wù)場景。
龐大的數(shù)據(jù)只有和業(yè)務(wù)相結(jié)合轉(zhuǎn)化為信息,經(jīng)過處理呈現(xiàn)才能真正體現(xiàn)他們的價值。
指標作為數(shù)據(jù)計算的結(jié)果,是直接反映衡量業(yè)務(wù)效果的依據(jù),應(yīng)用在企業(yè)的方方面面,如數(shù)據(jù)報表、分析平臺及日常取數(shù)等。
1)數(shù)據(jù)報表
它最直接的指標結(jié)果查看的載體,作為業(yè)務(wù)部門的人,可能每月或者每周甚至每天都要輸出業(yè)務(wù)報表,不管是傳統(tǒng)的紙質(zhì)文檔,線上的excel還是后來的報表工具,最終目的都是一樣,我們希望通過報表實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)精益增長的目的。
2)分析平臺
作為數(shù)據(jù)計算結(jié)果多樣化展示的平臺,不管是可視化大屏、還是其他一些BI系統(tǒng),都通過數(shù)據(jù)計算結(jié)果的呈現(xiàn)更好地輔助業(yè)務(wù)了解行業(yè)現(xiàn)狀。
3)日常取數(shù)
有數(shù)據(jù)在哪里,便要去哪里拿,取數(shù)的過程,往往是基于不同的業(yè)務(wù)場景,滿足不同的業(yè)務(wù)需求,對數(shù)據(jù)進行加工計算獲取,當然在這過程中,數(shù)據(jù)計算結(jié)果往往需要保證較高的準確性和一致性。
數(shù)據(jù)指標作為數(shù)據(jù)計算的結(jié)果,是企業(yè)數(shù)據(jù)價值的直觀體現(xiàn),在業(yè)務(wù)擴張、指標計算需求的暴增背景下,隨之而來的指標管理問題也越來越多:
要解決以上問題,幫助企業(yè)建立指標體系,我們需要從以下三個方面入手:
1)指標平臺
建立統(tǒng)一的指標管理平臺,集中管理數(shù)據(jù)指標,沉淀指標資產(chǎn)
2)指標體系
有一套標準規(guī)范的指標搭建方法論,搭建企業(yè)級數(shù)據(jù)指標體系
3)流程管理
搭載統(tǒng)一的流程控制機制,全面把控數(shù)據(jù)指標的生命周期
如果是平臺、流程是基礎(chǔ),那指標內(nèi)容的搭建便是關(guān)鍵。指標體系的搭建作為整個指標管理的核心,為指標管理提供最堅實的基礎(chǔ)支撐。
總結(jié)以下五個步驟,從0到1搭建指標體系:
搭建指標體系的第一步就是明確搭建目標,大部分企業(yè)由于目標不清晰造成指標管理混亂,通過指標體系的搭建,我們要實現(xiàn)“一個指標、一個口徑、一次加工、多次使用”,做到統(tǒng)一指標口徑,減少重復(fù)工作,結(jié)果統(tǒng)一輸出。
1)統(tǒng)一關(guān)鍵指標
創(chuàng)建公司級統(tǒng)一的關(guān)鍵指標,幫助企業(yè)通過統(tǒng)一的指標框架來助力業(yè)務(wù)業(yè)務(wù)擴張。
2)減少重復(fù)工作
為每一個成員提供統(tǒng)一的平臺來協(xié)同,了解企業(yè)整體數(shù)據(jù)業(yè)務(wù)情況,減少數(shù)據(jù)團隊重復(fù)性工作和時間花費
3)結(jié)果統(tǒng)一輸出
針對指標結(jié)果,提供一套能將指標和上層應(yīng)用結(jié)合起來的輸出方式,發(fā)揮數(shù)據(jù)指標最大的價值
明確目標之后,我們開始著手去構(gòu)建指標體系,在設(shè)計指標之前,我們首先要進行需求分析。
同一個企業(yè),不同的業(yè)務(wù)線、不同的部門,甚至是同一部門的不同人員,提出來的指標計算需求都會有所不同。所以在需求分析的階段,我們要做到基于不同行業(yè)的業(yè)務(wù)情況,分析數(shù)據(jù)指標需求,合理劃分主題,更好地為后續(xù)指標設(shè)計提供業(yè)務(wù)支撐。
1)需求調(diào)研
(1)主導(dǎo)人
數(shù)據(jù)分析師,數(shù)倉架構(gòu)師;
(2)調(diào)研方式
列好提綱,面對面訪談;
(3)調(diào)研內(nèi)容
(4)產(chǎn)出
訪談匯總結(jié)果與需求收集表。
2)需求分析
(1)目標
梳理需要加工的指標,指標業(yè)務(wù)口徑,指標更新頻率;
(2)主導(dǎo)人
數(shù)據(jù)分析師;
(3)產(chǎn)出
指標需求表;
數(shù)據(jù)分析師基于業(yè)務(wù)部門、科技部門的業(yè)務(wù)場景和需求,挖掘和提煉具體的指標、業(yè)務(wù)定義、優(yōu)先級、實現(xiàn)難易程度、大概的實現(xiàn)方式。
并根據(jù)指標數(shù)量、難易程度、數(shù)據(jù)依賴關(guān)系,劃分初步的階段性計劃,一期完成哪些指標、給哪些業(yè)務(wù)場景用,二期完成哪些指標,給哪些業(yè)務(wù)場景用。
1)指標拆解
(1)主導(dǎo)人
數(shù)據(jù)分析師;
根據(jù)上述的業(yè)務(wù)需求分析,按照從上往下的方式對指標進行分級拆解,看需要的指標需要由哪些指標加工出來,各個指標的關(guān)系,,明確各指標之間的關(guān)系,可層層溯源,一般分為3層:
2)指標建模
(1)主導(dǎo)人
數(shù)倉架構(gòu)師;
根據(jù)對業(yè)務(wù)需求的理解、數(shù)據(jù)情況的探查,劃分對應(yīng)的業(yè)務(wù)域、業(yè)務(wù)過程、維度、度量、統(tǒng)計周期等,搭建指標建設(shè)的框架。
(2)數(shù)據(jù)來源
數(shù)據(jù)指標遵循ODS-DWD-DWS-ADS的數(shù)倉設(shè)計架構(gòu),主要基于DWS輕度匯總表來加工;
數(shù)據(jù)架構(gòu)師根據(jù)指標需求,看企業(yè)數(shù)倉設(shè)計的完善性,是否需要增加底層的明細表或匯總表,將基礎(chǔ)表梳理加工好之后,開始指標的加工。
(3)指標定義
我們先了解下指標的的組成:
指標=統(tǒng)計周期+維度+過濾條件+度量
統(tǒng)計周期、維度、度量是組成的必要條件,過濾條件根據(jù)業(yè)務(wù)場景而定。
(4)維度與度量
在指標加工前,需要先定義數(shù)據(jù)模型,數(shù)據(jù)模型中定義“維度”與“度量”,因為這兩個是組成模型的基礎(chǔ)必要條件。
數(shù)據(jù)模型按照數(shù)倉的業(yè)務(wù)主題來創(chuàng)建,如存款業(yè)務(wù)、貸款業(yè)務(wù),可遵循星型模型或雪花模型,建立事實表與維表的關(guān)聯(lián)關(guān)系,其可以是多張表的關(guān)聯(lián)關(guān)系,也可以是單張表。表確定好之后,選擇“維度”與“度量”,作為后續(xù)指標加工的基礎(chǔ)。
我們以一個銀行“存款業(yè)務(wù)模型”的模型來看,其是圍繞賬戶存款余額明細數(shù)據(jù)建立的存款業(yè)務(wù)主題數(shù)據(jù)模型。
數(shù)據(jù)模型建好之后,選取維度與度量,作為后續(xù)指標加工的基礎(chǔ)。
4.1 維度
選取數(shù)據(jù)模型中,作為環(huán)境描述的字段作為統(tǒng)計的維度。
4.2 度量
選取數(shù)據(jù)模型中,后續(xù)要加計算的數(shù)值型字段作為度量。
(5)統(tǒng)計周期
統(tǒng)計周期也是指標必不可少的條件,描述一個指標應(yīng)該指定其時間周期,比如累計交易次數(shù)、最近30天交易次數(shù)、最近90天交易次數(shù)等。一般系統(tǒng)會內(nèi)置常用的統(tǒng)計周期,也會支持用戶自定義統(tǒng)計周期,統(tǒng)計周期需要特別注意的便是日期格式了,比如yyyyMMdd,還是yyyy-MM-dd。
根據(jù)以上內(nèi)容,已準備好數(shù)據(jù)模型,和指標的三要素:維度、度量、統(tǒng)計周期。
3)指標分類
袋鼠云指標管理產(chǎn)品按照指標加工類型,分為原子指標、派生指標、復(fù)合指標、SQL指標。
4)指標內(nèi)容
(1)主導(dǎo)人
數(shù)據(jù)分析師、數(shù)倉架構(gòu)師;
基于指標需求、指標建模、指標分類確定指標的具體內(nèi)容,作為指標開發(fā)的指導(dǎo)。
(1)主導(dǎo)人
數(shù)據(jù)分析師、數(shù)倉架構(gòu)師;
指標模型設(shè)計完成、指標內(nèi)容設(shè)計完成后,數(shù)據(jù)分析師與數(shù)倉架構(gòu)師召開指標評審會議,面向數(shù)據(jù)開發(fā)、業(yè)務(wù)人員進行評審。
評審后進行補充完善,之后進入指標開發(fā)階段。
1)指標加工
我們來看下各類指標如何加工。
(1)原子指標
原子指標來源于數(shù)據(jù)模型,是從上述“數(shù)據(jù)模型”中直接讀到的度量,是數(shù)據(jù)模型表中的一個字段,如上述的“存款業(yè)務(wù)模型”中,可以把“存款利率”、“存款匯率”、“賬戶余額”、“固定余額”、“分成比例”等度量作原子指標。
選好度量后,同時需要選取描述該度量的維度,這些維度用于描述度量。如將“賬戶編號”、“機構(gòu)編號”、“客戶經(jīng)理編號”、“客戶編號”、“賬戶狀態(tài)”等作為維度,則可以表示各個賬戶的存款賬戶余額、各個客戶的存款賬戶余額、各個分行/支行的存款賬戶余額,各個客戶經(jīng)理管理賬戶的存款賬戶余額等。
所以原子指標是數(shù)據(jù)模型中維度和度量的組合映射,非一個有真實含義的指標,因為它表示的“客戶”的“賬戶余額”,還沒有加上統(tǒng)計周期與計算邏輯,比如客戶當日賬戶余額、客戶最近一年平均賬戶余額等。但原子指標是后續(xù)派生、復(fù)合指標加工的基礎(chǔ),不可缺少。
(2)派生指標
派生指標是基于原子指標進行維度與統(tǒng)計周期的派生,并設(shè)置計算邏輯。
如“當日存款賬戶余額”,可基于原子指標“賬戶余額”來進行派生,維度選取“賬戶編號”、“機構(gòu)編號”、“客戶經(jīng)理編號”、“客戶編號”,計算邏輯選取“求和”,統(tǒng)計周期選取“當日”,表示各個賬戶的當日存款賬戶余額、各個客戶的當日存款賬戶余額、各個分行/支行的當日存款賬戶余額,各個客戶經(jīng)理管理賬戶的當日存款賬戶余額等。
派生指標中內(nèi)置的計算邏輯有:求和、均值、計數(shù)、去重計數(shù)、最大值、最小值等,也可以自定義函數(shù)。
內(nèi)置的統(tǒng)計周期有:當日、當月、當年、去年、最近7天、最近30天、歷史截止當前,也支持自定義。
(3)復(fù)合指標
復(fù)合指標是基于原子指標或派生指標進行的加減乘除運算。
如“當日基金賬戶利潤”復(fù)合指標,可基于復(fù)合指標“當日基金賬戶利潤率”、派生指標“當日基金賬戶余額”加工而來。
在“當日基金賬戶利潤率”>1時,
當日基金賬戶利潤=當日基金賬戶利潤率 * 當日基金賬戶余額
在“當日基金賬戶利潤率”=1時,
當日基金賬戶利潤=(當日基金賬戶利潤率+ 0.05)* 當日基金賬戶余額
復(fù)合指標的維度,需為加工公式中用到指標的公共維度,可以計算這些維度的該復(fù)合指標。如“當日基金賬戶利潤率”指標的維度有“機構(gòu)編號”,“當日基金賬戶余額”指標的維度有“賬戶編號”、“客戶編號”、“機構(gòu)編號”、“客戶經(jīng)理編號”,則基于這2個指標加工的復(fù)合指標“當日基金賬戶利率”只能有其公共維度“機構(gòu)編號”,可查看各個機構(gòu)的當日基金賬戶利率。
高級設(shè)置:公式中用的來源指標可設(shè)置指標數(shù)據(jù)的過濾條件,加工后的復(fù)合指標可取聚合函數(shù),根據(jù)實際情況使用即可。
以上便是復(fù)合指標的加工。
(4)SQL指標
當存在以上通過內(nèi)置函數(shù)、內(nèi)置運算符加工不出來的邏輯較為復(fù)雜的指標時,可采用自定義SQL指標實現(xiàn)。只要遵循正確的語法結(jié)構(gòu),便可以靈活加工。
指標加工完后,后續(xù)可在指標血緣關(guān)系中查看指標間的上下游關(guān)系。
2)指標落庫
指標邏輯配置成功后,每個指標可配置其更新周期,調(diào)度策略配置完成后,進行指標發(fā)布。發(fā)布后便按照設(shè)定周期周期性加工。同時,也支持手動立即更新。
指標更新后,會將每個指標和其維度存儲在Hive表中,每個指標和其維度存儲一張單獨的表。
3)指標運維
指標上線后,運維同學(xué)便需要進行指標的日常運維,觀察指標運行情況,及時處理報錯情況,保證指標的正常加工和線上業(yè)務(wù)可用。
指標常應(yīng)用在數(shù)據(jù)門戶、BI數(shù)據(jù)分析、可視化大屏展示,業(yè)務(wù)人員數(shù)據(jù)分析中。那產(chǎn)生的指標怎么與上層應(yīng)用對接呢?
1)指標API
通過API服務(wù)將指標平臺加工好的指標,提供給上層的展示、分析系統(tǒng)。
在創(chuàng)建API時定義需要查詢出去的指標,多個指標的公共維度作為該API的入?yún)ⅰMㄟ^API接口,查詢對接的指標結(jié)果。
外部系統(tǒng)調(diào)用API的url,用API-TOKEN認證便可以進行數(shù)據(jù)的查詢。
2)自助取數(shù)
在自助取數(shù)平臺中,可直接查詢指標平臺定義好的維度、指標,業(yè)務(wù)人員靈活拖拉拽,實現(xiàn)在線取數(shù)。并且取數(shù)邏輯可沉淀成固定的報表模板,報表可周期性自動生成數(shù)據(jù),業(yè)務(wù)人員屆時拿結(jié)果數(shù)據(jù)即可。
本文由 @木研 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議。
]]>