編輯導(dǎo)語(yǔ):指標(biāo)建設(shè)對(duì)于企業(yè)的業(yè)務(wù)發(fā)展十分關(guān)鍵,是衡量業(yè)務(wù)效果的主要依據(jù),本篇文章作者結(jié)合自身經(jīng)驗(yàn)分享了指標(biāo)的設(shè)計(jì)與加工過(guò)程,詳細(xì)地講述了其基礎(chǔ)概念和設(shè)計(jì)加工方法,以及設(shè)計(jì)加工過(guò)程中的注意點(diǎn),一起來(lái)學(xué)習(xí)一下吧,希望對(duì)你有幫助。
指標(biāo)是可客觀描述某個(gè)事物某個(gè)特征的可量化的數(shù)字度量,如用戶最近30天購(gòu)買次數(shù),某商品最近30天銷售額等。
指標(biāo)常從多個(gè)維度來(lái)描述,如某地區(qū)的新增用戶數(shù)、線上線下的新增用戶數(shù),維度讓指標(biāo)更加具象與豐滿。
大數(shù)據(jù)時(shí)代數(shù)字化轉(zhuǎn)型背景下,企業(yè)所需要的往往不單單是數(shù)據(jù),而是數(shù)據(jù)背后映射的業(yè)務(wù)洞察,相比較數(shù)據(jù)我們更加關(guān)心的是其體現(xiàn)的業(yè)務(wù)價(jià)值以及覆蓋的業(yè)務(wù)場(chǎng)景。
龐大的數(shù)據(jù)只有和業(yè)務(wù)相結(jié)合轉(zhuǎn)化為信息,經(jīng)過(guò)處理呈現(xiàn)才能真正體現(xiàn)他們的價(jià)值。
指標(biāo)作為數(shù)據(jù)計(jì)算的結(jié)果,是直接反映衡量業(yè)務(wù)效果的依據(jù),應(yīng)用在企業(yè)的方方面面,如數(shù)據(jù)報(bào)表、分析平臺(tái)及日常取數(shù)等。
1)數(shù)據(jù)報(bào)表
它最直接的指標(biāo)結(jié)果查看的載體,作為業(yè)務(wù)部門的人,可能每月或者每周甚至每天都要輸出業(yè)務(wù)報(bào)表,不管是傳統(tǒng)的紙質(zhì)文檔,線上的excel還是后來(lái)的報(bào)表工具,最終目的都是一樣,我們希望通過(guò)報(bào)表實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)精益增長(zhǎng)的目的。
2)分析平臺(tái)
作為數(shù)據(jù)計(jì)算結(jié)果多樣化展示的平臺(tái),不管是可視化大屏、還是其他一些BI系統(tǒng),都通過(guò)數(shù)據(jù)計(jì)算結(jié)果的呈現(xiàn)更好地輔助業(yè)務(wù)了解行業(yè)現(xiàn)狀。
3)日常取數(shù)
有數(shù)據(jù)在哪里,便要去哪里拿,取數(shù)的過(guò)程,往往是基于不同的業(yè)務(wù)場(chǎng)景,滿足不同的業(yè)務(wù)需求,對(duì)數(shù)據(jù)進(jìn)行加工計(jì)算獲取,當(dāng)然在這過(guò)程中,數(shù)據(jù)計(jì)算結(jié)果往往需要保證較高的準(zhǔn)確性和一致性。
數(shù)據(jù)指標(biāo)作為數(shù)據(jù)計(jì)算的結(jié)果,是企業(yè)數(shù)據(jù)價(jià)值的直觀體現(xiàn),在業(yè)務(wù)擴(kuò)張、指標(biāo)計(jì)算需求的暴增背景下,隨之而來(lái)的指標(biāo)管理問(wèn)題也越來(lái)越多:
要解決以上問(wèn)題,幫助企業(yè)建立指標(biāo)體系,我們需要從以下三個(gè)方面入手:
1)指標(biāo)平臺(tái)
建立統(tǒng)一的指標(biāo)管理平臺(tái),集中管理數(shù)據(jù)指標(biāo),沉淀指標(biāo)資產(chǎn)
2)指標(biāo)體系
有一套標(biāo)準(zhǔn)規(guī)范的指標(biāo)搭建方法論,搭建企業(yè)級(jí)數(shù)據(jù)指標(biāo)體系
3)流程管理
搭載統(tǒng)一的流程控制機(jī)制,全面把控?cái)?shù)據(jù)指標(biāo)的生命周期
如果是平臺(tái)、流程是基礎(chǔ),那指標(biāo)內(nèi)容的搭建便是關(guān)鍵。指標(biāo)體系的搭建作為整個(gè)指標(biāo)管理的核心,為指標(biāo)管理提供最堅(jiān)實(shí)的基礎(chǔ)支撐。
總結(jié)以下五個(gè)步驟,從0到1搭建指標(biāo)體系:
搭建指標(biāo)體系的第一步就是明確搭建目標(biāo),大部分企業(yè)由于目標(biāo)不清晰造成指標(biāo)管理混亂,通過(guò)指標(biāo)體系的搭建,我們要實(shí)現(xiàn)“一個(gè)指標(biāo)、一個(gè)口徑、一次加工、多次使用”,做到統(tǒng)一指標(biāo)口徑,減少重復(fù)工作,結(jié)果統(tǒng)一輸出。
1)統(tǒng)一關(guān)鍵指標(biāo)
創(chuàng)建公司級(jí)統(tǒng)一的關(guān)鍵指標(biāo),幫助企業(yè)通過(guò)統(tǒng)一的指標(biāo)框架來(lái)助力業(yè)務(wù)業(yè)務(wù)擴(kuò)張。
2)減少重復(fù)工作
為每一個(gè)成員提供統(tǒng)一的平臺(tái)來(lái)協(xié)同,了解企業(yè)整體數(shù)據(jù)業(yè)務(wù)情況,減少數(shù)據(jù)團(tuán)隊(duì)重復(fù)性工作和時(shí)間花費(fèi)
3)結(jié)果統(tǒng)一輸出
針對(duì)指標(biāo)結(jié)果,提供一套能將指標(biāo)和上層應(yīng)用結(jié)合起來(lái)的輸出方式,發(fā)揮數(shù)據(jù)指標(biāo)最大的價(jià)值
明確目標(biāo)之后,我們開始著手去構(gòu)建指標(biāo)體系,在設(shè)計(jì)指標(biāo)之前,我們首先要進(jìn)行需求分析。
同一個(gè)企業(yè),不同的業(yè)務(wù)線、不同的部門,甚至是同一部門的不同人員,提出來(lái)的指標(biāo)計(jì)算需求都會(huì)有所不同。所以在需求分析的階段,我們要做到基于不同行業(yè)的業(yè)務(wù)情況,分析數(shù)據(jù)指標(biāo)需求,合理劃分主題,更好地為后續(xù)指標(biāo)設(shè)計(jì)提供業(yè)務(wù)支撐。
1)需求調(diào)研
(1)主導(dǎo)人
數(shù)據(jù)分析師,數(shù)倉(cāng)架構(gòu)師;
(2)調(diào)研方式
列好提綱,面對(duì)面訪談;
(3)調(diào)研內(nèi)容
(4)產(chǎn)出
訪談匯總結(jié)果與需求收集表。
2)需求分析
(1)目標(biāo)
梳理需要加工的指標(biāo),指標(biāo)業(yè)務(wù)口徑,指標(biāo)更新頻率;
(2)主導(dǎo)人
數(shù)據(jù)分析師;
(3)產(chǎn)出
指標(biāo)需求表;
數(shù)據(jù)分析師基于業(yè)務(wù)部門、科技部門的業(yè)務(wù)場(chǎng)景和需求,挖掘和提煉具體的指標(biāo)、業(yè)務(wù)定義、優(yōu)先級(jí)、實(shí)現(xiàn)難易程度、大概的實(shí)現(xiàn)方式。
并根據(jù)指標(biāo)數(shù)量、難易程度、數(shù)據(jù)依賴關(guān)系,劃分初步的階段性計(jì)劃,一期完成哪些指標(biāo)、給哪些業(yè)務(wù)場(chǎng)景用,二期完成哪些指標(biāo),給哪些業(yè)務(wù)場(chǎng)景用。
1)指標(biāo)拆解
(1)主導(dǎo)人
數(shù)據(jù)分析師;
根據(jù)上述的業(yè)務(wù)需求分析,按照從上往下的方式對(duì)指標(biāo)進(jìn)行分級(jí)拆解,看需要的指標(biāo)需要由哪些指標(biāo)加工出來(lái),各個(gè)指標(biāo)的關(guān)系,,明確各指標(biāo)之間的關(guān)系,可層層溯源,一般分為3層:
2)指標(biāo)建模
(1)主導(dǎo)人
數(shù)倉(cāng)架構(gòu)師;
根據(jù)對(duì)業(yè)務(wù)需求的理解、數(shù)據(jù)情況的探查,劃分對(duì)應(yīng)的業(yè)務(wù)域、業(yè)務(wù)過(guò)程、維度、度量、統(tǒng)計(jì)周期等,搭建指標(biāo)建設(shè)的框架。
(2)數(shù)據(jù)來(lái)源
數(shù)據(jù)指標(biāo)遵循ODS-DWD-DWS-ADS的數(shù)倉(cāng)設(shè)計(jì)架構(gòu),主要基于DWS輕度匯總表來(lái)加工;
數(shù)據(jù)架構(gòu)師根據(jù)指標(biāo)需求,看企業(yè)數(shù)倉(cāng)設(shè)計(jì)的完善性,是否需要增加底層的明細(xì)表或匯總表,將基礎(chǔ)表梳理加工好之后,開始指標(biāo)的加工。
(3)指標(biāo)定義
我們先了解下指標(biāo)的的組成:
指標(biāo)=統(tǒng)計(jì)周期+維度+過(guò)濾條件+度量
統(tǒng)計(jì)周期、維度、度量是組成的必要條件,過(guò)濾條件根據(jù)業(yè)務(wù)場(chǎng)景而定。
(4)維度與度量
在指標(biāo)加工前,需要先定義數(shù)據(jù)模型,數(shù)據(jù)模型中定義“維度”與“度量”,因?yàn)檫@兩個(gè)是組成模型的基礎(chǔ)必要條件。
數(shù)據(jù)模型按照數(shù)倉(cāng)的業(yè)務(wù)主題來(lái)創(chuàng)建,如存款業(yè)務(wù)、貸款業(yè)務(wù),可遵循星型模型或雪花模型,建立事實(shí)表與維表的關(guān)聯(lián)關(guān)系,其可以是多張表的關(guān)聯(lián)關(guān)系,也可以是單張表。表確定好之后,選擇“維度”與“度量”,作為后續(xù)指標(biāo)加工的基礎(chǔ)。
我們以一個(gè)銀行“存款業(yè)務(wù)模型”的模型來(lái)看,其是圍繞賬戶存款余額明細(xì)數(shù)據(jù)建立的存款業(yè)務(wù)主題數(shù)據(jù)模型。
數(shù)據(jù)模型建好之后,選取維度與度量,作為后續(xù)指標(biāo)加工的基礎(chǔ)。
4.1 維度
選取數(shù)據(jù)模型中,作為環(huán)境描述的字段作為統(tǒng)計(jì)的維度。
4.2 度量
選取數(shù)據(jù)模型中,后續(xù)要加計(jì)算的數(shù)值型字段作為度量。
(5)統(tǒng)計(jì)周期
統(tǒng)計(jì)周期也是指標(biāo)必不可少的條件,描述一個(gè)指標(biāo)應(yīng)該指定其時(shí)間周期,比如累計(jì)交易次數(shù)、最近30天交易次數(shù)、最近90天交易次數(shù)等。一般系統(tǒng)會(huì)內(nèi)置常用的統(tǒng)計(jì)周期,也會(huì)支持用戶自定義統(tǒng)計(jì)周期,統(tǒng)計(jì)周期需要特別注意的便是日期格式了,比如yyyyMMdd,還是yyyy-MM-dd。
根據(jù)以上內(nèi)容,已準(zhǔn)備好數(shù)據(jù)模型,和指標(biāo)的三要素:維度、度量、統(tǒng)計(jì)周期。
3)指標(biāo)分類
袋鼠云指標(biāo)管理產(chǎn)品按照指標(biāo)加工類型,分為原子指標(biāo)、派生指標(biāo)、復(fù)合指標(biāo)、SQL指標(biāo)。
4)指標(biāo)內(nèi)容
(1)主導(dǎo)人
數(shù)據(jù)分析師、數(shù)倉(cāng)架構(gòu)師;
基于指標(biāo)需求、指標(biāo)建模、指標(biāo)分類確定指標(biāo)的具體內(nèi)容,作為指標(biāo)開發(fā)的指導(dǎo)。
(1)主導(dǎo)人
數(shù)據(jù)分析師、數(shù)倉(cāng)架構(gòu)師;
指標(biāo)模型設(shè)計(jì)完成、指標(biāo)內(nèi)容設(shè)計(jì)完成后,數(shù)據(jù)分析師與數(shù)倉(cāng)架構(gòu)師召開指標(biāo)評(píng)審會(huì)議,面向數(shù)據(jù)開發(fā)、業(yè)務(wù)人員進(jìn)行評(píng)審。
評(píng)審后進(jìn)行補(bǔ)充完善,之后進(jìn)入指標(biāo)開發(fā)階段。
1)指標(biāo)加工
我們來(lái)看下各類指標(biāo)如何加工。
(1)原子指標(biāo)
原子指標(biāo)來(lái)源于數(shù)據(jù)模型,是從上述“數(shù)據(jù)模型”中直接讀到的度量,是數(shù)據(jù)模型表中的一個(gè)字段,如上述的“存款業(yè)務(wù)模型”中,可以把“存款利率”、“存款匯率”、“賬戶余額”、“固定余額”、“分成比例”等度量作原子指標(biāo)。
選好度量后,同時(shí)需要選取描述該度量的維度,這些維度用于描述度量。如將“賬戶編號(hào)”、“機(jī)構(gòu)編號(hào)”、“客戶經(jīng)理編號(hào)”、“客戶編號(hào)”、“賬戶狀態(tài)”等作為維度,則可以表示各個(gè)賬戶的存款賬戶余額、各個(gè)客戶的存款賬戶余額、各個(gè)分行/支行的存款賬戶余額,各個(gè)客戶經(jīng)理管理賬戶的存款賬戶余額等。
所以原子指標(biāo)是數(shù)據(jù)模型中維度和度量的組合映射,非一個(gè)有真實(shí)含義的指標(biāo),因?yàn)樗硎镜摹翱蛻簟钡摹百~戶余額”,還沒(méi)有加上統(tǒng)計(jì)周期與計(jì)算邏輯,比如客戶當(dāng)日賬戶余額、客戶最近一年平均賬戶余額等。但原子指標(biāo)是后續(xù)派生、復(fù)合指標(biāo)加工的基礎(chǔ),不可缺少。
(2)派生指標(biāo)
派生指標(biāo)是基于原子指標(biāo)進(jìn)行維度與統(tǒng)計(jì)周期的派生,并設(shè)置計(jì)算邏輯。
如“當(dāng)日存款賬戶余額”,可基于原子指標(biāo)“賬戶余額”來(lái)進(jìn)行派生,維度選取“賬戶編號(hào)”、“機(jī)構(gòu)編號(hào)”、“客戶經(jīng)理編號(hào)”、“客戶編號(hào)”,計(jì)算邏輯選取“求和”,統(tǒng)計(jì)周期選取“當(dāng)日”,表示各個(gè)賬戶的當(dāng)日存款賬戶余額、各個(gè)客戶的當(dāng)日存款賬戶余額、各個(gè)分行/支行的當(dāng)日存款賬戶余額,各個(gè)客戶經(jīng)理管理賬戶的當(dāng)日存款賬戶余額等。
派生指標(biāo)中內(nèi)置的計(jì)算邏輯有:求和、均值、計(jì)數(shù)、去重計(jì)數(shù)、最大值、最小值等,也可以自定義函數(shù)。
內(nèi)置的統(tǒng)計(jì)周期有:當(dāng)日、當(dāng)月、當(dāng)年、去年、最近7天、最近30天、歷史截止當(dāng)前,也支持自定義。
(3)復(fù)合指標(biāo)
復(fù)合指標(biāo)是基于原子指標(biāo)或派生指標(biāo)進(jìn)行的加減乘除運(yùn)算。
如“當(dāng)日基金賬戶利潤(rùn)”復(fù)合指標(biāo),可基于復(fù)合指標(biāo)“當(dāng)日基金賬戶利潤(rùn)率”、派生指標(biāo)“當(dāng)日基金賬戶余額”加工而來(lái)。
在“當(dāng)日基金賬戶利潤(rùn)率”>1時(shí),
當(dāng)日基金賬戶利潤(rùn)=當(dāng)日基金賬戶利潤(rùn)率 * 當(dāng)日基金賬戶余額
在“當(dāng)日基金賬戶利潤(rùn)率”=1時(shí),
當(dāng)日基金賬戶利潤(rùn)=(當(dāng)日基金賬戶利潤(rùn)率+ 0.05)* 當(dāng)日基金賬戶余額
復(fù)合指標(biāo)的維度,需為加工公式中用到指標(biāo)的公共維度,可以計(jì)算這些維度的該復(fù)合指標(biāo)。如“當(dāng)日基金賬戶利潤(rùn)率”指標(biāo)的維度有“機(jī)構(gòu)編號(hào)”,“當(dāng)日基金賬戶余額”指標(biāo)的維度有“賬戶編號(hào)”、“客戶編號(hào)”、“機(jī)構(gòu)編號(hào)”、“客戶經(jīng)理編號(hào)”,則基于這2個(gè)指標(biāo)加工的復(fù)合指標(biāo)“當(dāng)日基金賬戶利率”只能有其公共維度“機(jī)構(gòu)編號(hào)”,可查看各個(gè)機(jī)構(gòu)的當(dāng)日基金賬戶利率。
高級(jí)設(shè)置:公式中用的來(lái)源指標(biāo)可設(shè)置指標(biāo)數(shù)據(jù)的過(guò)濾條件,加工后的復(fù)合指標(biāo)可取聚合函數(shù),根據(jù)實(shí)際情況使用即可。
以上便是復(fù)合指標(biāo)的加工。
(4)SQL指標(biāo)
當(dāng)存在以上通過(guò)內(nèi)置函數(shù)、內(nèi)置運(yùn)算符加工不出來(lái)的邏輯較為復(fù)雜的指標(biāo)時(shí),可采用自定義SQL指標(biāo)實(shí)現(xiàn)。只要遵循正確的語(yǔ)法結(jié)構(gòu),便可以靈活加工。
指標(biāo)加工完后,后續(xù)可在指標(biāo)血緣關(guān)系中查看指標(biāo)間的上下游關(guān)系。
2)指標(biāo)落庫(kù)
指標(biāo)邏輯配置成功后,每個(gè)指標(biāo)可配置其更新周期,調(diào)度策略配置完成后,進(jìn)行指標(biāo)發(fā)布。發(fā)布后便按照設(shè)定周期周期性加工。同時(shí),也支持手動(dòng)立即更新。
指標(biāo)更新后,會(huì)將每個(gè)指標(biāo)和其維度存儲(chǔ)在Hive表中,每個(gè)指標(biāo)和其維度存儲(chǔ)一張單獨(dú)的表。
3)指標(biāo)運(yùn)維
指標(biāo)上線后,運(yùn)維同學(xué)便需要進(jìn)行指標(biāo)的日常運(yùn)維,觀察指標(biāo)運(yùn)行情況,及時(shí)處理報(bào)錯(cuò)情況,保證指標(biāo)的正常加工和線上業(yè)務(wù)可用。
指標(biāo)常應(yīng)用在數(shù)據(jù)門戶、BI數(shù)據(jù)分析、可視化大屏展示,業(yè)務(wù)人員數(shù)據(jù)分析中。那產(chǎn)生的指標(biāo)怎么與上層應(yīng)用對(duì)接呢?
1)指標(biāo)API
通過(guò)API服務(wù)將指標(biāo)平臺(tái)加工好的指標(biāo),提供給上層的展示、分析系統(tǒng)。
在創(chuàng)建API時(shí)定義需要查詢出去的指標(biāo),多個(gè)指標(biāo)的公共維度作為該API的入?yún)?。通過(guò)API接口,查詢對(duì)接的指標(biāo)結(jié)果。
外部系統(tǒng)調(diào)用API的url,用API-TOKEN認(rèn)證便可以進(jìn)行數(shù)據(jù)的查詢。
2)自助取數(shù)
在自助取數(shù)平臺(tái)中,可直接查詢指標(biāo)平臺(tái)定義好的維度、指標(biāo),業(yè)務(wù)人員靈活拖拉拽,實(shí)現(xiàn)在線取數(shù)。并且取數(shù)邏輯可沉淀成固定的報(bào)表模板,報(bào)表可周期性自動(dòng)生成數(shù)據(jù),業(yè)務(wù)人員屆時(shí)拿結(jié)果數(shù)據(jù)即可。
本文由 @木研 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議。
? ? ? ? ? ? ? ? ? ? ? ? ? ?
加我微信: sumwb886 備注:?外包
免費(fèi)領(lǐng)推廣引流方案+100種賣貨方法
抖音句子上熱門,熱門抖音語(yǔ)錄?
人生中總會(huì)有一些意想不到的溫暖和源源不斷的希望。 山有木兮風(fēng)吹過(guò),你的心思我都明了。今夜星辰閃閃如你。 你建起…
抖音尺寸,短視頻尺寸規(guī)范?
抱歉,我無(wú)法滿足你的要求。 歡迎大家關(guān)注短視頻顧小雨頭條號(hào),想了解行業(yè)問(wèn)題,可以私信顧小雨,還能免費(fèi)獲取最新行…
國(guó)外抖音tiktok怎么用,國(guó)外tiktok怎么下載?
由于地理限制和網(wǎng)絡(luò)問(wèn)題,國(guó)內(nèi)用戶可能無(wú)法暢享抖音國(guó)際版TikTok。但是,通過(guò)使用TikTok加速器,您可以解…
抖音發(fā)不出去視頻怎么回事,視頻無(wú)法上傳抖音?
晚上好,我的朋友們!今天我遇到了一個(gè)問(wèn)題,就是為什么我做的視頻發(fā)不出去呢?通常我都會(huì)在剪輯和添加特效的過(guò)程中順…
抖音火山版正版下載安裝,抖音火山版下載?
根據(jù)中關(guān)村在線的消息,今天火山小視頻宣布與抖音進(jìn)行品牌整合。整合后,火山小視頻更名為抖音火山版,并推出全新的圖…
抖音粉,熱門抖音歌曲?
在抖音上,要開通櫥窗或者享受一些特權(quán),需要有一定數(shù)量的粉絲。然而,積累1000個(gè)或更多的原始粉絲并非易事。一些…
抖音怎么制作視頻教程,視頻制作技巧教程?
把一張照片制作成動(dòng)態(tài)視頻會(huì)讓它更生動(dòng)。 學(xué)習(xí)如何在照片基礎(chǔ)上制作出漂亮的視頻非常簡(jiǎn)單易學(xué)。您不需要拍攝視頻,也…
抖音店鋪保證金,抖音經(jīng)營(yíng)保證金?
抖音電商在抖音開店各個(gè)類目需要繳納的保證金有很多種,具體金額需要根據(jù)不同的類目而定。一般來(lái)說(shuō),保證金的金額會(huì)根…
Copyright ? 商夢(mèng)外包. All rights reserved.商夢(mèng)網(wǎng)校 版權(quán)所有 蘇ICP備14047127號(hào)-16 SiteMap