對(duì)于企業(yè)來(lái)說(shuō)，要建設(shè)自己的大數(shù)據(jù)平臺(tái)，需要的不只是技術(shù)解決方案，更重要的是組建一支優(yōu)秀的數(shù)據(jù)團(tuán)隊(duì)。那么，數(shù)據(jù)團(tuán)隊(duì)有哪些成員組成？他們的工作方式是什么？采用怎樣的組織架構(gòu)來(lái)開(kāi)展工作？

　　1. 數(shù)據(jù)團(tuán)隊(duì)成員

　　這里只討論數(shù)據(jù)團(tuán)隊(duì)中核心成員的角色和他們的工作職責(zé)。

　　1）基礎(chǔ)平臺(tái)團(tuán)隊(duì)

　　主要負(fù)責(zé)搭建穩(wěn)定、可靠的大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)。

　　核心成員包括：

　　數(shù)據(jù)開(kāi)發(fā)工程師

　　負(fù)責(zé)Hadoop、Spark、Hbase和Storm等系統(tǒng)的搭建、調(diào)優(yōu)、維護(hù)和升級(jí)等工作，保證平臺(tái)的穩(wěn)定。

　　數(shù)據(jù)平臺(tái)架構(gòu)師

　　負(fù)責(zé)大數(shù)據(jù)底層平臺(tái)整體架構(gòu)設(shè)計(jì)、技術(shù)路線規(guī)劃等工作，確保系統(tǒng)能支持業(yè)務(wù)不斷發(fā)展過(guò)程中對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算的高要求。

　　運(yùn)維工程師

　　負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常運(yùn)維工作

　　2）數(shù)據(jù)平臺(tái)團(tuán)隊(duì)

　　主要負(fù)責(zé)數(shù)據(jù)的清洗、加工、分類(lèi)和管理等工作，構(gòu)建企業(yè)的數(shù)據(jù)中心，為上層數(shù)據(jù)應(yīng)用提供可靠的數(shù)據(jù)。

　　數(shù)據(jù)開(kāi)發(fā)工程師

　　負(fù)責(zé)數(shù)據(jù)清洗、加工、分類(lèi)等開(kāi)發(fā)工作，并能響應(yīng)數(shù)據(jù)分析師對(duì)數(shù)據(jù)提取的需求。

　　數(shù)據(jù)挖掘工程師

　　負(fù)責(zé)從數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)，把這些數(shù)據(jù)錄入到數(shù)據(jù)中心，為各類(lèi)應(yīng)用提供高質(zhì)量、有深度的數(shù)據(jù)。

　　數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)師

　　負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)整體架構(gòu)設(shè)計(jì)和數(shù)據(jù)業(yè)務(wù)規(guī)劃工作。

　　3）數(shù)據(jù)分析團(tuán)隊(duì)

　　主要負(fù)責(zé)為改善產(chǎn)品體驗(yàn)設(shè)計(jì)和商業(yè)決策提供數(shù)據(jù)支持。

　　業(yè)務(wù)分析師

　　主要負(fù)責(zé)深入業(yè)務(wù)線，制定業(yè)務(wù)指標(biāo)，反饋業(yè)務(wù)問(wèn)題，為業(yè)務(wù)發(fā)展提供決策支持。

　　建模分析師

　　主要負(fù)責(zé)數(shù)據(jù)建模，基于業(yè)務(wù)規(guī)律和數(shù)據(jù)探索構(gòu)建數(shù)據(jù)模型，提升數(shù)據(jù)利用效率和價(jià)值。

　　2. 數(shù)據(jù)團(tuán)隊(duì)的工作方式

　　數(shù)據(jù)團(tuán)隊(duì)的工作可以分成兩大部分，一部分是建設(shè)數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，另一部分是基于數(shù)據(jù)平臺(tái)提供數(shù)據(jù)產(chǎn)品和數(shù)據(jù)服務(wù)。

　　平臺(tái)的建設(shè)者包括三種人群：基礎(chǔ)平臺(tái)團(tuán)隊(duì)對(duì)hadoop、spark、storm等各類(lèi)大數(shù)據(jù)技術(shù)都非常熟悉，負(fù)責(zé)搭建穩(wěn)定、可靠的大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)。數(shù)據(jù)平臺(tái)團(tuán)隊(duì)主要負(fù)責(zé)各類(lèi)業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗、加工、分類(lèi)以及挖掘分析，然后把數(shù)據(jù)有組織地存儲(chǔ)到數(shù)據(jù)平臺(tái)當(dāng)中，形成公司的數(shù)據(jù)中心，需要團(tuán)隊(duì)具有強(qiáng)大的數(shù)據(jù)建模和數(shù)據(jù)管理能力。數(shù)據(jù)產(chǎn)品經(jīng)理團(tuán)隊(duì)主要是分析挖掘用戶需求，構(gòu)建數(shù)據(jù)產(chǎn)品為開(kāi)發(fā)者、分析師和業(yè)務(wù)人員提供數(shù)據(jù)可視化展示。

　　平臺(tái)的使用者也可以包括三種人群：數(shù)據(jù)分析團(tuán)隊(duì)通過(guò)分析挖掘數(shù)據(jù)，為改善產(chǎn)品體驗(yàn)設(shè)計(jì)和商業(yè)決策提供數(shù)據(jù)支持。運(yùn)營(yíng)、市場(chǎng)和管理層可以通過(guò)數(shù)據(jù)分析師獲得有建設(shè)性的分析報(bào)告或結(jié)論，也可以直接訪問(wèn)數(shù)據(jù)產(chǎn)品獲得他們感興趣的數(shù)據(jù)，方便利用數(shù)據(jù)做決策。數(shù)據(jù)應(yīng)用團(tuán)隊(duì)利用數(shù)據(jù)平臺(tái)團(tuán)隊(duì)提供的數(shù)據(jù)開(kāi)展推薦、個(gè)性化廣告等工作。

　　3. 數(shù)據(jù)分析團(tuán)隊(duì)的組織架構(gòu)

　　在整個(gè)大數(shù)據(jù)平臺(tái)體系中的團(tuán)隊(duì)：基礎(chǔ)平臺(tái)、數(shù)據(jù)平臺(tái)、數(shù)據(jù)應(yīng)用和數(shù)據(jù)產(chǎn)品經(jīng)理團(tuán)隊(duì)都可以保持獨(dú)立的運(yùn)作，只有數(shù)據(jù)分析團(tuán)隊(duì)的組織架構(gòu)爭(zhēng)議比較大。數(shù)據(jù)分析團(tuán)隊(duì)一方面要對(duì)業(yè)務(wù)比較敏感，另一方面又需要與數(shù)據(jù)平臺(tái)技術(shù)團(tuán)隊(duì)有深度融合，以便能獲得他們感興趣的數(shù)據(jù)以及在數(shù)據(jù)平臺(tái)上嘗試實(shí)驗(yàn)復(fù)雜建模的可能。

　　從他們的工作方式可以看出，數(shù)據(jù)分析團(tuán)隊(duì)是銜接技術(shù)和業(yè)務(wù)的中間團(tuán)隊(duì)，這樣的團(tuán)隊(duì)組織架構(gòu)比較靈活多變：

　　1）外包

　　公司自身不設(shè)立數(shù)據(jù)分析部門(mén)，將數(shù)據(jù)分析業(yè)務(wù)外包給第三方公司，當(dāng)前電信行業(yè)，金融行業(yè)中很多數(shù)據(jù)分析類(lèi)業(yè)務(wù)都是交給外包公司完成的。

　　優(yōu)勢(shì)： 很多情況下，可以降低公司的資金成本和時(shí)間成本；許多公司內(nèi)部缺乏相關(guān)的知識(shí)與管理經(jīng)驗(yàn)，外包給專(zhuān)業(yè)的團(tuán)隊(duì)有助于公司數(shù)據(jù)價(jià)值的體現(xiàn) 。

　　劣勢(shì)：一方面外包人員的流動(dòng)和合作變數(shù)，對(duì)數(shù)據(jù)的保密性沒(méi)有保證；另外一方面，外包團(tuán)隊(duì)對(duì)需求的響應(yīng)會(huì)比較慢，處理的問(wèn)題相對(duì)通用傳統(tǒng)，對(duì)公司業(yè)務(wù)認(rèn)知不如內(nèi)部員工深入，創(chuàng)新較低。

　　2）分散式

　　每個(gè)產(chǎn)品部門(mén)獨(dú)立成立數(shù)據(jù)分析團(tuán)隊(duì)，負(fù)責(zé)響應(yīng)自己產(chǎn)品的數(shù)據(jù)需求，為業(yè)務(wù)發(fā)展提供決策支持。

　　優(yōu)勢(shì)：數(shù)據(jù)分析團(tuán)隊(duì)與開(kāi)發(fā)團(tuán)隊(duì)、設(shè)計(jì)團(tuán)隊(duì)以及策劃團(tuán)隊(duì)具有共同的目標(biāo)，團(tuán)隊(duì)整體歸屬感強(qiáng)，績(jī)效考核與產(chǎn)品發(fā)展直接掛鉤，有利于業(yè)務(wù)的發(fā)展。

　　劣勢(shì)：在業(yè)務(wù)規(guī)模比較小的情況下，數(shù)據(jù)分析師比較少，交流的空間也比較小。因?yàn)樯磉叺耐露疾皇窃擃I(lǐng)域的人才，無(wú)法進(jìn)行學(xué)習(xí)交流，所以成長(zhǎng)空間會(huì)比較小，分析師的流失也會(huì)比較嚴(yán)重，最終陷入招募新人——成長(zhǎng)受限——離職——招募新人的惡性循環(huán)。另一方面，每個(gè)產(chǎn)品團(tuán)隊(duì)都零星地招募幾個(gè)分析師，整體來(lái)看給員工的感覺(jué)是公司并不是特別重視數(shù)據(jù)化運(yùn)營(yíng)的文化，對(duì)數(shù)據(jù)的認(rèn)同感會(huì)被削弱，不利于公司建立數(shù)據(jù)分析平臺(tái)體系。

　　3）集中式

　　數(shù)據(jù)分析團(tuán)隊(duì)與產(chǎn)品團(tuán)隊(duì)、運(yùn)營(yíng)團(tuán)隊(duì)各自獨(dú)立，團(tuán)隊(duì)的負(fù)責(zé)人具有直接向分管數(shù)據(jù)的副總裁或CEO直接匯報(bào)的權(quán)限，團(tuán)隊(duì)負(fù)責(zé)響應(yīng)各業(yè)務(wù)部門(mén)的數(shù)據(jù)需求。

　　優(yōu)勢(shì)：分析團(tuán)隊(duì)具有充分的自主權(quán)，可以專(zhuān)心建設(shè)好公司級(jí)別的數(shù)據(jù)平臺(tái)體系，研究數(shù)據(jù)最具有價(jià)值的那些問(wèn)題，有權(quán)平衡業(yè)務(wù)短期需求和平臺(tái)長(zhǎng)期需求直接的關(guān)系。另一方面，這種自上而下建立起來(lái)組織架構(gòu)，可以向全體員工傳達(dá)數(shù)據(jù)在公司的重要位置，有利于建立數(shù)據(jù)化運(yùn)營(yíng)的文化。

　　劣勢(shì)：產(chǎn)品業(yè)務(wù)團(tuán)隊(duì)會(huì)覺(jué)得他們對(duì)數(shù)據(jù)的掌控權(quán)比較弱，一些業(yè)務(wù)數(shù)據(jù)需求得不到快速響應(yīng)，認(rèn)為分析團(tuán)隊(duì)的反應(yīng)太慢無(wú)法滿足業(yè)務(wù)發(fā)展的需要。隨著業(yè)務(wù)發(fā)展越來(lái)越大，產(chǎn)品團(tuán)隊(duì)會(huì)自己招募分析師來(lái)響應(yīng)數(shù)據(jù)需求，逐漸替代分析團(tuán)隊(duì)的工作，這樣勢(shì)必會(huì)導(dǎo)致分析團(tuán)隊(duì)的工作被邊緣化。

　　4）嵌入式

　　數(shù)據(jù)分析團(tuán)隊(duì)同樣獨(dú)立于產(chǎn)品團(tuán)隊(duì)存在，但只保留部分資深數(shù)據(jù)專(zhuān)家，負(fù)責(zé)招聘、培訓(xùn)數(shù)據(jù)分析師，然后把這些人派遣到各產(chǎn)品團(tuán)隊(duì)內(nèi)部，來(lái)響應(yīng)各類(lèi)業(yè)務(wù)數(shù)據(jù)需求。

　　優(yōu)勢(shì)：團(tuán)隊(duì)的靈活性比較好，可以根據(jù)公司各業(yè)務(wù)線的發(fā)展情況合理調(diào)配人力資源，重點(diǎn)發(fā)展的項(xiàng)目投入優(yōu)秀的人才，一些需要關(guān)閉的項(xiàng)目人才可以轉(zhuǎn)移到其他項(xiàng)目中去。

　　劣勢(shì)：分析師被嵌入到產(chǎn)品團(tuán)隊(duì)內(nèi)部，受產(chǎn)品團(tuán)隊(duì)主管的領(lǐng)導(dǎo)，從而失去了自主權(quán)，導(dǎo)致淪落為二等公民。人事關(guān)系在公司數(shù)據(jù)分析團(tuán)隊(duì)中，卻要被業(yè)務(wù)團(tuán)隊(duì)主管考核，但業(yè)務(wù)團(tuán)隊(duì)主管并不關(guān)心他們的職業(yè)發(fā)展，導(dǎo)致分析師的職業(yè)發(fā)展受到限制。

　　那么，到底采取哪一種組織架構(gòu)比較合適呢？

　　可以根據(jù)公司數(shù)據(jù)化運(yùn)營(yíng)進(jìn)展的深度靈活采取一種或幾種方式。除了外包模式，其他組織架構(gòu)我都經(jīng)歷過(guò)，簡(jiǎn)單來(lái)說(shuō)，早期采用分散式、中期采用集中式、后期采用分散式或嵌入式以及兩則并存。

　　早期：公司對(duì)數(shù)據(jù)體系的投入一般是比較謹(jǐn)慎的，因?yàn)橐娼ㄔO(shè)數(shù)據(jù)體系需要投入大量的人力和財(cái)力，公司不太可能還沒(méi)有看清楚局勢(shì)的情況下投入那么多資源。所以，往往都是讓每個(gè)產(chǎn)品團(tuán)隊(duì)自己配置分析師，能解決日常的業(yè)務(wù)問(wèn)題就行。杭研院早期的網(wǎng)易云閱讀、印像派等項(xiàng)目中就是采用的這種分散的模式。

　　中期：隨著業(yè)務(wù)的發(fā)展、公司對(duì)數(shù)據(jù)的認(rèn)識(shí)有所提高并且重視程度不斷加大，就開(kāi)始愿意投入資源來(lái)構(gòu)建公司級(jí)別的數(shù)據(jù)體系。這個(gè)階段采用集中式有利于快速構(gòu)建數(shù)據(jù)分析平臺(tái)，為公司各個(gè)產(chǎn)品團(tuán)隊(duì)提供最基礎(chǔ)的數(shù)據(jù)分析體系，能在未來(lái)應(yīng)對(duì)業(yè)務(wù)的快速發(fā)展。杭研院花了兩年時(shí)間完成了這個(gè)階段的主要工作，并在網(wǎng)易云音樂(lè)和易信產(chǎn)品發(fā)展階段起到了至關(guān)重要的作用。

　　后期：一旦公司級(jí)別的數(shù)據(jù)分析平臺(tái)構(gòu)建完成，消除了早期分散模式中分析師缺少底層平臺(tái)支持的窘境，他們能夠在分析平臺(tái)上自助完成大量的數(shù)據(jù)分析工作。而且經(jīng)歷過(guò)集中式階段的洗禮，公司上上下下對(duì)數(shù)據(jù)的認(rèn)識(shí)都有了很大的提高。此時(shí)，在回到分散模式時(shí)，原先的很多弊端已基本消除，此外，采用嵌入模式也是可以的。目前杭研院在網(wǎng)易云音樂(lè)、網(wǎng)易云課堂、考拉海購(gòu)等幾個(gè)產(chǎn)品中就是分散式和嵌入式并存的架構(gòu)。

　　總之，沒(méi)有最好的組織架構(gòu)，只有適合自己的組織架構(gòu)。

　　【作者介紹　沈琦：網(wǎng)易杭州研究院商業(yè)智能部門(mén)總監(jiān)、大數(shù)據(jù)技術(shù)專(zhuān)家　自2007年畢業(yè)以來(lái)，一直在網(wǎng)易杭研院從事大數(shù)據(jù)技術(shù)的相關(guān)工作，現(xiàn)擔(dān)任商業(yè)智能部門(mén)總監(jiān)，負(fù)責(zé)管理杭研院和考拉兩個(gè)商業(yè)智能團(tuán)隊(duì)，在大數(shù)據(jù)技術(shù)和部門(mén)管理方面都具有豐富的經(jīng)驗(yàn)。商業(yè)智能部門(mén)負(fù)責(zé)網(wǎng)易數(shù)個(gè)億級(jí)用戶產(chǎn)品的數(shù)據(jù)分析工作，覆蓋考拉海淘、云音樂(lè)、云課堂、云閱讀和易信等眾多網(wǎng)易明星級(jí)產(chǎn)品�！�