聯(lián)商網(wǎng)消息：8月2日，觀遠(yuǎn)數(shù)據(jù)2019智能決策峰會(huì)在上海舉行，本次峰會(huì)由國(guó)內(nèi)零售智能分析領(lǐng)域的領(lǐng)先企業(yè)觀遠(yuǎn)數(shù)據(jù)主辦。

峰會(huì)上，400+來(lái)自連鎖零售、快消品牌、鞋服箱包、購(gòu)物中心、新經(jīng)濟(jì)消費(fèi)等國(guó)內(nèi)外知名零售企業(yè)高層領(lǐng)導(dǎo)共聚一堂，深入探討零售各細(xì)分業(yè)態(tài)的轉(zhuǎn)型痛點(diǎn)與創(chuàng)新實(shí)踐，共謀零售數(shù)據(jù)智能的未來(lái)發(fā)展。

小紅書(shū)大數(shù)據(jù)負(fù)責(zé)人呂侶以《小紅書(shū)，大數(shù)據(jù)》為題，分享了小紅書(shū)在大數(shù)據(jù)方面的一些進(jìn)展。他表示，小紅書(shū)把數(shù)據(jù)倉(cāng)庫(kù)層全部下移移到EMR上，數(shù)據(jù)市場(chǎng)層分為兩邊，”我們得到的直接效果是過(guò)去每天可以看到大約50個(gè)實(shí)驗(yàn)，現(xiàn)在每天運(yùn)行的數(shù)量是500個(gè)，每天往前走的速度得到反饋的速度乘了10倍，這樣嘗試的速度讓我們能夠快速跟上市場(chǎng)的步伐，捕捉到前進(jìn)的信號(hào)。“

以下為呂侶演講摘要：

在場(chǎng)的各位嘉賓，觀遠(yuǎn)的朋友們，大家好，我是來(lái)自于小紅書(shū)的呂侶。非常高興在這里跟大家分享小紅書(shū)在大數(shù)據(jù)方面的一些進(jìn)展。我看到有一半左右的同學(xué)們已經(jīng)是小紅書(shū)的用戶，我就給剩下的一半同學(xué)介紹一下小紅書(shū)是什么。首先小紅書(shū)在兩三年前是一個(gè)跨境的電商，這個(gè)電商指標(biāo)叫做把全世界的好東西帶給你。希望把全世界最好的東西通過(guò)跨境電商的形式帶到你的身邊，讓你享受到全世界更好的一些服務(wù)。

在最近的一年半里面，小紅書(shū)已經(jīng)從跨境電商成功蛻變?yōu)樽钚碌纳罘绞降木奂�，它其�?shí)轉(zhuǎn)向了社區(qū)。大家更加熟悉的比喻小紅書(shū)是一座紅色的城市，小紅書(shū)數(shù)以億計(jì)的用戶是這個(gè)城市中的居民，小紅書(shū)的KOL們是這個(gè)城市中的出版社以及作者們，這些作者會(huì)將他精心的發(fā)現(xiàn)，將他們新的一些好的生活方式帶給大家，讓每個(gè)小城市的居民們得到更新鮮的發(fā)展方式以及更好的生活方式，點(diǎn)亮他們自己的生活，也讓他們自己生活中閃亮的瞬間點(diǎn)亮其他人。

現(xiàn)在小紅書(shū)有多少用戶呢？這是今年6月6日的數(shù)據(jù)，6月6日的時(shí)候宣布小紅書(shū)已經(jīng)獲得第2.5億個(gè)用戶。在昨天我們PR同事告訴我說(shuō)你這個(gè)要改了，因?yàn)槲覀冇殖砷L(zhǎng)了，我們已經(jīng)有3億用戶了。在短短兩個(gè)月不到的時(shí)間里面，我們的用戶數(shù)量又增長(zhǎng)了20%，這也是我在過(guò)去一年半里面所遇到最大的挑戰(zhàn)，叫做“長(zhǎng)得太快”。

這是我們用戶數(shù)量的增長(zhǎng)曲線，可以看到從第一天開(kāi)始我們用戶增長(zhǎng)曲線幾乎就是完美的指數(shù)級(jí)的生長(zhǎng)曲線，在6月6日的時(shí)候達(dá)到了2.5億，在這樣一個(gè)曲線下面我們作為大數(shù)據(jù)的運(yùn)營(yíng)方，作為大數(shù)據(jù)能力的提供方要面臨什么樣的體驗(yàn)?zāi)�？這是我們數(shù)據(jù)的增長(zhǎng)量，2018年2月份我們剛剛開(kāi)始將我們?cè)械臄?shù)據(jù)系統(tǒng)從相對(duì)比較老的體系切換到和觀遠(yuǎn)大數(shù)據(jù)為主體系的時(shí)候，這時(shí)候我們數(shù)據(jù)是2P，2P是2000T。在這個(gè)時(shí)候短短過(guò)去了一年半的時(shí)間，我們的數(shù)據(jù)量增長(zhǎng)了30倍，在我們的用戶量增長(zhǎng)了兩倍多一點(diǎn)點(diǎn)的時(shí)候，我們的數(shù)據(jù)量增長(zhǎng)了30倍，說(shuō)明我們?cè)谶@段時(shí)間里面做了大量實(shí)驗(yàn)，發(fā)展了不同的業(yè)務(wù)，發(fā)展了15倍以上的業(yè)務(wù)，做了15倍以上的嘗試才獲得了兩倍的用戶增長(zhǎng)。作為數(shù)據(jù)平臺(tái)我們就要做好60倍的支撐，才能夠支撐這樣一種嘗試，才能夠讓這樣的嘗試變得可能，而不至于讓我們的用戶想法，讓我們工程師的想法，讓我們產(chǎn)品的想法被數(shù)據(jù)的能力所束縛住，才能夠獲得更佳的反饋，得到更多的變化，捕捉到更多信息，從信息中得到增長(zhǎng)的信號(hào)。把增長(zhǎng)信號(hào)變成實(shí)實(shí)在在用戶的增長(zhǎng)。

這是我們最早的第一代，去年年初時(shí)候數(shù)倉(cāng)的結(jié)構(gòu)，當(dāng)時(shí)最重要的數(shù)據(jù)平行點(diǎn)在于數(shù)據(jù)倉(cāng)庫(kù)層，由于數(shù)據(jù)倉(cāng)庫(kù)層承接的業(yè)務(wù)包含所有的報(bào)表業(yè)務(wù)。在這樣的架構(gòu)里面，當(dāng)我們的業(yè)務(wù)需要做更多分析的時(shí)候會(huì)一下報(bào)表，當(dāng)我們的報(bào)表數(shù)據(jù)量大的時(shí)候就會(huì)影響業(yè)務(wù)分析。當(dāng)時(shí)我接手這個(gè)業(yè)務(wù)的時(shí)候我們跟數(shù)據(jù)分析師們開(kāi)玩笑說(shuō)你每天只要上半天的班，因?yàn)榱硗庖话氲臅r(shí)間我們?cè)诘葓?bào)表。你上完半天的班之后又有一半的時(shí)間在等你的查詢?cè)谂抨?duì)。在這樣的情況下我們的業(yè)務(wù)部可能獲得及時(shí)的信號(hào)調(diào)整他們的發(fā)展方向。我們的當(dāng)務(wù)之急是必須要將我們業(yè)務(wù)報(bào)表以及Adhoc查詢這一層從壓力最大的數(shù)據(jù)倉(cāng)庫(kù)層分離出去變成獨(dú)立的一層。

我們當(dāng)時(shí)做了一個(gè)最直接的變化，我們把數(shù)據(jù)倉(cāng)庫(kù)層全部下移移到EMR上，數(shù)據(jù)市場(chǎng)層分為兩邊，一邊承接老的報(bào)表業(yè)務(wù)，通過(guò)Redshift打到TAbleau上，大部分報(bào)表在觀遠(yuǎn)平臺(tái)上我們還是保留了Tableau。在可以擴(kuò)展的結(jié)果下，我們的業(yè)務(wù)數(shù)據(jù)，我們的分析師終于一天可以上全天的班了，終于可以在每天早上獲得前一天的數(shù)據(jù)報(bào)表了。于是我們得到直接效果我們?cè)谌ツ昴瓿醯臅r(shí)候每我可以看到大約50個(gè)實(shí)驗(yàn)，在現(xiàn)在每天運(yùn)行的數(shù)量是500個(gè)，我們每天的嘗試乘了10倍，我們每天往前走的速度得到反饋的速度乘了10倍，只有這樣嘗試的速度才讓我們能夠快速跟上市場(chǎng)的步伐，捕捉到前進(jìn)的信號(hào)，捕捉到不適合的信號(hào)把它殺掉，并且放大前進(jìn)的步伐。

在這樣的數(shù)據(jù)量里面我們到底做了什么樣的事情，為什么這件事情特別重要呢？這是我們實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)，在實(shí)驗(yàn)平臺(tái)里面可以看到比較簡(jiǎn)單的舉例，我們?cè)谝杂脩舻木S度作為實(shí)驗(yàn)，我們有2.5億用戶，每個(gè)用戶平均會(huì)分在200個(gè)實(shí)驗(yàn)左右。任何實(shí)驗(yàn)對(duì)所有社區(qū)指標(biāo)和電商指標(biāo)的影響做出詳細(xì)分析，確保對(duì)任何一個(gè)指標(biāo)有逆向結(jié)果或者大面積正向結(jié)果情況下要得到合理的解釋，如果沒(méi)有得到合理解釋就不能夠作為正確的改動(dòng)影響到所有用戶。在這樣的情況下，我們每日參與計(jì)算的數(shù)據(jù)行數(shù)是25萬(wàn)億行，并且在這種情況下我們可以看到在左下角所有每一個(gè)指標(biāo)在不同的實(shí)驗(yàn)對(duì)比下分布是什么樣的，在這樣分布情況下數(shù)據(jù)分析師和業(yè)務(wù)負(fù)責(zé)人，能夠根據(jù)這個(gè)結(jié)果得到明確的指示這個(gè)實(shí)驗(yàn)應(yīng)該繼續(xù)還是應(yīng)該被殺掉。左邊是每一天數(shù)據(jù)的結(jié)果，右邊是根據(jù)具體的分布情況，正態(tài)分布情況的實(shí)驗(yàn)結(jié)果。兩個(gè)不同實(shí)驗(yàn)結(jié)果的區(qū)別，由于我們實(shí)際的數(shù)據(jù)的分布不是正態(tài)分布的，比如說(shuō)每個(gè)用戶下單的數(shù)據(jù)，下單的金額就不是正態(tài)分布的，大部分的用戶是不下單的。我們有2000萬(wàn)日活，這些日活的用戶大部分是不下單，只有其中1%的用戶會(huì)下單。在這樣的分布里面如果只使用正態(tài)分布的檢測(cè)會(huì)導(dǎo)致這樣的檢測(cè)失效，我們進(jìn)行非常大的更新得到左邊的檢測(cè)，就會(huì)看到所有有購(gòu)買行為用戶的分布是什么樣的，在這樣的分布下到底是顯著還是不顯著。這個(gè)東西比之前的檢測(cè)貴50倍，我們不斷升級(jí)計(jì)算能力，不斷加強(qiáng)計(jì)算資源的水平才能給業(yè)務(wù)方一個(gè)明確的結(jié)果，告訴你這個(gè)實(shí)驗(yàn)到底好不好，而不要浪費(fèi)時(shí)間積累數(shù)據(jù)并且獲得一些沒(méi)有用的信號(hào)上。

接下來(lái)講一個(gè)Growth Hacking的故事，剛加入小紅書(shū)的時(shí)候我開(kāi)了一個(gè)玩笑說(shuō)我們的分析師每天回答三個(gè)問(wèn)題，第一個(gè)問(wèn)題是為什么用戶數(shù)漲了，第二個(gè)問(wèn)題是為什么用戶數(shù)跌了，第三個(gè)問(wèn)題是我們的用戶既沒(méi)有漲又沒(méi)有跌。如何使數(shù)據(jù)保持客觀是我當(dāng)時(shí)重要工作原因。在這樣的過(guò)程中，Growth Hacking對(duì)每一個(gè)指標(biāo)判斷它的貢獻(xiàn)度。在這樣的情況下，對(duì)于任何一個(gè)指標(biāo)變化的時(shí)候我就能夠明確指出到底是什么樣的用戶發(fā)生了什么樣的變化，對(duì)于這個(gè)指標(biāo)的貢獻(xiàn)度是怎么樣。于是我們的分析師終于不用回答這三個(gè)問(wèn)題了，因?yàn)橹灰盐覀兊膱?bào)表簡(jiǎn)單遞交給問(wèn)他這個(gè)問(wèn)題的同學(xué)就可以了，可以明確每一天在早上就告訴你為什么漲了為什么跌了以及為什么沒(méi)有動(dòng)。

這就是我今天的分享，謝謝大家。

（來(lái)源：聯(lián)商網(wǎng) 上海報(bào)道）