有朋友想學(xué)習(xí)大數(shù)據(jù)，但不知道怎么入手，從哪里開始學(xué)習(xí)，需要學(xué)習(xí)哪些東西？對于一個初學(xué)者，學(xué)習(xí)大數(shù)據(jù)挖掘分析的思路邏輯是什么？本文就梳理了如何從0開始學(xué)習(xí)大數(shù)據(jù)挖掘分析，學(xué)習(xí)的步驟思路，可以給大家一個學(xué)習(xí)的建議。
很多人認為數(shù)據(jù)挖掘需要掌握復(fù)雜高深的算法，需要掌握技術(shù)開發(fā)，才能把數(shù)據(jù)挖掘分析做好，實際上并非這樣。如果鉆入復(fù)雜算法和技術(shù)開發(fā)，只能讓你走火入魔，越走越費勁，并且效果不大。在公司實際工作中，最好的大數(shù)據(jù)挖掘工程師一定是最熟悉和理解業(yè)務(wù)的人。對于大數(shù)據(jù)挖掘的學(xué)習(xí)心得，作者認為學(xué)習(xí)數(shù)據(jù)挖掘一定要結(jié)合實際業(yè)務(wù)背景、案例背景來學(xué)習(xí)，這樣才是以解決問題為導(dǎo)向的學(xué)習(xí)方法。那么，大體上，大數(shù)據(jù)挖掘分析經(jīng)典案例有以下幾種：
A、預(yù)測產(chǎn)品未來一段時間用戶是否會流失，流失情況怎么樣；
B、公司做了某個促銷活動，預(yù)估活動效果怎么樣，用戶接受度如何；
C、評估用戶信用度好壞；
D、對現(xiàn)有客戶市場進行細分，到底哪些客戶才是目標(biāo)客群；
E、產(chǎn)品上線投放市場后，用戶轉(zhuǎn)化率如何，到底哪些運營策略最有效；
F、運營做了很多工作，公司資源也投了很多，怎么提升產(chǎn)品投入產(chǎn)出比；
G、一些用戶購買了很多商品后，哪些商品同時被購買的幾率高；
H、預(yù)測產(chǎn)品未來一年的銷量及收益
大數(shù)據(jù)挖掘要做的就是把上述類似的商業(yè)運營問題轉(zhuǎn)化為數(shù)據(jù)挖掘問題。
一、如何將商業(yè)運營問題轉(zhuǎn)化為大數(shù)據(jù)挖掘問題
那么，問題來了，我們該如何把上述的商業(yè)運營問題轉(zhuǎn)化為數(shù)據(jù)挖掘問題?可以對數(shù)據(jù)挖掘問題進行細分，分為四類問題：分類問題、聚類問題、關(guān)聯(lián)問題、預(yù)測問題；
1、分類問題
用戶流失率、促銷活動響應(yīng)、評估用戶度都屬于數(shù)據(jù)挖掘的分類問題，我們需要掌握分類的特點，知道什么是有監(jiān)督學(xué)習(xí)，掌握常見的分類方法:決策樹、貝葉斯、KNN、支持向量機、神經(jīng)網(wǎng)絡(luò)和邏輯回歸等；
2、聚類問題
細分市場、細分客戶群體都屬于數(shù)據(jù)挖掘的聚類問題，我們要掌握聚類特點，知道無監(jiān)督學(xué)習(xí)，了解常見的聚類算法，例如劃分聚類、層次聚類、密度聚類、網(wǎng)格聚類、基于模型聚類等。
3、關(guān)聯(lián)問題
交叉銷售問題等屬于關(guān)聯(lián)問題，關(guān)聯(lián)分析也叫購物籃分析，我們要掌握常見的關(guān)聯(lián)分析算法：Aprior算法、Carma算法，序列算法等。
4、預(yù)測問題
我們要掌握簡單線性回歸分析、多重線性回歸分析、時間序列等。
二、用何種工具實操大數(shù)據(jù)挖掘
能實現(xiàn)數(shù)據(jù)挖掘的工具和途徑實在太多，SPSS、SAS、Python、R等等都可以，但是我們需要掌握哪個或者說要掌握哪幾個，才算學(xué)會了數(shù)據(jù)挖掘?這需要看你所處的層次和想要進階的路徑是怎樣的。
第一層級：達到理解入門層次，了解統(tǒng)計學(xué)和數(shù)據(jù)庫即可。
第二層級：達到初級職場應(yīng)用層次，數(shù)據(jù)庫+統(tǒng)計學(xué)+SPSS(也可以是SPSS代替軟件)
第三層級：達到中級職場應(yīng)用層次，SAS或R
第四層級：達到數(shù)據(jù)挖掘師層次，SAS或R+Python(或其他編程語言)
三、如何利用Python學(xué)習(xí)大數(shù)據(jù)挖掘
只要能解決實際問題，用什么工具來學(xué)習(xí)數(shù)據(jù)挖掘都是無所謂，這里首推Python。那該如何利用Python來學(xué)習(xí)數(shù)據(jù)挖掘?需要掌握Python中的哪些知識?
Panda是數(shù)據(jù)分析特別重要的一個庫，我們要掌握以下三點：
1)pandas 分組計算;
2)pandas 索引與多重索引;
索引比較難，但是卻是非常重要的
3)pandas 多表操作與數(shù)據(jù)透視表
numpy數(shù)據(jù)計算主要應(yīng)用是在數(shù)據(jù)挖掘，對于以后的機器學(xué)習(xí)，深度學(xué)習(xí)，這也是一個必須掌握的庫，我們要掌握以下內(nèi)容：
1)Numpy array理解；
2)數(shù)組索引操作；
3)數(shù)組計算；
4)Broadcasting(線性代數(shù)里面的知識)
1)Matplotib語法
python最基本的可視化工具就是matplotlib。咋一看Matplotlib與matlib有點像，要搞清楚二者的關(guān)系是什么，這樣學(xué)習(xí)起來才會比較輕松。
2)seaborn的使用
seaborn是一個非常漂亮的可視化工具。
3)pandas繪圖功能
前面說過pandas是做數(shù)據(jù)分析的，但它也提供了一些繪圖的API。
這部分是最難也是最有意思的一部分，要掌握以下幾個部分：
1)機器學(xué)習(xí)的定義
在這里跟數(shù)據(jù)挖掘先不做區(qū)別
2)代價函數(shù)的定義
3)Train/Test/Validate
4) Overfitting的定義與避免方法
數(shù)據(jù)挖掘發(fā)展到現(xiàn)在，算法已經(jīng)非常多，下面只需掌握最簡單的，最核心的，最常用的算法：
1)最小二乘算法；
2)梯度下降；
3)向量化；
4)極大似然估計；
5)Logistic Regression；
6) Decision Tree；
7) RandomForesr；
8) XGBoost；
通過機器學(xué)習(xí)里面最著名的庫scikit-learn來進行模型的理解。
以上，就是為大家厘清的大數(shù)據(jù)挖掘?qū)W習(xí)思路邏輯�？墒�，這還僅僅是開始，在通往數(shù)據(jù)挖掘師與數(shù)據(jù)科學(xué)家路上，還要學(xué)習(xí)文本處理與自然語言知識、Linux與Spark的知識、深度學(xué)習(xí)知識等等，我們要保持持續(xù)的興趣來學(xué)習(xí)數(shù)據(jù)挖掘。
來源：CDA數(shù)據(jù)分析師
- end-
