智能大數(shù)據(jù)是一種思維方式革命這個(gè)時(shí)代屬于大數(shù)據(jù)
簡單地講，當(dāng)時(shí)無論是做語音識(shí)別、機(jī)器翻譯、圖像識(shí)別，還是自然語言理解的學(xué)者，分成了界限很明確的兩派，一派堅(jiān)持采用傳統(tǒng)的人工智能方法解決問題，簡單來講就是模仿人，另一派在倡導(dǎo)數(shù)據(jù)驅(qū)動(dòng)方法。這兩派在不同的領(lǐng)域力量不一樣，在語音識(shí)別和自然語言理解領(lǐng)域，提倡數(shù)據(jù)驅(qū)動(dòng)的派比較快地占了上風(fēng);而在圖像識(shí)別和機(jī)器翻譯方面，在較長時(shí)間里，數(shù)據(jù)驅(qū)動(dòng)這一派處于下風(fēng)。
這里面主要的原因是，在圖像識(shí)別和機(jī)器翻譯領(lǐng)域，過去的數(shù)據(jù)量非常少，而這種數(shù)據(jù)的積累非常困難。圖像識(shí)別就不用講了，在互聯(lián)網(wǎng)出現(xiàn)之前，沒有一個(gè)實(shí)驗(yàn)室有上百萬張圖片。在機(jī)器翻譯領(lǐng)域，所需要的數(shù)據(jù)除了一般的文本數(shù)據(jù)，還需要大量的雙語(甚至是多語種)對(duì)照的數(shù)據(jù)，而在互聯(lián)網(wǎng)出現(xiàn)之前，除了《圣經(jīng)》和少量聯(lián)合國文件，再也找不到類似的數(shù)據(jù)了。
在 20 世紀(jì) 90 年代互聯(lián)網(wǎng)興起之后，數(shù)據(jù)的獲取變得非常容易。從 1994 年到 2004 年的 10 年里，語音識(shí)別的錯(cuò)誤率減少了一半，而機(jī)器翻譯的準(zhǔn)確性提高了一倍，其中 20% 左右的貢獻(xiàn)來自方法的改進(jìn)，80% 則來自數(shù)據(jù)量的提升。雖然在每一年，計(jì)算機(jī)在解決各種智能問題上的進(jìn)步幅度并不大，但是十幾年量的積累，最終促成了質(zhì)變。
數(shù)據(jù)驅(qū)動(dòng)方法從 20 世紀(jì) 70 年代開始起步，在八九十年代得到緩慢但穩(wěn)步的發(fā)展。進(jìn)入 21 世紀(jì)后，由于互聯(lián)網(wǎng)的出現(xiàn)，使得可用的數(shù)據(jù)量劇增，數(shù)據(jù)驅(qū)動(dòng)方法的優(yōu)勢越來越明顯，最終完成了從量變到質(zhì)變的飛躍。如今很多需要類似人類智能才能做的事情，計(jì)算機(jī)已經(jīng)可以勝任了，這得益于數(shù)據(jù)量的增加。
全世界各個(gè)領(lǐng)域數(shù)據(jù)不斷向外擴(kuò)展，漸漸形成了另外一個(gè)特點(diǎn)，那就是很多數(shù)據(jù)開始出現(xiàn)交叉，各個(gè)維度的數(shù)據(jù)從點(diǎn)和線漸漸連成了網(wǎng)，或者說，數(shù)據(jù)之間的關(guān)聯(lián)性極大地增強(qiáng)，在這樣的背景下，就出現(xiàn)了大數(shù)據(jù)。
大數(shù)據(jù)更是一種思維方式革命
在方法論的層面，大數(shù)據(jù)是一種全新的思維方式。按照大數(shù)據(jù)的思維方式，我們做事情的方式與方法需要從根本上改變。
要說清楚大數(shù)據(jù)思維的重要性，需要先回顧一下自 17 世紀(jì)以來一直指導(dǎo)我們曰常做事行為的先前最重要的一種思維方式一一機(jī)械思維。今天說起機(jī)械思維，很多人馬上想到的是死板、僵化，覺得非常落伍，甚至「機(jī)械」本身都算不上什么好詞。但是在兩個(gè)世紀(jì)之前，這可是一個(gè)時(shí)髦的詞，就如同今天我們說互聯(lián)網(wǎng)思維、大數(shù)據(jù)思維很時(shí)髦一樣�？梢院敛豢鋸埖貨G，在過去的三個(gè)多世紀(jì)里，機(jī)械思維可以算得上是人類總結(jié)出的最重要的思維方式，也是現(xiàn)代文明的基礎(chǔ)。今天，很多人的行為方式和思維方式其實(shí)依然沒有擺脫機(jī)械思維，盡管他們嘴上談?wù)摰氖歉鼤r(shí)髦的概念。
那么，機(jī)械思維是如何產(chǎn)生的?為什么它的影響力能夠延伸至今，它和我們將要討論的大數(shù)據(jù)思維又有什么關(guān)聯(lián)和本質(zhì)區(qū)別呢?
不論經(jīng)濟(jì)學(xué)家還是之前的托勒密、牛頓等人，他們都遵循著機(jī)械思維。如果我們把他們的方法論做一個(gè)簡單的概括，其核心思想有如下兩點(diǎn)：首先，需要有一個(gè)簡單的元模型，這個(gè)模型可能是假設(shè)出來的，然后再用這個(gè)元模型構(gòu)建復(fù)雜的模型;其次，整個(gè)模型要和歷史數(shù)據(jù)相吻合。這在今天動(dòng)態(tài)規(guī)劃管理學(xué)上還被廣泛地使用，其核心思想和托勒密的方法論是一致的。
大數(shù)據(jù)的本質(zhì)
首先我們必須承認(rèn)世界的不確定性，這樣我們就不會(huì)采用確定性的思維方式去面對(duì)一個(gè)不確定性的世界。當(dāng)我們了解到信息或者說數(shù)據(jù)能夠消除不確定性之后，便能理解為什么大數(shù)據(jù)的出現(xiàn)能夠解決那些智能的問題，因?yàn)楹芏嘀悄軉栴}從根本上來講無非是消除不確定性的問題。對(duì)于前面提到的大數(shù)據(jù)的三個(gè)特征，即數(shù)據(jù)量大、多維度和完備性。在這個(gè)基礎(chǔ)之上，我們就能夠講清楚大數(shù)據(jù)的本質(zhì)。
先談?wù)剶?shù)據(jù)量的問題。在過去，由于數(shù)據(jù)量不夠，即使使用了數(shù)據(jù)，依然不足以消除不確定性，因此數(shù)據(jù)的作用其實(shí)很有限，很多人忽視它的重要性是必然的。在那種情況下，哪個(gè)領(lǐng)域先積攢下足夠多的數(shù)據(jù)，它的研究進(jìn)展就顯得快一些。具體到機(jī)器智能方面，語音識(shí)別是最早獲得比較多數(shù)據(jù)的領(lǐng)域，因此數(shù)據(jù)驅(qū)動(dòng)的方法從這個(gè)領(lǐng)域產(chǎn)生也就不足為奇了。
這樣數(shù)據(jù)驅(qū)動(dòng)才具有普遍性，而不再是時(shí)靈時(shí)不靈的方法論。
由此可見，大數(shù)據(jù)的科學(xué)基礎(chǔ)是信息論，它的本質(zhì)就是利用信息消除不確定性。雖然人類使用信息由來已久，但是到了大數(shù)據(jù)時(shí)代，量變帶來質(zhì)變，以至于人們忽然發(fā)現(xiàn)，采用信息論的思維方式可以讓過去很多難題迎刃而解。
大數(shù)據(jù)思維和原有機(jī)械思維并非完全對(duì)立，它更多的是對(duì)后者的補(bǔ)充。在新的時(shí)代，一定需要新的方法論，也一定會(huì)產(chǎn)生新的方法論。
在有大數(shù)據(jù)之前，我們尋找一個(gè)規(guī)律常常是很困難的，經(jīng)常要經(jīng)歷「假設(shè)——求證——再假設(shè)——再求證」這樣一個(gè)漫長的過程，而在找到規(guī)律后，應(yīng)用到個(gè)案上的成本可能也是很高的。但是，有了大數(shù)據(jù)之后，這一類問題就變得簡單了。
比如通過對(duì)大量數(shù)據(jù)的統(tǒng)計(jì)直接找到正常用電模式和納稅模式，然后圈定那些用電模式異常的大麻種植者，或者有嫌疑的偷漏稅者。由于這種方法采用的是機(jī)器學(xué)習(xí)，依靠的是機(jī)器智能，大大降低了人工成本，因此執(zhí)行的成本非常低。在美國有大量類似的報(bào)道，在各種媒體上都可以看到。
在大數(shù)據(jù)出現(xiàn)之前，并非我們得不到信息直接的關(guān)聯(lián)性，而是需要花費(fèi)很長的時(shí)間才能收集到足夠多的數(shù)據(jù)，然后再花費(fèi)更長的時(shí)間來驗(yàn)證它，這也是過去大部分傳統(tǒng)的企業(yè)對(duì)于細(xì)節(jié)數(shù)據(jù)的收集和處理不是很重視的原因，相比之下他們更看重經(jīng)驗(yàn)和宏觀數(shù)據(jù)。但是到了大數(shù)據(jù)時(shí)代，這些企業(yè)的觀念也在慢慢轉(zhuǎn)變。
http://www.mapvision.com.cn/hyxw/496.html
http://www.mapvision.com.cn/hyxw/495.html
