1.大數(shù)據(jù)概念

　　大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)。解決大數(shù)據(jù)問(wèn)題的核心是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)(big data)或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn)。

　　2. 數(shù)據(jù)的構(gòu)成

　　大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集 ，如圖

　　(1)海量交易數(shù)據(jù)：

　　企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理和訪問(wèn)的靜態(tài)、歷史數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。

　　(2)海量交互數(shù)據(jù)：

　　源于Facebook、Twitter、LinkedIn及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸Manage File Transfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來(lái)會(huì)發(fā)生什么。

　　3.大數(shù)據(jù)特點(diǎn)

　　首先要從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過(guò)去的海量數(shù)據(jù)(603138)有所區(qū)別，其基本特征可以用4個(gè)V來(lái)總結(jié)(Vol-ume、Variety、Value和Veloc-ity，即體量大、多樣性、價(jià)值密度低、速度快。

　　第一V是Variety，海量數(shù)據(jù)有不同格式，第一種是結(jié)構(gòu)化，我們常見的數(shù)據(jù)，還有半結(jié)據(jù)化網(wǎng)頁(yè)數(shù)據(jù)，還有非結(jié)構(gòu)化視頻音頻數(shù)據(jù)。而且這些數(shù)據(jù)化他們處理方式是比較大的。數(shù)據(jù)類型繁多，如網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。

　　第二V就是Volume，量比較大，我們有一些用戶化每秒就要進(jìn)入很多數(shù)據(jù)，很多客戶內(nèi)部都有幾批數(shù)據(jù)，還有下面淘寶都是幾PB數(shù)據(jù)，所以PB化將是比較常態(tài)的情況。

　　非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)，占總數(shù)據(jù)量的80~90%，比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍，是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍

　　第三V是Velocity，因?yàn)閿?shù)據(jù)化會(huì)存在時(shí)效性，需要快速處理，并得到結(jié)果出來(lái)。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。

　　第四V是Value：大量的不相關(guān)信息，不經(jīng)過(guò)處理則價(jià)值較低，屬于價(jià)值密度底的數(shù)據(jù)。以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。海量數(shù)據(jù)分析非常復(fù)雜，使得過(guò)去靠單純易于關(guān)于數(shù)據(jù)庫(kù)BI已經(jīng)不是太適合了。

　　總得來(lái)說(shuō)，“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低(Value)”就是“大數(shù)據(jù)”的顯著特征，如圖，具有這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。

　　4.大數(shù)據(jù)技術(shù)

　　大數(shù)據(jù)主要有數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理和數(shù)據(jù)分析與挖掘技術(shù)等

　　(1)數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

　　(2)數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)、NOSQL、SQL等。

　　(3)數(shù)據(jù)處理 ：自然語(yǔ)言處理技術(shù)。

　　(4)統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析等。

　　(5)數(shù)據(jù)挖掘：分類 (Classification)、估計(jì)(Estimation)、預(yù)測(cè)(Prediction)、相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)。

　　(7)模型預(yù)測(cè)：預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。

　　(8)結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽云、關(guān)系圖等。

　　5.大數(shù)據(jù)處理

　　(1)采集

　　大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端(Web、App或者傳感器形式等)的數(shù)據(jù)，并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。并且如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。

　　(2)導(dǎo)入/預(yù)處理

　　雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。

　　(3)統(tǒng)計(jì)/分析

　　統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。

　　(4)挖掘

　　與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)(Predict)的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。整個(gè)大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個(gè)方面的步驟，才能算得上是一個(gè)比較完整的大數(shù)據(jù)處理

　　6、大數(shù)據(jù)應(yīng)用與案例分析

　　大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是其必要條件，通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景。

　　以下是關(guān)于各行各業(yè)，不同的組織機(jī)構(gòu)在大數(shù)據(jù)方面的應(yīng)用的案例：

　　(1)大數(shù)據(jù)應(yīng)用案例：教育行業(yè)

　　現(xiàn)在，大數(shù)據(jù)分析已經(jīng)被應(yīng)用各個(gè)行業(yè)，特別是在美國(guó)的公共教育中，如圖所示，成為教學(xué)改革的重要力量。

　　(2)大數(shù)據(jù)應(yīng)用案例：生活?yuàn)蕵?lè)方面

　　新華社新媒體中心抓取了新浪微 博上提及“爸爸去哪兒”45.5萬(wàn)條原創(chuàng)微博，并對(duì)36.7萬(wàn)獨(dú)立原發(fā)作者用戶(去除疑似水軍賬戶)、1300余萬(wàn)條用戶微博及近1億的關(guān)系進(jìn)行數(shù)據(jù)分析。結(jié)果發(fā)現(xiàn)：《爸爸去哪兒》成為了名副其實(shí)的“口碑王”

　　(3)大數(shù)據(jù)應(yīng)用案例：電子商務(wù)行業(yè)

　　在電子商務(wù)行業(yè)，利用大數(shù)據(jù)技術(shù)可以及時(shí)了解有多少新客戶在多少天內(nèi)發(fā)生二次回購(gòu)，可以很清晰地知道不同類別的客戶的回購(gòu)周期是多少天，為企業(yè)實(shí)施精準(zhǔn)營(yíng)銷奠定堅(jiān)實(shí)基礎(chǔ)，如企業(yè)可以利用大數(shù)據(jù)產(chǎn)生的信息在適當(dāng)?shù)臅r(shí)機(jī)針對(duì)不同類別的客戶進(jìn)行促銷，為企業(yè)帶來(lái)收入和利潤(rùn)。

　　大數(shù)據(jù)技術(shù)的運(yùn)用前景是十分光明的。當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策具有重要意義，我們必須重新認(rèn)識(shí)數(shù)據(jù)的重要價(jià)值。