熟悉大數(shù)據(jù)的朋友應(yīng)該對(duì)數(shù)據(jù)清理不會(huì)陌生，而在以機(jī)器學(xué)習(xí)為主要手段的AI爆發(fā)中，數(shù)據(jù)清洗也有了更重要的價(jià)值和愈發(fā)豐富的剛性需求。

　　很多AI創(chuàng)業(yè)者，可能忽略了這一環(huán)節(jié)帶來(lái)的成本負(fù)荷和產(chǎn)能影響。

　　什么是數(shù)據(jù)清洗

　　按照慣例，咱們還是先來(lái)簡(jiǎn)單介紹一下什么是數(shù)據(jù)清洗。

　　數(shù)據(jù)清洗(Data cleaning)是大數(shù)據(jù)生產(chǎn)過(guò)程中的必須環(huán)節(jié)。我們知道，大數(shù)據(jù)發(fā)生效用來(lái)自于數(shù)據(jù)倉(cāng)庫(kù)對(duì)大數(shù)據(jù)的吞吐。但假如輸入了錯(cuò)誤或者無(wú)效的數(shù)據(jù)，那么輸出時(shí)就會(huì)影響效果、產(chǎn)生誤差，甚至造成bug。這些無(wú)效和錯(cuò)誤的數(shù)據(jù)，被稱為“臟數(shù)據(jù)”。而數(shù)據(jù)清洗顧名思義，就是要用各種手段把臟數(shù)據(jù)標(biāo)記并清理出來(lái)。

　　數(shù)據(jù)清洗包涵多種目標(biāo)和手段，比如檢查數(shù)據(jù)一致性、處理無(wú)效值、識(shí)別數(shù)據(jù)沖突等等。并且整個(gè)過(guò)程包括多重審查、校驗(yàn)與標(biāo)注。

　　我們采訪過(guò)的很多大數(shù)據(jù)機(jī)構(gòu)和云服務(wù)公司負(fù)責(zé)人都證實(shí)了這樣的說(shuō)法：數(shù)據(jù)清洗是成本消耗最嚴(yán)重的工作之一。

　　這項(xiàng)原本就非常吃重的工作，在人工智能潮中地位也跟著水漲船高了

　　舉個(gè)栗子：AI中的數(shù)據(jù)清洗為何重要

　　在今天的主流AI工程化進(jìn)程里，機(jī)器學(xué)習(xí)是最廣泛使用的技術(shù)。而目前機(jī)器學(xué)習(xí)的主要實(shí)現(xiàn)手段是監(jiān)督學(xué)習(xí)。

　　所謂監(jiān)督學(xué)習(xí)，是由研發(fā)者使用已知數(shù)據(jù)集，讓智能體基于標(biāo)記的輸入和輸出數(shù)據(jù)進(jìn)行推理，從而學(xué)習(xí)到達(dá)成目標(biāo)的路徑，讓自己不斷“聰明起來(lái)”。

　　理論上來(lái)說(shuō)，智能體學(xué)習(xí)的數(shù)據(jù)越多就會(huì)越聰明，從而再生產(chǎn)出優(yōu)質(zhì)數(shù)據(jù)進(jìn)行再學(xué)習(xí)，這樣就可以不斷完成自我進(jìn)化。但這種最優(yōu)狀況，是建立在機(jī)器學(xué)習(xí)的數(shù)據(jù)都沒(méi)錯(cuò)的情況下，假如其中混雜了錯(cuò)誤數(shù)據(jù)，那么學(xué)習(xí)得出的結(jié)果顯然也是錯(cuò)的。

　　更重要的是，機(jī)器學(xué)習(xí)想要達(dá)成，必須建立在數(shù)據(jù)的一致性和體系化基礎(chǔ)上，假如錯(cuò)誤數(shù)據(jù)造成了整個(gè)數(shù)據(jù)鏈的割裂，那么機(jī)器學(xué)習(xí)過(guò)程也將終止，就無(wú)從談什么人工智能了。

　　舉一個(gè)我們熟悉的例子：我們最常用的手機(jī)電商中，其實(shí)安插了大量機(jī)器學(xué)習(xí)算法來(lái)進(jìn)行個(gè)性推薦。因?yàn)槭謾C(jī)的屏幕顯示量很小，假如推送的電商信息大多不符合用戶期待，用戶需要一直向下尋找，那么體驗(yàn)會(huì)很差，也影響電商體系的效率。這里就需要機(jī)器學(xué)習(xí)來(lái)建立用戶個(gè)性化推薦模型，提供多種行為下的商品排序特征。

　　這個(gè)場(chǎng)景中的機(jī)器學(xué)習(xí)，必須建立在優(yōu)質(zhì)大數(shù)據(jù)的基礎(chǔ)上，既要學(xué)習(xí)目標(biāo)用戶的數(shù)據(jù)樣本，也要綜合群體性數(shù)據(jù)和標(biāo)簽化數(shù)據(jù)，進(jìn)行綜合任務(wù)學(xué)習(xí)。而電商平臺(tái)獲取的數(shù)據(jù)，包括用戶群的點(diǎn)擊、搜索、購(gòu)物車添加和收藏，以及最終的購(gòu)買頻次等等。但這些數(shù)據(jù)中可能摻雜大量的“臟數(shù)據(jù)”。

　　比如說(shuō)用戶點(diǎn)擊后馬上退出來(lái)，可能說(shuō)明是錯(cuò)誤點(diǎn)擊行為;比如說(shuō)用戶搜索的關(guān)鍵詞中含有錯(cuò)別字或者不可知內(nèi)容;比如說(shuō)用戶購(gòu)買后卻普遍差評(píng)的商品，這些數(shù)據(jù)被機(jī)器學(xué)習(xí)后成為邏輯依據(jù)，轉(zhuǎn)而推薦給用戶，顯然是不合適的。

　　這里就需要把電商數(shù)據(jù)系統(tǒng)中的缺漏數(shù)據(jù)、重復(fù)數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)剔除出去，保證機(jī)器學(xué)習(xí)內(nèi)容的標(biāo)準(zhǔn)化和特征一致化。這之后剩下的優(yōu)質(zhì)數(shù)據(jù)才能提供給模型進(jìn)行訓(xùn)練。

　　由此可見，數(shù)據(jù)清洗在人工智能的落地實(shí)現(xiàn)中是非常重要的一環(huán)。訓(xùn)練用的數(shù)據(jù)越多、訓(xùn)練模型越復(fù)雜，對(duì)數(shù)據(jù)清洗的工作需求量就越大。

　　假如人工智能飛速發(fā)展，數(shù)據(jù)清洗作為配圖服務(wù)工種卻沒(méi)有跟上發(fā)展速度，那后果是很可怕的——想想《機(jī)器人(300024) 總動(dòng)員》里的小機(jī)器人，獨(dú)自在垃圾星球中孤獨(dú)而無(wú)盡的清理著?？梢哉f(shuō)是很可憐了……

　　數(shù)據(jù)清洗中也是亟待AI拯救的行業(yè)

　　這里說(shuō)個(gè)題外話。如上所述，數(shù)據(jù)清理是個(gè)人工需求繁重、成本極高的工作種類，而且主要是和數(shù)據(jù)打交道。換句話說(shuō)，這個(gè)工作具備進(jìn)行人工智能升級(jí)的各種要素。

　　事實(shí)上，AI+數(shù)據(jù)清洗已經(jīng)被廣泛關(guān)注和討論。目前最主要的結(jié)合方式有幾種：

　　第一種是用機(jī)器學(xué)習(xí)技術(shù)訓(xùn)練智能體學(xué)習(xí)數(shù)據(jù)清洗的邏輯，從而優(yōu)化數(shù)據(jù)清洗中的人工與機(jī)器工作分配比重。讓一些人工分類、篩選和標(biāo)注工作能夠被機(jī)器執(zhí)行，甚至準(zhǔn)確率更高。

　　第二種是結(jié)合貝葉斯分類算法。貝葉斯分類是一種利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類的算法，特征是分類準(zhǔn)確率高、速度快，適合快速部署在數(shù)據(jù)歸納與統(tǒng)計(jì)當(dāng)中。利用貝葉斯相關(guān)算法和技術(shù)，進(jìn)行良性數(shù)據(jù)和臟數(shù)據(jù)的區(qū)分也在成為數(shù)據(jù)清洗的重要手段之一。

　　此外，其他利用文本識(shí)別算法與識(shí)別技術(shù)的AI能力來(lái)進(jìn)行數(shù)據(jù)清洗的嘗試也在逐漸增多。比如決策樹、隨機(jī)森林的算法都有根據(jù)特征判斷不良數(shù)據(jù)的能力。算法識(shí)別主要可以增強(qiáng)特定領(lǐng)域的數(shù)據(jù)分析能力，更快投入實(shí)際應(yīng)用。

　　(數(shù)據(jù)清洗的基本流程，其中AI主要作用于清洗邏輯環(huán)節(jié))

　　由此可見，數(shù)據(jù)清洗和人工智能是互相需要，無(wú)法分割的兩類技術(shù)。以AI驅(qū)動(dòng)數(shù)據(jù)清洗效率，反過(guò)來(lái)為AI體系服務(wù)，應(yīng)該是未來(lái)的良性增長(zhǎng)周期。

　　但從現(xiàn)階段的情形看，二者結(jié)合任重道遠(yuǎn)。

　　缺口嚴(yán)重：AI配套服務(wù)產(chǎn)業(yè)的普遍現(xiàn)狀

　　不僅是數(shù)據(jù)清洗行業(yè)，廣泛來(lái)看，多種服務(wù)于AI硬件、數(shù)據(jù)和應(yīng)用體系的配套產(chǎn)業(yè)發(fā)展都還遠(yuǎn)遠(yuǎn)不能達(dá)標(biāo)。這點(diǎn)也是美國(guó)整個(gè)AI產(chǎn)業(yè)結(jié)構(gòu)優(yōu)于中國(guó)的重要環(huán)節(jié)，當(dāng)然，即便是在美國(guó)，AI產(chǎn)業(yè)的發(fā)展與配套服務(wù)產(chǎn)業(yè)的建設(shè)速度也是不協(xié)調(diào)的。

　　目前來(lái)看這可能還不會(huì)形成巨大問(wèn)題，但如果AI創(chuàng)業(yè)開始全面提速，個(gè)性化需求開始激增，那么配套設(shè)施的落后很可能成為行業(yè)的制約。

　　以針對(duì)AI產(chǎn)業(yè)的數(shù)據(jù)清洗為例，目前這個(gè)行業(yè)主要是面對(duì)大公司和集團(tuán)企業(yè)服務(wù)，依舊保持著重度人工投入的勞動(dòng)密集型特征。如果需求開始碎片化，服務(wù)成本很可能快速提升，成為創(chuàng)業(yè)者的成本負(fù)擔(dān)。

　　其次，AI數(shù)據(jù)清洗服務(wù)相對(duì)集中的產(chǎn)業(yè)邏輯，也讓適應(yīng)創(chuàng)業(yè)企業(yè)的服務(wù)方案變成了稀缺品。一家以垂直領(lǐng)域AI為創(chuàng)業(yè)目標(biāo)的公司，很難找到適合的數(shù)據(jù)清洗服務(wù)。從而不得不獨(dú)立搭設(shè)數(shù)據(jù)服務(wù)部門，消耗大量精力和人力，也提升了“重新發(fā)明輪子”的創(chuàng)業(yè)門檻。

　　另外，傳統(tǒng)云計(jì)算服務(wù)的數(shù)據(jù)清洗邏輯和人工智能的結(jié)合程度不夠高，也限制了新的算法、模型投入使用時(shí)數(shù)據(jù)服務(wù)的跟蹤服務(wù)能力。讓很多技術(shù)創(chuàng)意較強(qiáng)或者海外引進(jìn)的技術(shù)，在實(shí)踐中無(wú)法部署。

　　數(shù)據(jù)層面的AI配套服務(wù)，主要集中在巨頭手中，對(duì)創(chuàng)業(yè)群體而言障礙極多。當(dāng)然這也可能是個(gè)新的創(chuàng)業(yè)機(jī)遇。把巨頭獨(dú)占的AI能力開放和定制化，很可能是AI企業(yè)服務(wù)中最大的機(jī)會(huì)之一。

　　AI是一座金字塔型的商業(yè)建筑。當(dāng)然我們喜歡看塔尖上的珠寶，但最下一層沒(méi)有人添磚加瓦的話，一切不過(guò)永遠(yuǎn)流于空談而已。