山西藍(lán)天郎鳳娥專訪:談工業(yè)鍋爐

　　郎鳳娥同志出生于1961年1月,山西省忻州市人,中共黨員,本科學(xué)歷,高級工程師。郎鳳娥曾帶領(lǐng)團(tuán)隊研發(fā)新型高效煤粉工業(yè)鍋爐系統(tǒng)技術(shù),用了4年的時間,完成了第一代新型高效節(jié)能環(huán)保煤粉鍋爐的市場化、商業(yè)化推廣和實(shí)踐驗(yàn)證,填補(bǔ)了我國煤粉鍋爐小型化難的技術(shù)空白。

　　近日,山西藍(lán)天郎鳳娥在采訪中談到了工業(yè)鍋爐網(wǎng)絡(luò)化智能監(jiān)測技術(shù)方案。

　　(一)數(shù)據(jù)采集層構(gòu)架及技術(shù)方案

　　本方案主要目的是闡述鍋爐數(shù)據(jù)采集過程的功能性說明,主要實(shí)現(xiàn)目的為將客戶現(xiàn)場鍋爐的實(shí)時信息通過數(shù)據(jù)接口采集,采集之后將數(shù)據(jù)發(fā)送至位于網(wǎng)絡(luò)化智能監(jiān)測系統(tǒng)的應(yīng)用數(shù)據(jù)庫,數(shù)據(jù)庫為SQLSERVER。

　　現(xiàn)場端鍋爐種類多樣,數(shù)據(jù)接口形式多樣,主要存在三種方式,一種為通過OPC協(xié)議方式發(fā)送鍋爐數(shù)據(jù),一種通過DTU設(shè)備以MODBUS RTU協(xié)議串口或TCP方式發(fā)送數(shù)據(jù),一種為現(xiàn)場配置工控機(jī),通過工控機(jī)連接多臺鍋爐采用MODBUS RTU或TCP方式發(fā)送數(shù)據(jù)。所有方式均支持?jǐn)?shù)據(jù)緩存和斷點(diǎn)續(xù)傳功能,確保數(shù)據(jù)傳輸不會出現(xiàn)丟失,保證數(shù)據(jù)傳輸?shù)臏?zhǔn)確性。

　　數(shù)據(jù)采集之后,通過現(xiàn)場配置的數(shù)據(jù)發(fā)送程序通過TCP協(xié)議發(fā)送至位于網(wǎng)絡(luò)化智能監(jiān)測系統(tǒng)的數(shù)據(jù)接收服務(wù)器,數(shù)據(jù)接收服務(wù)器中配置接收程序接收來自子站的數(shù)據(jù)并解析后存儲進(jìn)現(xiàn)有數(shù)據(jù)庫中。數(shù)據(jù)存儲可進(jìn)行初始化配置和存儲點(diǎn)的數(shù)據(jù)調(diào)整,以補(bǔ)充在接口中不存在的點(diǎn)的關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)。

　　數(shù)據(jù)采集構(gòu)架及方案原理圖

　　(二)數(shù)據(jù)存儲及轉(zhuǎn)儲層構(gòu)架及設(shè)計方案

　　(1) 分布式文件系統(tǒng)

　　大數(shù)據(jù)平臺存儲系統(tǒng)使用分布式文件系統(tǒng)(HDFS)對海量數(shù)據(jù)進(jìn)行存儲。

　　HDFS采用master/slave架構(gòu)。一個HDFS集群是由多個Namenode和一定數(shù)量的Datanodes 組成。Namenode是一個中心服務(wù)器,負(fù)責(zé)管理文件系統(tǒng)的名字空間(namespace)以及客戶端對文件的訪問。Namenode執(zhí)行文件系統(tǒng)的名字空間操作,比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點(diǎn)的映射。StandbyNameNode用于輔助NameNode工作。

　　大數(shù)據(jù)平臺存儲系統(tǒng)架構(gòu)示意圖

　　此大數(shù)據(jù)平臺能夠自動化的對數(shù)據(jù)進(jìn)行備份、管理、維護(hù)。部分節(jié)點(diǎn)宕機(jī)失效時不會影響集群的正常使用,不會影響業(yè)務(wù)需求。

　　(2) 分布式數(shù)據(jù)庫

　　HDFS能夠存儲結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。但是HDFS對于結(jié)構(gòu)化數(shù)據(jù)的管理維護(hù)不是很友好。Hbase為面向列的分布式數(shù)據(jù)庫,以表格的形式維護(hù)數(shù)據(jù),能夠存儲數(shù)億條數(shù)據(jù)。其特點(diǎn)是行可以數(shù)億行,列可達(dá)數(shù)億列。主要應(yīng)用場景為對于實(shí)時性要求高的精確查詢業(yè)務(wù)需求。

　　分布式數(shù)據(jù)庫關(guān)系維護(hù)示意圖

　　Hbase同樣使用master/slave架構(gòu),master為HMaster主要負(fù)責(zé)各個數(shù)據(jù)區(qū)與對應(yīng)的服務(wù)器之間的關(guān)系維護(hù)以及啟動關(guān)閉Hbase集群等。Slave為Region server主要負(fù)責(zé)本節(jié)點(diǎn)的數(shù)據(jù)與切分區(qū)域,并接受HMaster的指令。

　　Hbase對于海量數(shù)據(jù)的存儲依賴于HDFS,將數(shù)據(jù)存儲到HDFS中。Hbase內(nèi)部數(shù)據(jù)的維護(hù)使用分區(qū)管理(HRegion)的機(jī)制。

　　數(shù)據(jù)使用分區(qū)管理機(jī)制示意圖

　　當(dāng)分區(qū)達(dá)到一定數(shù)目時,進(jìn)行分布式管理維護(hù)。

　　(3) 數(shù)據(jù)倉庫

　　Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,并提供完整的sql查詢功能,可以將sql語句轉(zhuǎn)化為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低,可以通過類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計,不必開發(fā)專門的MapReduce應(yīng)用,十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

　　Hive對于數(shù)據(jù)的存儲依賴于HDFS,對于數(shù)據(jù)的計算依賴于MapReduce。Hive適用于實(shí)時性要求不高的,對局部數(shù)據(jù)的簡單運(yùn)算等業(yè)務(wù)需求。

　　數(shù)據(jù)倉庫映射示意圖

　　Hive的運(yùn)行機(jī)制,前端接收到SQL語句后,經(jīng)由驅(qū)動傳遞給編譯器將SQL轉(zhuǎn)換成MapReduce程序,再由驅(qū)動器將程序傳遞給執(zhí)行器,執(zhí)行器將任務(wù)發(fā)送給MapReduce編程框架。最終運(yùn)行完的結(jié)果經(jīng)驅(qū)動器返回給用戶。

　　(三)數(shù)據(jù)轉(zhuǎn)儲架構(gòu)及設(shè)計方案

　　SQLServer是一個可擴(kuò)展的、高性能的、為分布式客戶機(jī)/服務(wù)器計算所設(shè)計的數(shù)據(jù)庫管理系統(tǒng),實(shí)現(xiàn)了與WindowsNT的有機(jī)結(jié)合,提供了基于事務(wù)的企業(yè)級信息管理系統(tǒng)方案。

　　由于現(xiàn)有鍋爐系統(tǒng)APP使用SELSERVER關(guān)系型數(shù)據(jù)庫,故在網(wǎng)絡(luò)化智能監(jiān)測系統(tǒng)上需將存儲服務(wù)器數(shù)據(jù)庫中的數(shù)據(jù)通過數(shù)據(jù)轉(zhuǎn)儲軟件實(shí)時轉(zhuǎn)儲到SELSERVER關(guān)系型數(shù)據(jù)庫中。

　　SELSERVER數(shù)據(jù)庫數(shù)據(jù)存儲方式:

　　(1) 每臺鍋爐新增一張數(shù)據(jù)表,表名按照固定格式生成,表中字段按照固定格式生成;

　　(2) 表中部分字段無法從接口中獲取數(shù)據(jù),需要定義模擬數(shù)據(jù)寫入程序;

　　(3) 數(shù)據(jù)轉(zhuǎn)儲過程中,每隔固定時間,對鍋爐運(yùn)行停爐情況進(jìn)行判定,當(dāng)判定結(jié)果為,鍋爐停爐時,不進(jìn)行數(shù)據(jù)轉(zhuǎn)儲;

　　(四)智能分析層構(gòu)架及設(shè)計方案

　　智能分析層即數(shù)據(jù)處理層,該部分的核心是專家知識庫及其擴(kuò)展組件。智能分析層首先是將各類設(shè)備數(shù)據(jù)匯總到數(shù)據(jù)庫進(jìn)行存儲,然后通過上層分析組件進(jìn)行分析計算,實(shí)現(xiàn)模型對象組建、邏輯關(guān)系運(yùn)算、報警事件檢測等,對現(xiàn)場故障原因進(jìn)行判斷,對問題進(jìn)行總結(jié),對設(shè)備效率和故障率進(jìn)行統(tǒng)計等,使得系統(tǒng)具有高效的實(shí)時數(shù)據(jù)處理功能和分析結(jié)果的功能,同時數(shù)據(jù)庫庫支持高效的數(shù)據(jù)并發(fā)存儲和檢索功能,并對分析結(jié)果提供相應(yīng)的決策建議。