大數據時代下的智慧礦山,如何實現智慧一體化?
隨著科技技術的不斷演進,數字化已成為各行業內一個非常重要且極具吸引力的市場,其目標是將IT技術與產品、系統、解決方案和服務進行融合,貫穿于從研發設計到生產到技術維護的整個產業鏈。
乘著數字化這股智慧東風一逐漸吹進了萬千行業,礦山就是其中的一個典型領域。從礦山自動化到數字礦山,再到如今的智慧礦山,數字經濟時代,有關未來礦山建設與實現方式不斷被刷新。當下,智慧礦山利用底層傳感器實現數據采集,物聯網(IoT)釋放數據威力,從生產運營、成本管控、采購銷售等系統,整合所有數據通過精準分析,為煤炭企業決策層提供精準、實時的數據支撐,實現降低成本、提高決策效率的目標。
億信華辰PetaBase實時大數據平臺,基于Hadoop架構,集成了生態圈中的主流熱門組件并不斷的進行相關功能的優化??蓪ΦV山生產大數據、銷售大數據、物流大數據、設備運行大數據、安全大數據、環保大數據等的進行智慧采集與存儲,助其最終落地大數據分析應用。
智能采集應對煤礦多數據之難
PetaBase可進行多源數據采集,支持OPC、MQTT等多種傳輸協議,可實現物聯網、電子交易等結構化、半結構化、非結構化數據的統一接入。
OPC數據或時序數據庫
該類數據通常為煤礦的設備數據等,記錄了各個測點當前的實時值,通過java接口的方式讀取數據,存儲到PeteBase的kudu當中作為底層存儲,數據管理通過impala搜索引擎進行。
TXT文件數據
該類數據通常為安全監測、人員定位、水文、微震、束管數據、應力數據等,該類數據反映了生產和人員信息的數據,會幾秒鐘或幾分鐘生成一個個TXT文件的形式,可以使用Flume收集數據,Kafka消息隊列緩存數據為不同主題,將不同主題的數據通過Streamsets數據集成、數據加工工具,存儲到PeteBase的kudu當中作為底層存儲,數據管理通過impala搜索引擎進行。
關系型數據庫數據
該類數據為一些業務系統產生的數據,為財務、銷售、采購等數據,通常保存在業務系統自身的數據庫當中,為了統一分析將數據也一并抽取到PeteBase的kudu當中。
一體化存儲應對量級之大
礦業對于數據的處理要求,集中在設備數據、安全監測、人員定位、水文、應力、振動等方面。首先,礦山監控的數據都是大量帶有時間戳的數值,本身結構簡單,也沒有太多關聯性的查詢需求;其次,按設備、按時間段回溯和統計分析是最主要的應用場景。傳統關系型數據庫已無法對此類數據進行管理,PetaBase旨在數據存儲和數據分析兩個層面實現對礦山數據的統一管控。
PeteBase最少需要3臺服務器來進行集群部署,將多臺服務器的資源整合為一個稱之為HDFS的分布式文件系統內,該系統集成了所管理節點的所有硬盤資源,但有數據寫入時根據一系列負載均衡算法,自動將數據按規定拆分分別存儲在各個服務器上,利用了低廉的服務器來進行海量數據的存儲,可以橫向對硬盤擴容(增加服務器個數),而非之前的縱向擴容(增加單個服務器的存儲空間),當存儲量不足時可以通過新增服務器來滿足數據存儲的需求。
PeteBase的計算也是采用了多臺服務器的內存一起參與了計算,大量數據的計算速度就會明顯的高于傳統數據庫,單臺服務器的計算速度,其核心的設計思想為分而治之,單個人做不完的活來進行團隊合作完成。將大批量數據,分布的放在各個服務器當中,各個服務器上計算自己所存的數據,然后將數據進行匯總,完成對海量數據的運算分析。
對于礦山生產系統而言,安全是第一位的,生產狀況是第二位的,礦端各系統存儲的歷史數據的分析,在此就顯都尤為重要,數據的價值是無價的,利用這些數據的趨勢走向就可以預判出設備情況進行提前預警,觀察人員作業情況方便了解井下實時動態等,古有秀才不出門全知天下事,現有了PeteBase對數據的管理,可以做到人在集團中,隨時一手掌握礦山的方方面面。
PetaBase在獲取、存儲、管理、分析方數據面大大超出了傳統數據庫軟件,可以實現海量的非結構化/半結構化/結構化數據管理,同時進行離線批處理計算和流式計算處理。滿足高吞吐、大數據量和低時延實時處理等多方面的數據計算要求,具有靈活性、集成性、安全性、擴展性、高可用性、兼容性等特性,可為礦山企業的數據管理、數據建設、數據分析保駕護航。