\01.png)
\02.png)
\03.png)
蘇州燃氣集團智慧燃氣大數據平臺建設與應用研發(fā)
蘇州燃氣集團智慧燃氣大數據平臺建設與應用研發(fā)
一、概述
蘇州燃氣集團搭建大數據基礎平臺的目的是為了打造一個(gè)面向整個(gè)燃氣行業(yè)的服務(wù)平臺，平臺能夠存儲涵蓋公司的安全管理、營(yíng)銷(xiāo)、用戶(hù)服務(wù)等各類(lèi)數據，并具備數據接入導入、實(shí)時(shí)數據處理、數據挖掘和可視化展示等功能，能夠為蘇州燃氣集團提供能耗分析、安全管控、決策控制等服務(wù)內容。
二、平臺建設
1.實(shí)施步驟
ApacheHadoop是針對大規模分布式數據而開(kāi)發(fā)的軟件框架，目前已經(jīng)成為企業(yè)管理大數據的基礎支撐技術(shù)，是解決企業(yè)數據中心大數據存儲、大規模數據計算、快速數據分析的優(yōu)秀基礎數據平臺。
基于Hadoop體系，本次建設的大數據基礎平臺主要實(shí)現數據采集、大數據平臺、應用功能的搭建。
2.總體架構
本次建設服務(wù)器系統采用Ubuntu16.04，大數據平臺搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本，建設以Hadoop體系為核心，搭建以HDFS為基礎的分布式文件存儲系統，具備動(dòng)態(tài)擴展和數據冗余備份特性。
3.主要成效
本次搭建的數據平臺便于以后更便捷地使用燃氣集團各個(gè)獨立系統中的數據而又不影響現有系統的運行，可以統一規劃管理這些數據，基本可以滿(mǎn)足以下功能：
（1）數據接入功能;（2）數據管理功能;（3）數據輸出功能。
三、數據應用
1.用戶(hù)分析
燃氣集團需要根據客戶(hù)的行為偏好、行為特征，向不同燃氣客戶(hù)群體提供差異化服務(wù)。同時(shí)，燃氣集團可以通過(guò)統計分析不同區域的客戶(hù)群體的燃氣信息來(lái)挖掘出區域性的偏好，可以大大提升企業(yè)對客戶(hù)需求的洞察力，可以為營(yíng)銷(xiāo)和服務(wù)的策劃、執行、評估、優(yōu)化提供寶貴的指引，從而提高工作的主動(dòng)性、精準度。
2.負荷預測
為保證用戶(hù)的安全平穩用氣,必須要掌握天然氣負荷的變化規律，科學(xué)準確的負荷預測有利于保證管網(wǎng)的優(yōu)化運行，提高管網(wǎng)投資的經(jīng)濟性和可靠性，是燃氣管網(wǎng)安全平穩供氣的基礎。
該應用將影響燃氣的相關(guān)因素（如天氣、氣溫、節假日等）作為特征進(jìn)行建模，使用機器學(xué)習算法（回歸分析、時(shí)間序列、人工神經(jīng)網(wǎng)絡(luò )等）建模進(jìn)行燃氣負荷預測。
四、主要創(chuàng )新點(diǎn)
1.使用了開(kāi)源的大數據平臺，資料全面，便于學(xué)習、開(kāi)發(fā)與測試。本次搭建的大數據平臺安裝了ClouderaManager安裝部署管理工具，通過(guò)平臺搭建工作，逐步熟悉大數據平臺的技術(shù)特點(diǎn)。
2.自行研發(fā)的用戶(hù)分析和用氣負荷預測應用通過(guò)結合天氣、節日等外圍因素，通過(guò)燃氣集團積累多年的歷史數據來(lái)挖掘、發(fā)現用氣規律及預測未來(lái)變化趨勢，提升企業(yè)對客戶(hù)需求的洞察力，為集團決策提供指引，提高工作的精準度。
蘇州燃氣集團搭建大數據基礎平臺的目的是為了打造一個(gè)面向整個(gè)燃氣行業(yè)的服務(wù)平臺，平臺能夠存儲涵蓋公司的安全管理、營(yíng)銷(xiāo)、用戶(hù)服務(wù)等各類(lèi)數據，并具備數據接入導入、實(shí)時(shí)數據處理、數據挖掘和可視化展示等功能，能夠為蘇州燃氣集團提供能耗分析、安全管控、決策控制等服務(wù)內容。
二、平臺建設
1.實(shí)施步驟
ApacheHadoop是針對大規模分布式數據而開(kāi)發(fā)的軟件框架，目前已經(jīng)成為企業(yè)管理大數據的基礎支撐技術(shù)，是解決企業(yè)數據中心大數據存儲、大規模數據計算、快速數據分析的優(yōu)秀基礎數據平臺。
基于Hadoop體系，本次建設的大數據基礎平臺主要實(shí)現數據采集、大數據平臺、應用功能的搭建。
2.總體架構
本次建設服務(wù)器系統采用Ubuntu16.04，大數據平臺搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本，建設以Hadoop體系為核心，搭建以HDFS為基礎的分布式文件存儲系統，具備動(dòng)態(tài)擴展和數據冗余備份特性。
3.主要成效
本次搭建的數據平臺便于以后更便捷地使用燃氣集團各個(gè)獨立系統中的數據而又不影響現有系統的運行，可以統一規劃管理這些數據，基本可以滿(mǎn)足以下功能：
（1）數據接入功能;（2）數據管理功能;（3）數據輸出功能。
三、數據應用
1.用戶(hù)分析
燃氣集團需要根據客戶(hù)的行為偏好、行為特征，向不同燃氣客戶(hù)群體提供差異化服務(wù)。同時(shí)，燃氣集團可以通過(guò)統計分析不同區域的客戶(hù)群體的燃氣信息來(lái)挖掘出區域性的偏好，可以大大提升企業(yè)對客戶(hù)需求的洞察力，可以為營(yíng)銷(xiāo)和服務(wù)的策劃、執行、評估、優(yōu)化提供寶貴的指引，從而提高工作的主動(dòng)性、精準度。
2.負荷預測
為保證用戶(hù)的安全平穩用氣,必須要掌握天然氣負荷的變化規律，科學(xué)準確的負荷預測有利于保證管網(wǎng)的優(yōu)化運行，提高管網(wǎng)投資的經(jīng)濟性和可靠性，是燃氣管網(wǎng)安全平穩供氣的基礎。
該應用將影響燃氣的相關(guān)因素（如天氣、氣溫、節假日等）作為特征進(jìn)行建模，使用機器學(xué)習算法（回歸分析、時(shí)間序列、人工神經(jīng)網(wǎng)絡(luò )等）建模進(jìn)行燃氣負荷預測。
四、主要創(chuàng )新點(diǎn)
1.使用了開(kāi)源的大數據平臺，資料全面，便于學(xué)習、開(kāi)發(fā)與測試。本次搭建的大數據平臺安裝了ClouderaManager安裝部署管理工具，通過(guò)平臺搭建工作，逐步熟悉大數據平臺的技術(shù)特點(diǎn)。
2.自行研發(fā)的用戶(hù)分析和用氣負荷預測應用通過(guò)結合天氣、節日等外圍因素，通過(guò)燃氣集團積累多年的歷史數據來(lái)挖掘、發(fā)現用氣規律及預測未來(lái)變化趨勢，提升企業(yè)對客戶(hù)需求的洞察力，為集團決策提供指引，提高工作的精準度。