日前，2013年全國博士后學(xué)術(shù)論壇“電子科學(xué)技術(shù)與信息產(chǎn)業(yè)發(fā)展”在電子科技大學(xué)舉行。來自全國50余家高校、企業(yè)共200余名專家學(xué)者、博士后代表參加了論壇。遠(yuǎn)光軟件博士后科研工作站諶章義博士在會上就研究課題《基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型設(shè)計(jì)與實(shí)現(xiàn)》發(fā)表了主題演講，該研究成果被《電子科學(xué)技術(shù)與信息產(chǎn)業(yè)發(fā)展論文集》收錄。

《基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型設(shè)計(jì)與實(shí)現(xiàn)》一文以國內(nèi)某特大型電力集團(tuán)為例，提出了電費(fèi)數(shù)據(jù)新的處理模型，建立了基于Hadoop和Hive的電費(fèi)明細(xì)處理平臺。實(shí)驗(yàn)證明該模型能有效解決海量電費(fèi)數(shù)據(jù)處理性能瓶頸，提高電費(fèi)數(shù)據(jù)處理速度和效率，并可提供高性能的明細(xì)數(shù)據(jù)查詢功能。

據(jù)悉，隨著電費(fèi)數(shù)據(jù)量快速增長，某特大型集團(tuán)公司財(cái)務(wù)管理信息系統(tǒng)面臨海量數(shù)據(jù)難題，其中電費(fèi)業(yè)務(wù)是最突出的問題之一。集團(tuán)超過30個(gè)子公司，平均每個(gè)子公司用電客戶規(guī)模在500萬至800萬，每個(gè)月用電明細(xì)數(shù)據(jù)近億條。財(cái)務(wù)管理信息系統(tǒng)原電費(fèi)數(shù)據(jù)處理模型是從電力營銷系統(tǒng)采集用電客戶信息表、應(yīng)收電費(fèi)明細(xì)表等文本，上傳至中間數(shù)據(jù)庫，財(cái)務(wù)管理信息系統(tǒng)從中間數(shù)據(jù)庫采集相關(guān)數(shù)據(jù)，同時(shí)對數(shù)據(jù)進(jìn)行合并、轉(zhuǎn)換處理。由于電費(fèi)明細(xì)數(shù)據(jù)量過于龐大，處理過程嚴(yán)重消耗數(shù)據(jù)庫服務(wù)器資源，進(jìn)而影響整個(gè)財(cái)務(wù)管理信息系統(tǒng)的性能。也因此，通常只能選擇夜間運(yùn)行該業(yè)務(wù)，導(dǎo)致暫時(shí)無法提供電費(fèi)明細(xì)數(shù)據(jù)查詢業(yè)務(wù)。

基于拆分、融合、重構(gòu)的設(shè)計(jì)思路，遠(yuǎn)光軟件針對此瓶頸提出了解決方案：引入Hadoop分布式計(jì)算平臺來進(jìn)行電費(fèi)明細(xì)數(shù)據(jù)的處理，處理后的結(jié)果數(shù)據(jù)再存入財(cái)務(wù)管理信息系統(tǒng)數(shù)據(jù)庫。為了易于實(shí)現(xiàn)，選用分布式數(shù)據(jù)倉庫Hive來存儲和處理電費(fèi)明細(xì)數(shù)據(jù)。通過實(shí)驗(yàn)測試，在硬件不占優(yōu)勢的情況下，Hive執(zhí)行性能有20%--200%的提升；利用Hive的分區(qū)功能，大表處理數(shù)據(jù)顯著提升。同時(shí)在Hive表上建立分區(qū)，還可以提供高性能的歷史數(shù)據(jù)查詢，這是原模型難以實(shí)現(xiàn)的功能。

遠(yuǎn)光軟件的成功實(shí)踐效果證明：Hadoop不僅能提升財(cái)務(wù)管理信息系統(tǒng)可用性，使得幫助系統(tǒng)更高效地解決更復(fù)雜的問題，而且節(jié)省時(shí)間和成本，創(chuàng)造更大的價(jià)值。諶章義博士表示：“該技術(shù)應(yīng)用范圍并非局限于電費(fèi)明細(xì)數(shù)據(jù)的合并與查詢，還可以應(yīng)用于電價(jià)分析、電價(jià)預(yù)測模型等深入分析業(yè)務(wù)。”

大型集團(tuán)企業(yè)的管理軟件集中部署已成為潮流趨勢，管理軟件的開發(fā)也從單個(gè)業(yè)務(wù)領(lǐng)域開發(fā)專項(xiàng)“統(tǒng)一”集成平臺的開發(fā)，必然面臨海量業(yè)務(wù)數(shù)據(jù)分析處理問題。因此，本系統(tǒng)的應(yīng)用前景廣闊。