基于大数据技术的实时数据中心重构研究Research on Real-time Data Center Reconstruction Technology Based on Big Data
李贤慧,季胜鹏,周升,陈军,楼平
LI Xianhui,JI Shengpeng,ZHOU Sheng,CHEN Jun,LOU Ping
摘要(Abstract):
提出了一种基于大数据技术的电网企业实时数据中心重构的方法。通过对实时数据中心数据接入接口的改造,实现实时数据接入大数据组件HBase;通过对HBase表结构设计及相关参数的调优,实现电网企业实时数据的标准化存储;通过基于大数据组件设计符合实时数据中心规范的标准访问接口UAPI,实现实时数据中心上层业务应用的迁移和平滑过渡。该方法的可行性已在多个省(市)电力公司得到验证。
This paper presents a new method for the reconstruction of the real time data center of power grid enterprises based on big data technology. Through data interface transformation of real-time data center, realtime data can have access to HBase; By optimization of HBase table structure design and parameters, realtime data storage standardization of grid enterprises is implemented; via big data based standard access interface UAPI with its component design complying with norms of real-time data center, upper-level services of real-time data center can be migrated and smoothly transited. This method is verified in many province(prefecture) level electric power companies.
关键词(KeyWords):
实时数据中心;大数据技术;HBase;实时数据管理;数据接入;重构
real-time data center;big data technology;HBase;real-time data management;data access;reconstruction
基金项目(Foundation):
作者(Author):
李贤慧,季胜鹏,周升,陈军,楼平
LI Xianhui,JI Shengpeng,ZHOU Sheng,CHEN Jun,LOU Ping
DOI: 10.19585/j.zjdl.2017.03.018
参考文献(References):
- [1]A MCAFEE,E BRYNJOLFSSON.Big data:the management revolution[J].Harvard Business Review,2012,90(10):60-66.
- [2]V MAYER-SCHNBERGER,K CUKIER.Big Data:A Revolution That Will Transform How We Live,Work,and Think[J].Information,2014,17(1):181-183.
- [3]陶雪娇,胡晓峰,刘洋.大数据研究综述[J].系统仿真学报,2013,25(s1):142-146.
- [4]王继业.大数据:电网企业创新发展驱动力[J].国家电网,2015(12):58-61.
- [5]张东霞,苗新,刘丽平,等.智能电网大数据技术发展研究[J].中国电机工程学报,2015,35(1):2-12.
- [6]朱朝阳,王继业,邓春宇.电力大数据平台研究与设计[J].电力信息与通信技术,2015,13(6):1-7.
- [7]朱艳伟,黄森炯,蔡一骏,等,电网大数据时代调控管理应对策略研究[J].浙江电力,2015,34(7):30-32.
- [8]贺琛,王彦波,王云烨.基于电力通信传输网大数据的温度监测系统研究[J].浙江电力,2016,35(7):65-68.
- [9]潘坚跃,赵海,施婧.多系统监测与大数据分析在供电抢修服务中的应用[J].浙江电力,2015,34(8):59-61.
- [10]王远,陶烨,蒋英明,等.智能电网时序大数据实时处理系统[J].计算机应用,2015,35(s2):88-92.
- 实时数据中心
- 大数据技术
- HBase
- 实时数据管理
- 数据接入
- 重构
real-time data center - big data technology
- HBase
- real-time data management
- data access
- reconstruction