登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.1数据集成技术
智能电网大数据具有分散性、多样性和复杂性等特征,这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据,首先就需要对众多数据源的数据进行集成,通过数据抽取、转换、剔除、修正等处理,建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。
ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load,即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据;数据转换是将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能,各个ETL工具一般会进行一些功能上的扩充,例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。
数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统,这些系统类型和特征复杂,在实时性要求、数据规模、数据类型等方面存在较大的差异,在智能电网大数据集成中需要综合考虑各种因素,在集成技术上单一技术可能很难实现,需要结合多种技术来实现智能电网大数据的集成。
2.2数据存储技术
在智能电网大数据中,绝大多数数据为结构化数据,同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储,对结构松散无模式的半结构化数据可采用分布式数据库,对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。
2.2.1 分布式文件系统
分布式文件系统适合存储海量的非结构化数据,将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一管理和分配,并向用户提供文件系统访问接口,主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。
Hadoop是大数据的一个解决方案,可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed File System)是一个分布式文件系统,它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块,存储在多个数据节点组成的分布式集群中,当数据规模增加时,只需要在集群中增加更多的数据节点,具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本,具有高容错性;由于数据是分布存储的,具有高吞吐量的数据访问能力。
2.2.2 分布式数据库
大数据环境下对数据的存储、管理、查询和分析需要采用新的技术,传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性,在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,它不同于一般的有模式的关系型数据库,HBase存储的数据表是无模式的,特别适合结构复杂多样的半结构化数据存储。HBase利用HDFS作为其文件存储系统,可利用Map-Reduce技术来处理HBase中的海量数据。
2.2.3 关系型数据库系统
智能电网中很大一部分数据是结构化数据,针对一些数据和业务应用,传统关系型数据库可能更适合,因此在大数据环境下,传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库,开展智能电网业务的分析挖掘。
智能电网大数据结构复杂、种类繁多,其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能,从整体上对存储在不同系统上的数据进行统一管理,并提供数据索引和查询功能。综合以上分析,数据存储对比见表1。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
4月29日,山西对《山西省数据工作管理办法》(征求意见稿)公开征求意见。其中提到,山西省人民政府工业和信息化、能源等部门应当推进工业、能源数字化,加强工业互联网、能源数字化建设,围绕煤炭、电力、焦化、煤化工、钢铁、装备制造等传统优势产业,加快推动研发设计、生产制造、经营管理、市场服
在数字经济时代,全社会数据总量呈爆发式增长,支撑海量数据存储计算的数据中心和算力网络逐步成为支撑各行业数字化转型的重要新型基础设施。数据中心在创造经济价值的同时,其能耗也逐渐成为全社会关注的焦点。数据中心节能降耗是大势所趋。国网河北省电力有限公司充分发挥电力数据价值,积极探索服务
近日,国家发展改革委办公厅、国家数据局综合司印发《数字经济2024年工作要点》(以下简称《工作要点》),对2024年数字经济重点工作作出部署。为全面贯彻落实党的二十大和二十届二中全会精神,按照中央经济工作会议和全国两会部署,支持数字经济高质量发展,深入实施推进《“十四五”数字经济发展规划
乌兰察布市源荷互动绿色大数据中心示范项目位于察右后旗境内,于2月27日启动,是一座100兆瓦分散式风电项目,该项目可降低电网多次升降压和长距离输送的电能损失,具有良好的社会综合经济效益。截至4月23日,项目20台风机吊装、集电线路放线都已完成,升压站设备基础完成80%。
4月18日,在河北省昌黎县朱各庄镇下庄村的农田里,几十台播种机来回穿梭,将种子埋入土中。种植户们启动水泵,通过滴灌管道浇水。当天,冀北昌黎县供电公司朱各庄镇供电所员工王伟和孙奉江来到下庄村,巡检排灌变压器及10千伏灌溉用电线路。下庄村有农田7300多亩,主要种植玉米、花生、白薯等农作物。
国家电网有限公司高质量发展工作会议暨2024年第二季度工作会议提出,坚持问题导向和系统观念,推动公司高质量发展和电网高质量发展。数字化智能化是电网高质量发展的支点,要聚焦应用赋能,聚焦新型电力系统建设,聚焦人工智能创新应用,发挥好数据要素价值。国家电网有限公司大数据中心认真贯彻落实会
4月7日,陕西省发展和改革委员会印发《陕西省培育千亿级化工材料产业创新集群行动计划》,其中提到,加强源头减碳、过程减碳、终端固碳,创建10个以上示范性绿色化工园区、绿色工厂,开展绿色化工产品认证,推进化工材料产业绿色制造体系不断完善。二是提升产业数字化智能化水平。并且,加快5G、大数据
4月8日,记者从国网浙江电力获悉,该公司打造的“浙江省新能源e平台”上线运行。这一平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析全省新能源装机发电情况,解构全省各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。“浙江省新能源e平台”主要包含一屏总览、
据国网浙江省电力有限公司4月8日消息,当日“浙江省新能源e平台”正式上线运行。该平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析该省新能源装机发电情况,解构各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。据了解,“浙江省新能源e平台”主要包含一屏总览
4月2日,国网天津经研院规划评审中心支撑数字化部完成“基于能源电力大数据的天津碳排放监测及运营服务科技示范工程”工作方案的编制。该工程是国家电网公司首批新型电力系统原创技术策源地科技示范工程,将充分释放电力大数据价值,在多源能源数据汇聚融合、碳监测标准建设、碳核算体系构建、新兴业务
当前,随着新一轮科技革命和产业变革的持续推进,大力培育新兴产业和未来产业已成为引领科技进步、带动产业升级、培育新质生产力的战略选择。电力是经济社会发展的重要支撑。国家电网有限公司持续优化电力营商环境,加快构建新型电力系统,积极促进新能源发展,壮大产业集群,为新兴产业和未来产业发展
4月26日,金冠股份发布2023年年报,报告期内,公司实现营业收入11.69亿元,与去年同期相当;实现归属于上市公司股东净利润2550.62万元,同比下降47.45%。报告期内,公司获取订单总额为16.70亿元,同比增长11.8%。报告期内,公司获取订单总额为16.70亿元,同比增长11.8%。金冠电气提到,公司主营业务主
4月24日,天津市人民政府印发天津市推动大规模设备更新和消费品以旧换新实施方案(津政发〔2024〕7号),其中提到,持续推进老旧变电设备和输配电线路改造,推动电网设施数字化、智能化升级。同时,推动能源装备更新和技术改造。支持运行服役期满发电机组实施设备更新,加快现役煤电机组节能改造和灵活
近日,国家能源局新疆监管办公室召开2024年新疆电网运行方式汇报分析会议,总结2023年新疆电网运行情况,全面梳理分析系统运行特性及面临的安全风险,研究有效控制和化解电力系统主要安全风险的措施,深入研讨新疆电力安全保供和绿色低碳转型的有效途径,为2024年电力安全生产、稳定供应和进一步扩大新
近日,安徽省发展改革委启动省级未来产业先导区创建工作,其中包含低碳能源领域。重点方向包括围绕可再生能源与核能、能源清洁高效利用、智慧综合能源等重点领域开展技术攻关及应用,重点突破新型高效太阳能电池、氢能制备及储运、燃料电池及关键部件、低成本碳捕集利用与封存等关键核心技术,促进工业
随着《十四五发展规划》等政策的推进,各行业国产化进程迅猛发展。智慧电网作为新型能源体系建设的重要支撑,更是当仁不让;各设备公司全网匹配,要求做到全国产化。金升阳作为技术引领型企业积极响应政策,关注用户所需,依托产研实力,为电力行业各细分领域提供更可靠、更高效的一站式电源解决方案为
随着《十四五发展规划》等政策的推进,各行业国产化进程迅猛发展。智慧电网作为新型能源体系建设的重要支撑,更是当仁不让;各设备公司全网匹配,要求做到全国产化。金升阳作为技术引领型企业积极响应政策,关注用户所需,依托产研实力,为电力行业各细分领域提供更可靠、更高效的一站式电源解决方案为
4月12日,2024年江宁区“向人民汇报”活动——区工信局专场举行。在深度访谈环节,区工信局就培育新质生产力、打造智能电网产业、高端装备制造业等进行发言。目前,江宁已建成智能电网、新能源(智能网联)汽车、新一代信息技术、高端智能装备等4个千亿级产业集群。作为江宁制造的一张靓丽名片,智能电
4月8日上午,中国电科院南京科研基地建设项目主体工程在江宁开发区开工,标志着这一省重大项目进入全面建设阶段,也为江宁开发区聚力打造世界级智能电网产业集群注入了强劲动力。区长黄成文、江宁开发区管委会主任王爱军、副区长周强、江宁开发区管委会副主任陈志海,中国电力科学研究院有限公司总经理
4月10日,江苏昆山印发推进绿色低碳产业高质量发展的若干政策措施(试行)(昆政办发〔2024〕25号)。其中提到,对按要求接入昆山智慧能源管理平台的重点用能单位给予每家1万元奖励。在电网保供能力许可的范围内,对采用绿电绿证交易等方式实现绿色电力占年用电量50%及以上的企业,在实施电力负荷管理
近日,贵州省工业和信息化厅印发《关于加快发展先进制造业集群的指导意见》。文件提出,聚焦智能电网输变电需求,重点发展智能高低压成套开关、全封闭组合电器、用户端设备及电网安全运行系统等数字化智能化输变电装备,大力发展新型电力电子产品、综合自动化系统及继电保护装置等中低压输配电装备。积极
3月27日,陕西省印发陕西省培育千亿级第三代半导体产业创新集群行动计划(陕发改高技〔2024〕601号),其中提到,依托我省新能源汽车、光伏逆变、智能电网、储能装置、轨道交通、5G通信以及国防军工等行业优势,加强产业链上下游企业合作,推进第三代半导体应用创新。到2035年,带动新能源汽车、光伏逆
4月7日,河北廊坊220千伏刘其营变电站瓦斯气体在线检测装置通过验收确认,标志着廊坊电网首台瓦斯气体在线检测装置成功挂网。传统的变压器气体继电器无法分析轻瓦斯产生气体成分。一旦产生瓦斯气体,需要供电员工前往变电站现场采集气体进行分析,存在时效性差的问题。冀北廊坊供电公司联合设备厂商研
3月28日,广西电网贵港桂平供电局联合桂平市森林消防队开展人身风险演练,模拟林区电力设施附近发生山火,协同开展应急处置。在清明前,该局组织党员服务队对辖区内跨越山林的10千伏配电线路开展巡视13条次,清理配电线路周边区域柴草等易燃物11处,全力以赴防山火于未“燃”。清明将至,也是春耕时节
为深入贯彻绿色发展理念,进一步加强能耗在线监测系统建设工作,福建省节能中心联合厦门市工业绿色发展中心,于3月18日下午成功举办能耗在线监测系统专题培训。全市已建系统的企业相关负责人和节能服务机构等近70人参会。会上,福建省节能中心高级工程师林晨详细介绍了能源利用状况报告填报及能耗在线
3月14日,上海市生态环境局、市住房城乡建设管理委、市交通委关于印发《上海市扬尘在线监测数据执法应用规定》的通知,本规定自2024年3月15日起实施,有效期至2029年3月14日。本规定所称扬尘在线监测设施,是指对易产生扬尘的建筑施工、物料存放、混凝土搅拌、码头物料装卸等过程(以下简称施工或作业
近日,福建省节能中心、福州市节能监测中心联合举办2024年福州市重点用能企业节能业务培训,这是今年福建省针对重点用能企业节能业务的首场培训会。福州各县(市)区工信部门、节能中心、重点用能企业、节能服务机构代表以及福建银行业协会金融专家等近300人参会。培训会重点围绕能源利用状况报告填报
国网重庆市电力公司2024年新增第一次物资公开招标采购推荐的中标候选人公示招标编号:2024WA
1月26日,上杭山地森林植被、土壤、流域碳汇精准计量在线监测平台设备采购公开招标,预算金额607.2万元。上杭山地森林植被、土壤、流域碳汇精准计量在线监测平台设备采购公开招标公告项目概况受福建师范大学委托,福建省金丰招标代理有限公司对[350001]FJJF[GK]2024001、上杭山地森林植被、土壤、流域
广东电网公司2023年生产专业仪器仪表专项招标(变压器油中溶解气体在线监测系统检定仪、变压器瓦斯继电器校验平台、变压器绕组变形仪等物资)中标候选人公示(招标编号:CG0300022001663575)公示开始时间:2024-01-25公示结束时间:2024-01-29
2023年11月1日,上虞分局执法人员在污染源自动监控专项执法检查中发现,位于上虞区曹娥街道的绍兴某制造有限公司污水站正在运行,污水外排口正在排放污水,有一根红色软管自消防用水口连接处向二沉池溢流沟泵入清澈透明的水,涉嫌外排废水稀释排放的嫌疑。执法人员立即深入现场,对该企业污水站运行状
北极星输配电网获悉,1月4日,泉州市人民政府办公室发布关于印发《泉州市新型基础设施建设三年行动计划(2023-2025年)》(以下简称《计划》)的通知。《计划》指出,实施智慧能源工程。加快电网在线监测终端全覆盖,推行有序充电站+储能模式,推进一体化“互联网+充电设施”建设。到2025年,全市全自
12月22日,在宁夏银川供电公司生产管控中心监控大厅内,该公司变电运维中心监控员姚石慧用5分钟完成了对供区内80座变电站气体绝缘全封闭组合电器(GIS设备)气压值等数值的检查,精准掌握GIS设备运行状况。GIS设备通常使用六氟化硫气体作为绝缘介质和灭弧介质。气压值是判断GIS设备运行状况的重要数值
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!