登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.3数据处理技术
智能电网大数据的应用类型多,需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求,大数据处理技术分流处理、批处理、内存计算、图计算等。
2.3.1 流处理
流处理的处理模式将数据视为流,源源不断的数据组成了数据流,当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点,因此通常不会对所有的数据进行永久化存储,而且数据环境处在不断的变化之中,系统很难准确掌握整个数据的全貌。目前广泛应用的流处理系统有Twitter Storm和Yahoo S4。
Storm是分布式实时计算系统,主要用于流数据处理,可以简单、高效、可靠地处理大量的数据流。它能够处理源源不断流进来的信息,处理之后将结果写入到某个存储中去。Storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以Storm的速度较快。Storm弥补了Hadoop批处理所不能满足的实时要求,经常用于实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
2.3.2 批处理
Google公司在2004年提出的Map-Reduce是最具代表性的批处理模式。Map-Reduce是一个使用简易的软件框架,用于大规模数据集的并行运算,主要用来进行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上,并以一种可靠容错的并行处理大规模数据集。Map-Reduce的核心思想是将问题分而治之,并把计算推到数据所在的服务器,有效地避免数据传输过程中产生的大量通信开销。
Map-Reduce的优点主要有2个方面:①不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,如自动并行化、负荷均衡和灾备管理等,这将极大简化开发工作;②伸缩性非常好,集群能够方便的扩展。而Map-Reduce的不足是其不适应实时应用的需求,只能进行大规模离线数据分析。
2.3.3 内存计算
随着内存价格的不断下降,服务器配置的内存容量不断增大,用内存计算来完成大规模数据处理成为可能。与Hadoop Map-Reduce批处理相比,内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法,它可以和各种不同的计算模式相结合,包括批处理、流处理、图计算等。比如Spark是分布式内存计算的一个典型并行计算框架,Spark基于Map-Reduce算法实现的分布式计算,拥有Hadoop Map-Reduce所具有的优点;但不同于Map-Reduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark具有更好的性能,适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法。
智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式,针对电网安全在线分析、电网运行监控等业务,数据实时性要求高、需要作出迅速响应,可以采用流处理内存计算;而对于用户用电行为分析等业务,实时性和响应时间要求低,可以采用批处理方式。综合以上分析,数据处理方式对比见表2。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
4月29日,山西对《山西省数据工作管理办法》(征求意见稿)公开征求意见。其中提到,山西省人民政府工业和信息化、能源等部门应当推进工业、能源数字化,加强工业互联网、能源数字化建设,围绕煤炭、电力、焦化、煤化工、钢铁、装备制造等传统优势产业,加快推动研发设计、生产制造、经营管理、市场服
在数字经济时代,全社会数据总量呈爆发式增长,支撑海量数据存储计算的数据中心和算力网络逐步成为支撑各行业数字化转型的重要新型基础设施。数据中心在创造经济价值的同时,其能耗也逐渐成为全社会关注的焦点。数据中心节能降耗是大势所趋。国网河北省电力有限公司充分发挥电力数据价值,积极探索服务
近日,国家发展改革委办公厅、国家数据局综合司印发《数字经济2024年工作要点》(以下简称《工作要点》),对2024年数字经济重点工作作出部署。为全面贯彻落实党的二十大和二十届二中全会精神,按照中央经济工作会议和全国两会部署,支持数字经济高质量发展,深入实施推进《“十四五”数字经济发展规划
乌兰察布市源荷互动绿色大数据中心示范项目位于察右后旗境内,于2月27日启动,是一座100兆瓦分散式风电项目,该项目可降低电网多次升降压和长距离输送的电能损失,具有良好的社会综合经济效益。截至4月23日,项目20台风机吊装、集电线路放线都已完成,升压站设备基础完成80%。
4月18日,在河北省昌黎县朱各庄镇下庄村的农田里,几十台播种机来回穿梭,将种子埋入土中。种植户们启动水泵,通过滴灌管道浇水。当天,冀北昌黎县供电公司朱各庄镇供电所员工王伟和孙奉江来到下庄村,巡检排灌变压器及10千伏灌溉用电线路。下庄村有农田7300多亩,主要种植玉米、花生、白薯等农作物。
国家电网有限公司高质量发展工作会议暨2024年第二季度工作会议提出,坚持问题导向和系统观念,推动公司高质量发展和电网高质量发展。数字化智能化是电网高质量发展的支点,要聚焦应用赋能,聚焦新型电力系统建设,聚焦人工智能创新应用,发挥好数据要素价值。国家电网有限公司大数据中心认真贯彻落实会
4月7日,陕西省发展和改革委员会印发《陕西省培育千亿级化工材料产业创新集群行动计划》,其中提到,加强源头减碳、过程减碳、终端固碳,创建10个以上示范性绿色化工园区、绿色工厂,开展绿色化工产品认证,推进化工材料产业绿色制造体系不断完善。二是提升产业数字化智能化水平。并且,加快5G、大数据
4月8日,记者从国网浙江电力获悉,该公司打造的“浙江省新能源e平台”上线运行。这一平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析全省新能源装机发电情况,解构全省各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。“浙江省新能源e平台”主要包含一屏总览、
据国网浙江省电力有限公司4月8日消息,当日“浙江省新能源e平台”正式上线运行。该平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析该省新能源装机发电情况,解构各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。据了解,“浙江省新能源e平台”主要包含一屏总览
4月2日,国网天津经研院规划评审中心支撑数字化部完成“基于能源电力大数据的天津碳排放监测及运营服务科技示范工程”工作方案的编制。该工程是国家电网公司首批新型电力系统原创技术策源地科技示范工程,将充分释放电力大数据价值,在多源能源数据汇聚融合、碳监测标准建设、碳核算体系构建、新兴业务
当前,随着新一轮科技革命和产业变革的持续推进,大力培育新兴产业和未来产业已成为引领科技进步、带动产业升级、培育新质生产力的战略选择。电力是经济社会发展的重要支撑。国家电网有限公司持续优化电力营商环境,加快构建新型电力系统,积极促进新能源发展,壮大产业集群,为新兴产业和未来产业发展
4月26日,金冠股份发布2023年年报,报告期内,公司实现营业收入11.69亿元,与去年同期相当;实现归属于上市公司股东净利润2550.62万元,同比下降47.45%。报告期内,公司获取订单总额为16.70亿元,同比增长11.8%。报告期内,公司获取订单总额为16.70亿元,同比增长11.8%。金冠电气提到,公司主营业务主
4月24日,天津市人民政府印发天津市推动大规模设备更新和消费品以旧换新实施方案(津政发〔2024〕7号),其中提到,持续推进老旧变电设备和输配电线路改造,推动电网设施数字化、智能化升级。同时,推动能源装备更新和技术改造。支持运行服役期满发电机组实施设备更新,加快现役煤电机组节能改造和灵活
近日,国家能源局新疆监管办公室召开2024年新疆电网运行方式汇报分析会议,总结2023年新疆电网运行情况,全面梳理分析系统运行特性及面临的安全风险,研究有效控制和化解电力系统主要安全风险的措施,深入研讨新疆电力安全保供和绿色低碳转型的有效途径,为2024年电力安全生产、稳定供应和进一步扩大新
近日,安徽省发展改革委启动省级未来产业先导区创建工作,其中包含低碳能源领域。重点方向包括围绕可再生能源与核能、能源清洁高效利用、智慧综合能源等重点领域开展技术攻关及应用,重点突破新型高效太阳能电池、氢能制备及储运、燃料电池及关键部件、低成本碳捕集利用与封存等关键核心技术,促进工业
随着《十四五发展规划》等政策的推进,各行业国产化进程迅猛发展。智慧电网作为新型能源体系建设的重要支撑,更是当仁不让;各设备公司全网匹配,要求做到全国产化。金升阳作为技术引领型企业积极响应政策,关注用户所需,依托产研实力,为电力行业各细分领域提供更可靠、更高效的一站式电源解决方案为
随着《十四五发展规划》等政策的推进,各行业国产化进程迅猛发展。智慧电网作为新型能源体系建设的重要支撑,更是当仁不让;各设备公司全网匹配,要求做到全国产化。金升阳作为技术引领型企业积极响应政策,关注用户所需,依托产研实力,为电力行业各细分领域提供更可靠、更高效的一站式电源解决方案为
4月12日,2024年江宁区“向人民汇报”活动——区工信局专场举行。在深度访谈环节,区工信局就培育新质生产力、打造智能电网产业、高端装备制造业等进行发言。目前,江宁已建成智能电网、新能源(智能网联)汽车、新一代信息技术、高端智能装备等4个千亿级产业集群。作为江宁制造的一张靓丽名片,智能电
4月8日上午,中国电科院南京科研基地建设项目主体工程在江宁开发区开工,标志着这一省重大项目进入全面建设阶段,也为江宁开发区聚力打造世界级智能电网产业集群注入了强劲动力。区长黄成文、江宁开发区管委会主任王爱军、副区长周强、江宁开发区管委会副主任陈志海,中国电力科学研究院有限公司总经理
4月10日,江苏昆山印发推进绿色低碳产业高质量发展的若干政策措施(试行)(昆政办发〔2024〕25号)。其中提到,对按要求接入昆山智慧能源管理平台的重点用能单位给予每家1万元奖励。在电网保供能力许可的范围内,对采用绿电绿证交易等方式实现绿色电力占年用电量50%及以上的企业,在实施电力负荷管理
近日,贵州省工业和信息化厅印发《关于加快发展先进制造业集群的指导意见》。文件提出,聚焦智能电网输变电需求,重点发展智能高低压成套开关、全封闭组合电器、用户端设备及电网安全运行系统等数字化智能化输变电装备,大力发展新型电力电子产品、综合自动化系统及继电保护装置等中低压输配电装备。积极
3月27日,陕西省印发陕西省培育千亿级第三代半导体产业创新集群行动计划(陕发改高技〔2024〕601号),其中提到,依托我省新能源汽车、光伏逆变、智能电网、储能装置、轨道交通、5G通信以及国防军工等行业优势,加强产业链上下游企业合作,推进第三代半导体应用创新。到2035年,带动新能源汽车、光伏逆
4月7日,河北廊坊220千伏刘其营变电站瓦斯气体在线检测装置通过验收确认,标志着廊坊电网首台瓦斯气体在线检测装置成功挂网。传统的变压器气体继电器无法分析轻瓦斯产生气体成分。一旦产生瓦斯气体,需要供电员工前往变电站现场采集气体进行分析,存在时效性差的问题。冀北廊坊供电公司联合设备厂商研
3月28日,广西电网贵港桂平供电局联合桂平市森林消防队开展人身风险演练,模拟林区电力设施附近发生山火,协同开展应急处置。在清明前,该局组织党员服务队对辖区内跨越山林的10千伏配电线路开展巡视13条次,清理配电线路周边区域柴草等易燃物11处,全力以赴防山火于未“燃”。清明将至,也是春耕时节
为深入贯彻绿色发展理念,进一步加强能耗在线监测系统建设工作,福建省节能中心联合厦门市工业绿色发展中心,于3月18日下午成功举办能耗在线监测系统专题培训。全市已建系统的企业相关负责人和节能服务机构等近70人参会。会上,福建省节能中心高级工程师林晨详细介绍了能源利用状况报告填报及能耗在线
3月14日,上海市生态环境局、市住房城乡建设管理委、市交通委关于印发《上海市扬尘在线监测数据执法应用规定》的通知,本规定自2024年3月15日起实施,有效期至2029年3月14日。本规定所称扬尘在线监测设施,是指对易产生扬尘的建筑施工、物料存放、混凝土搅拌、码头物料装卸等过程(以下简称施工或作业
近日,福建省节能中心、福州市节能监测中心联合举办2024年福州市重点用能企业节能业务培训,这是今年福建省针对重点用能企业节能业务的首场培训会。福州各县(市)区工信部门、节能中心、重点用能企业、节能服务机构代表以及福建银行业协会金融专家等近300人参会。培训会重点围绕能源利用状况报告填报
国网重庆市电力公司2024年新增第一次物资公开招标采购推荐的中标候选人公示招标编号:2024WA
1月26日,上杭山地森林植被、土壤、流域碳汇精准计量在线监测平台设备采购公开招标,预算金额607.2万元。上杭山地森林植被、土壤、流域碳汇精准计量在线监测平台设备采购公开招标公告项目概况受福建师范大学委托,福建省金丰招标代理有限公司对[350001]FJJF[GK]2024001、上杭山地森林植被、土壤、流域
广东电网公司2023年生产专业仪器仪表专项招标(变压器油中溶解气体在线监测系统检定仪、变压器瓦斯继电器校验平台、变压器绕组变形仪等物资)中标候选人公示(招标编号:CG0300022001663575)公示开始时间:2024-01-25公示结束时间:2024-01-29
2023年11月1日,上虞分局执法人员在污染源自动监控专项执法检查中发现,位于上虞区曹娥街道的绍兴某制造有限公司污水站正在运行,污水外排口正在排放污水,有一根红色软管自消防用水口连接处向二沉池溢流沟泵入清澈透明的水,涉嫌外排废水稀释排放的嫌疑。执法人员立即深入现场,对该企业污水站运行状
北极星输配电网获悉,1月4日,泉州市人民政府办公室发布关于印发《泉州市新型基础设施建设三年行动计划(2023-2025年)》(以下简称《计划》)的通知。《计划》指出,实施智慧能源工程。加快电网在线监测终端全覆盖,推行有序充电站+储能模式,推进一体化“互联网+充电设施”建设。到2025年,全市全自
12月22日,在宁夏银川供电公司生产管控中心监控大厅内,该公司变电运维中心监控员姚石慧用5分钟完成了对供区内80座变电站气体绝缘全封闭组合电器(GIS设备)气压值等数值的检查,精准掌握GIS设备运行状况。GIS设备通常使用六氟化硫气体作为绝缘介质和灭弧介质。气压值是判断GIS设备运行状况的重要数值
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!