淺聊適用于大規(guī)模充電場站的深度強化學(xué)習(xí)有序充電策略

張繼冬

安科瑞電氣股份有限公司 上海嘉定 201801

摘要： 隨著電動汽車的快速普及，大規(guī)模充電場站的有序充電管理成為亟待解決的重要問題。本文深入探討了適用于大規(guī)模充電場站的深度強化學(xué)習(xí)有序充電策略。首先介紹了大規(guī)模充電場站有序充電的研究背景和意義，分析了當(dāng)前面臨的挑戰(zhàn)。接著闡述了深度強化學(xué)習(xí)的基本原理及其在有序充電策略制定中的優(yōu)勢。隨后詳細描述了基于深度強化學(xué)習(xí)的有序充電策略的具體設(shè)計與實現(xiàn)過程，包括狀態(tài)表示、動作選擇、獎勵函數(shù)設(shè)定等方面。最后通過模擬實驗或?qū)嶋H案例分析了該策略的應(yīng)用效果，展示了其在提高充電效率、降低電網(wǎng)負荷沖擊、優(yōu)化能源利用等方面的顯著成效，為大規(guī)模充電場站的高效運營提供了有力的理論支持和實踐指導(dǎo)。

2.2電網(wǎng)負荷平衡的要求

3.2.1能夠處理復(fù)雜的非線性關(guān)系

5安科瑞充電樁收費運營云平臺助力有序充電開展

5.1概述

AcrelCloud-9000安科瑞充電柱收費運營云平臺系統(tǒng)通過物聯(lián)網(wǎng)技術(shù)對接入系統(tǒng)的電動電動自行車充電站以及各個充電整法行不間斷地數(shù)據(jù)采集和監(jiān)控，實時監(jiān)控充電樁運行狀態(tài)，進行充電服務(wù)、支付管理，交易結(jié)算，資要管理、電能管理，明細查詢等。同時對充電機過溫保護、漏電、充電機輸入/輸出過壓，欠壓，絕緣低各類故障進行預(yù)警；充電樁支持以太網(wǎng)、4G或WIFI等方式接入互聯(lián)網(wǎng)，用戶通過微信、支付寶，云閃付掃碼充電。

5.2應(yīng)用場所

適用于民用建筑、一般工業(yè)建筑、居住小區(qū)、實業(yè)單位、商業(yè)綜合體、學(xué)校、園區(qū)等充電樁模式的充電基礎(chǔ)設(shè)施設(shè)計。

5.3系統(tǒng)結(jié)構(gòu)

系統(tǒng)分為四層：

（1）即數(shù)據(jù)采集層、網(wǎng)絡(luò)傳輸層、數(shù)據(jù)層和客戶端層。

（2）數(shù)據(jù)采集層：包括電瓶車智能充電樁通訊協(xié)議為標(biāo)準(zhǔn)modbus-rtu。電瓶車智能充電樁用于采集充電回路的電力參數(shù)，并進行電能計量和保護。

（3）網(wǎng)絡(luò)傳輸層：通過4G網(wǎng)絡(luò)將數(shù)據(jù)上傳至搭建好的數(shù)據(jù)庫服務(wù)器。

（4）數(shù)據(jù)層：包含應(yīng)用服務(wù)器和數(shù)據(jù)服務(wù)器，應(yīng)用服務(wù)器部署數(shù)據(jù)采集服務(wù)、WEB網(wǎng)站，數(shù)據(jù)服務(wù)器部署實時數(shù)據(jù)庫、歷史數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫。

（5）應(yīng)客戶端層：系統(tǒng)管理員可在瀏覽器中訪問電瓶車充電樁收費平臺。終端充電用戶通過刷卡掃碼的方式啟動充電。

小區(qū)充電平臺功能主要涵蓋充電設(shè)施智能化大屏、實時監(jiān)控、交易管理、故障管理、統(tǒng)計分析、基礎(chǔ)數(shù)據(jù)管理等功能，同時為運維人員提供運維APP，充電用戶提供充電小程序。

5.4安科瑞充電樁云平臺系統(tǒng)功能

5.4.1智能化大屏

智能化大屏展示站點分布情況，對設(shè)備狀態(tài)、設(shè)備使用率、充電次數(shù)、充電時長、充電金額、充電度數(shù)、充電樁故障等進行統(tǒng)計顯示，同時可查看每個站點的站點信息、充電樁列表、充電記錄、收益、能耗、故障記錄等。統(tǒng)一管理小區(qū)充電樁，查看設(shè)備使用率，合理分配資源。

5.4.2實時監(jiān)控

實時監(jiān)視充電設(shè)施運行狀況，主要包括充電樁運行狀態(tài)、回路狀態(tài)、充電過程中的充電電量、充電電壓電流，充電樁告警信息等。

5.4.3交易管理

平臺管理人員可管理充電用戶賬戶，對其進行賬戶進行充值、退款、凍結(jié)、注銷等操作，可查看小區(qū)用戶每日的充電交易詳細信息。

5.4.4故障管理

設(shè)備自動上報故障信息，平臺管理人員可通過平臺查看故障信息并進行派發(fā)處理，同時運維人員可通過運維APP收取故障推送，運維人員在運維工作完成后將結(jié)果上報。充電用戶也可通過充電小程序反饋現(xiàn)場問題。

5.4.5統(tǒng)計分析

通過系統(tǒng)平臺，從充電站點、充電設(shè)施、、充電時間、充電方式等不同角度，查詢充電交易統(tǒng)計信息、能耗統(tǒng)計信息等。

5.4.6基礎(chǔ)數(shù)據(jù)管理

在系統(tǒng)平臺建立運營商戶，運營商可建立和管理其運營所需站點和充電設(shè)施，維護充電設(shè)施信息、價格策略、折扣、優(yōu)惠活動，同時可管理在線卡用戶充值、凍結(jié)和解綁。

5.4.7運維APP

面向運維人員使用，可以對站點和充電樁進行管理、能夠進行故障閉環(huán)處理、查詢流量卡使用情況、查詢充電\充值情況，進行遠程參數(shù)設(shè)置，同時可接收故障推送

5.4.8充電小程序

面向充電用戶使用，可查看附近空閑設(shè)備，主要包含掃碼充電、賬戶充值，充電卡綁定、交易查詢、故障申訴等功能。

5.5系統(tǒng)硬件配置

6，總結(jié)

適用于大規(guī)模充電場站的深度強化學(xué)習(xí)有序充電策略為解決大規(guī)模充電場站面臨的有序充電、電網(wǎng)負荷平衡和用戶體驗等諸多問題提供了一種有效的解決方案。通過合理的狀態(tài)表示、動作選擇和獎勵函數(shù)設(shè)定，并經(jīng)過充分的訓(xùn)練，該策略能夠自適應(yīng)地根據(jù)充電場站的實際情況和電網(wǎng)負荷動態(tài)變化制定出的充電策略。模擬實驗和實際案例分析均表明，該策略在提高充電效率、降低電網(wǎng)負荷沖擊、優(yōu)化能源利用等方面具有顯著成效。未來，隨著電動汽車行業(yè)的進一步發(fā)展和深度強化學(xué)習(xí)技術(shù)的不斷完善，該策略有望在更多的大規(guī)模充電場站中得到廣泛應(yīng)用，為推動電動汽車充電基礎(chǔ)設(shè)施的高效運營和可持續(xù)發(fā)展做出更大貢獻。

參考文獻：

[1]陳果.適用于大規(guī)模充電場站的深度強化學(xué)習(xí)有序充電策略

[2]陳呂鵬，潘振寧，余濤，等.基于動態(tài)非合作博奔的大規(guī)模電動汽車實時優(yōu)化調(diào)度

[3]安科瑞企業(yè)微電網(wǎng)設(shè)計與應(yīng)用手冊.2022.05版

作者介紹：
張繼冬，男，現(xiàn)任職于安科瑞電氣股份有限公司。