《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于深度強(qiáng)化學(xué)習(xí)的電動汽車協(xié)調(diào)充電算法
基于深度強(qiáng)化學(xué)習(xí)的電動汽車協(xié)調(diào)充電算法
信息技術(shù)與網(wǎng)絡(luò)安全 4期
張子霖
(中國科學(xué)技術(shù)大學(xué) 自動化系，安徽 合肥230026)
摘要： 針對具有多個目標(biāo)的多輛電動汽車協(xié)調(diào)充電問題，包括降低用戶的充電成本并保證足夠的電池電量，同時避免變壓器過載，提出一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式算法。該算法首先將上述問題建模為馬爾可夫決策過程，然后采用一種通信神經(jīng)網(wǎng)絡(luò)模型進(jìn)行信息交互，實(shí)現(xiàn)了全局信息在多個智能體上的分布式計(jì)算。最后，通過仿真驗(yàn)證了該算法在住宅充電區(qū)域的有效性和可擴(kuò)展性。
中圖分類號： TP18
文獻(xiàn)標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.04.013
引用格式： 張子霖. 基于深度強(qiáng)化學(xué)習(xí)的電動汽車協(xié)調(diào)充電算法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(4)：83-89.
A deep RL-based algorithm for coordinated charging of electric vehicles
Zhang Zilin
(Department of Automation，University of Science and Technology of China，Hefei 230026，China)
Abstract： A distributed algorithm based on multi-agent deep reinforcement learning(DRL) is proposed in this paper to solve the problem of coordinated charging of multiple electric vehicles(EVs) with multiple objectives, including reducing the charging cost, ensuring sufficient battery state of charge(SoC) for users, and avoiding the transformer overload. To this end, the above problem is formulated as a Markov Decision Process(MDP), and then a communication neural network(CommNet) model is adopted for information interaction to realize the distributed computation of global information on multiple EVs. Finally, simulations are presented to verify the effectiveness and scalability of the proposed algorithm in a residential charging area.
Key words : electric vehicle；multi-agent system；deep reinforcement learning；distributed charging scheduling

0 引言

電動汽車作為一種新型的分布式移動資源，已成為智能電網(wǎng)發(fā)展的重要組成部分[1]，越來越多的研究人員開始關(guān)注電動汽車在電網(wǎng)中的社會價值。但電動汽車的日益普及也不可避免地給用戶和電網(wǎng)帶來了一系列的問題和挑戰(zhàn)。例如，大量電動汽車的不協(xié)調(diào)充電，將導(dǎo)致電網(wǎng)承受不可預(yù)測的負(fù)荷。因此，如何設(shè)計(jì)多輛電動汽車在整個工作過程中的協(xié)調(diào)充電策略，以降低能源成本，保證用戶對電動汽車荷電狀態(tài)的滿意度，并將對配電網(wǎng)的影響降到最低，是亟需解決的問題。

近年來，為了解決電動汽車的協(xié)調(diào)充電問題，出現(xiàn)了許多分布式調(diào)度方法。例如，為了最大限度地提高電動汽車用戶的便利性，開發(fā)了一種分散的基于交替方向乘法器的優(yōu)化算法[2]。為使電動汽車充電成本最小化，使用電動汽車充電概率模型建立了一個嚴(yán)格凸分散系統(tǒng)形式的多人博弈[3]。但上述研究只關(guān)注了單一的目標(biāo)，這在實(shí)際應(yīng)用中往往是受限制的。針對多目標(biāo)的協(xié)調(diào)充電問題，通過多智能體自私協(xié)同優(yōu)化的方案，除了實(shí)現(xiàn)用戶利益以外，也保證避免變壓器過載[4]，但它沒有充分考慮狀態(tài)空間泛化和值函數(shù)逼近的影響，導(dǎo)致擬合性能較差，計(jì)算開銷也不理想。針對該問題，文獻(xiàn)[5]考慮采用基于機(jī)器學(xué)習(xí)的方法，其以收斂速度快、計(jì)算效率高而被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)的高維問題中。




本文詳細(xì)內(nèi)容請下載：http://theprogrammingfactory.com/resource/share/2000004104






作者信息：

張子霖

(中國科學(xué)技術(shù)大學(xué) 自動化系，安徽 合肥230026)




微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。