P2P Energy Trading through Prospect Theory, Differential Evolution, and Reinforcement Learning
P2P Energy Trading through Prospect Theory, Differential Evolution, and Reinforcement Learning
复制标题
通过前景理论、差分进化和强化学习进行 P2P 能源交易
DOI：
10.1145/3603148
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Silvestri, Simone
中科院分区：
文献类型：
--
作者：
Timilsina, Ashutosh;Silvestri, Simone
点对点（P2P）能源交易是一个分散的能源市场，当地能源生产者作为对等体，相互交易能源。该领域的现有工作很大程度上忽视了用户行为建模的重要性，并假设用户持续积极参与并完全遵守决策过程。为了克服这些不切实际的假设及其有害后果，在本文中，我们提出了一种自动 P2P 能源交易框架，该框架通过利用前景理论专门考虑用户的感知。我们形式化了一个优化问题，在匹配能源生产和需求的同时最大化买家的感知效用。我们证明该问题是 NP 难问题，并提出了一种基于差分进化的能源交易算法 (DEbATE) 启发式。此外，我们提出了两种基于强化学习的自动定价解决方案来提高卖家的利润。第一个解决方案基于 Q 学习，称为具有 Q 学习和风险敏感性的定价机制 (PQR)。此外，考虑到 PQR 的可扩展性问题，我们提出了一种名为 ProDQN 的基于深度 Q 网络的算法，该算法利用深度学习和植根于前景理论的新颖损失函数。基于能源消耗和生产的真实痕迹以及现实前景理论函数的结果表明，与最近最先进的方法相比，我们的方法为买家实现了 26% 的感知价值高出 26%，为卖家带来了 7% 的回报。
Peer-to-peer (P2P) energy tradingis a decentralized energy market where local energyprosumersact as peers, trading energy among each other. Existing works in this area largely overlook the importance of user behavioral modeling and assume users’ sustained active participation and full compliance in the decision-making process. To overcome these unrealistic assumptions, and their deleterious consequences, in this article, we propose anautomatedP2P energy-trading framework that specifically considers the users’ perception by exploitingprospect theory. We formalize an optimization problem that maximizes the buyers’ perceived utility while matching energy production and demand. We prove that the problem is NP-hard and we propose a Differential Evolution-based Algorithm for Trading Energy (DEbATE) heuristic. Additionally, we propose two automated pricing solutions to improve the sellers’ profit based on reinforcement learning. The first solution, named Pricing mechanism with Q-learning and Risk-sensitivity (PQR), is based on Q-learning. Additionally, given the scalability issues ofPQR, we propose a Deep Q-Network-based algorithm calledProDQNthat exploits deep learning and a novel loss function rooted in prospect theory. Results based on real traces of energy consumption and production, as well as realistic prospect theory functions, show that our approaches achieve 26% higher perceived value for buyers and generate 7% more reward for sellers, compared to recent state-of-the-art approaches.
登录
查看更多内容
智能计量基础设施中的攻击上下文嵌入式数据驱动的信任诊断
影响因子：
2.3
作者：
S. Bhattacharjee, P. Madhavarapu
通讯作者：
S. Bhattacharjee, P. Madhavarapu
使用机器学习剖析个人家庭功耗预测问题
DOI：
10.1109/smartcomp55677.2022.00037
发表时间：
2022
期刊：
2022 IEEE International Conference on Smart Computing (SMARTCOMP
影响因子：
--
作者：
Casella, Enrico;Sudduth, Eleanor;Silvestri, Simone
通讯作者：
Silvestri, Simone
测试前景理论参数
DOI：
--
发表时间：
2013
期刊：
影响因子：
--
作者：
V. Bačová;Kamil Adamík;V. Baláž;E. Drobná;Katarína Dudeková
通讯作者：
Katarína Dudeková
数字时代的有限理性
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
Peter E. Earl
通讯作者：
Peter E. Earl
影响因子：
9.6
作者：
Kalathil, Dileep;Wu, Chenye;Varaiya, Pravin
通讯作者：
Varaiya, Pravin