Optimal Control of Combined Sewer Systems to Minimize Sewer Overflows by Using Reinforcement Learning
Optimal Control of Combined Sewer Systems to Minimize Sewer Overflows by Using Reinforcement Learning
复制标题
利用强化学习对合流下水道系统进行优化控制以最大限度地减少下水道溢流
DOI：
10.1061/9780784484852.067
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Amini, M. Hadi
中科院分区：
文献类型：
--
作者：
Yin, Zeda;Leon, Arturo S.;Sharifi, Abbas;Amini, M. Hadi
合流污水系统将雨水径流、生活污水和工业废水收集在同一条管道中。在强降雨期间，污水量有时会超过系统容量。当这种情况发生时，未经处理的雨水和废水直接排放到附近的溪流、河流和其他水体。这将威胁公众健康和环境，造成饮用水污染和其他问题。最小化下水道溢出需要一种优化方法，该方法可以在控制闸门上提供最优的决策变量序列。传统的策略使用经典的优化算法，如遗传算法和模式搜索，来找到决策变量的最优序列。然而，这些传统的框架非常耗时，几乎不可能实现近实时的最优控制。本文利用一种新的最优控制工具——强化学习，提出了一种更快的优化框架。本文使用的环境（流量建模器）是数值模型：EPA的Storm Water Management model (SWMM)，以保证环境响应的准确性。根据SWMM计算出的水深和溢出率构造奖励函数。该过程不断使奖励函数最小化，以获得每个控制孔口的最优流量释放顺序。密歇根州底特律的清教徒-芬克尔7英里设施的联合下水道系统（CSS）被选为案例研究。
A combined sewer system (CSS) collects rainwater runoff, domestic sewage, and industrial wastewater in the same pipe. The volume of wastewater can sometimes exceed the system capacity during heavy rainfall events. When this occurs, untreated stormwater and wastewater discharge directly to nearby streams, rivers, and other water bodies. This would threaten public health and the environment, contributing to drinking water contamination and other concerns. Minimizing sewer overflows requires an optimization method that can provide an optimal sequence of decision variables at control gates. Conventional strategies use classical optimization algorithms, such as genetic algorithms and pattern search, to find the optimal sequence of decision variables. However, these conventional frameworks are very time-consuming, and it is almost impossible to achieve near real-time optimal control. This paper presents a faster optimization framework by using a new optimal control tool: reinforcement learning. The environment (flow modeler) used in this paper is the numerical model: Environmental Protection Agency’s Storm Water Management Model (EPA SWMM) to ensure the accuracy of environment response. The reward function is constructed based on the calculated water depth and overflow rate from SWMM. The process keeps minimizing the reward function to obtain the optimal flow release sequence at each controlled orifice gate. The combined sewer system (CSS) of the Puritan-Fenkell 7-mile facility in Detroit, MI, is chosen as the case study.
登录
查看更多内容
一种用于多用途油藏优化的新型嵌套随机动态规划（nSDP）和嵌套强化学习（nRL）算法
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
Blagoj Delipetrev;A. Jonoski;D. Solomatine
通讯作者：
D. Solomatine
影响因子：
6.4
作者：
J. Sadler;J. Goodall;Mohamed M. Morsy;K. Spencer
通讯作者：
J. Sadler;J. Goodall;Mohamed M. Morsy;K. Spencer
利用不确定数据进行深度强化学习，实现实时雨水系统控制和防洪
影响因子：
3.4
作者：
Saliba, Sami M.;Bowes, Benjamin D.;Adams, Stephen;Beling, Peter A.;Goodall, Jonathan L.
通讯作者：
Goodall, Jonathan L.
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
Abhiram Mullapudi;B. Kerkez
通讯作者：
B. Kerkez
使用遗传算法优化基于模糊逻辑的局部实时控制系统以减轻下水道洪水
影响因子：
2.7
作者：
S. Mounce;W. Shepherd;S. Ostojin;M. Abdel;A. Schellart;J. Shucksmith;S. Tait
通讯作者：
S. Tait