深度强化学习（DRL）技术在城市排水系统实时控制（UDS-RTC）中的潜力巨大，但这种技术面临着一个重大问题：它往往需要通过大量试错来学习，导致训练时间非常长且难以收敛。为了解决这一问题，研究团队提出了一种新的知识-数据融合框架。这个框架通过将工程经验知识转化为可学习的数据，为智能体提供了一个高质量的起点。研究表明，使用这个框架能够节省90%以上的训练时间。文章的作者包括Wenchong Tian、Zhiyu Zhang、Xuan Wang、Hexiang Yan、Zhenliang Liao、Kunlun Xin、Tao Tao和Zhiguo Yuan。他们分别来自香港理工大学、海洋环境健康国家重点实验室、同济大学以及西安建筑科技大学。这个研究成果发表在Water Research期刊上。该研究详细探讨了知识质量对DRL性能的影响，并证明了整合多种类型的知识可以进一步提升框架的整体效能。这个创新的方法为解决深度强化学习在复杂系统控制中面临的挑战提供了一个通用的解决方案。研究团队通过模拟仿真，将多样化的先验知识转化为标准化的数据集，为DRL智能体提供了模仿的目标。经过预训练后，智能体能够快速掌握系统控制的基本策略和响应逻辑。在实际应用中，智能体在华东地区的一个合流制排水系统中展示了良好的性能表现。该框架通过有机融合领域知识和深度学习的优势，实现了训练效率和控制性能的双重提升。 这项研究强调了未来的发展方向包括开发自动化评估方法以优化知识质量，探索该框架在更广泛场景中的应用潜力。文章的编者指出这个创新解决方案直指人工智能在水务领域应用的核心痛点。这个方法论不仅对城市排水管理具有重要意义，还可以应用于其他复杂工程系统的智能控制中。 通过系统性地注入工程先验知识到DRL训练流程中，这个框架从根本上解决了高成本训练的难题。通过比较基于不同知识训练的智能体与“从零学习”智能体的性能验证了其有效性。这个通用预训练模型库的构建有望实现针对特定系统的快速定制化部署。 这个方法流程包括知识转化、监督预训练以及强化微调三个阶段。在这个过程中近端策略优化算法（PPO）被用于智能体的离线预训练以快速掌握基本策略和响应逻辑。该过程保证了智能体具备初步控制常识从而加速后续强化微调过程找到高性能控制方案以兼顾内涝与合流制溢流削减效果。