如何构建复杂的分布式服务网络以实现本地或远程的云服务组合，一直受到学者和业界的重点关注。通过服务组合，业务过程服务被集成到新的SBS中，进而实现云计算环境下的BPaaS。由于云服务环境的不确定性，传统服务组合与协同业务流程重构算法难以应对服务质量参数不确定和无法事先预知的挑战。
针对上述挑战，课题组分析了传统强化学习算法受限于动作空间和样本空间的离散性等特点，将深度神经网络的高维输入与强化学习相结合解决复杂云环境下的高维空间解析，以解决云计算环境下的动态规划和优化问题，具有良好的自适应能力。而且根据跨组织服务工作流的演化特性，首次将演化深度强化学习理论和和启发式算法引入到服务业务模型优化中，解决了大规模业务过程演化中状态转移的时间依赖性问题，提出了一种基于演化深度强化学习的BPaaS协同业务流程重构算法（EDQL-BPR），通过融合改进的粒子群优化算法和深度强化学习算法，实现动态环境下效率和适应性的良好平衡。
具体而言，为了在更细粒度的异构业务过程源中重构SBS，本文在活动级（activity-level）设计了标记业务过程（Business Process，BP）表示矩阵的编码算法，在业务过程模型中实现重构转移系统，该算法提供了一种可配置的方法来标记和重构大规模过程模型。而且，从效率和适应性的角度出发，将演化深度强化学习方法和启发式算法引入到基于三层架构的异构BPaaS组合中。这两种方法的集成使学习Agent能够确定最优的学习动作顺序，提高了随机环境下深度强化学习算法的收敛性能。实验结果表明了本文方法在BPaaS协同推荐中的有效性和准确性。
上述工作得到了安徽省自然科学基金（1908085MF191）和国家基金科学基金（61672022）项目的资助。
论文链接： https://www.sciencedirect.com/science/article/abs/pii/S2452414X20300649
终审人：蔡永晨