强化学习

课题组的很多调度和资源分配工作用深度强化学习做决策，例如容器调度、请求调度、云边协同。做这些方向需要掌握强化学习基础。

学习路线

1. 基本概念：智能体、环境、状态、动作、奖励、策略、价值函数、Q 函数。
2. 理论基础：马尔可夫决策过程（MDP），回报与折扣因子，贝尔曼方程。
3. 基于价值的方法：Q-learning，Deep Q-Network（DQN）及其变体（Double DQN、Dueling DQN）。
4. 策略梯度方法：REINFORCE，Actor-Critic、A2C、A3C。
5. 进阶算法：TRPO、PPO（目前最常用，必须掌握）、SAC。
6. 扩展方向（按需）：多智能体强化学习（如 MAPPO）、离线强化学习、基于扩散模型的策略。

推荐材料

视频（二选一）

• 台湾大学李宏毅：深度强化学习部分只看前 6 讲，约 3 个多小时，通俗易懂。缺点是只有理论，没有代码。YouTube 播放列表
• 上海交通大学张伟楠：重点看前 10 讲，比李宏毅的更详细，配套书籍有代码。缺点是时间较长。B 站视频

书与代码

• 《动手学强化学习》：张伟楠老师课程的配套书，每个算法都有可运行的 Jupyter 代码。
• Hugging Face Deep RL Course：免费的在线课程，从基础概念讲到 PPO 和多智能体，每单元都有可以在线运行的练习。
• Spinning Up in Deep RL：OpenAI 出品的英文入门，算法讲解清晰。
• CleanRL：每个算法一个文件的高质量实现，适合对照着读。
• Gymnasium：标准的强化学习环境接口；多智能体环境看 PettingZoo。

在系统研究中怎么用

把一个调度问题建模成 MDP 是这类研究的第一步。以边缘集群的容器调度为例：

MDP 要素	对应到调度问题
状态	各节点的 CPU、内存、GPU 占用，已缓存的镜像层，待调度请求的特征
动作	把容器放到哪个节点，或者给请求分配哪个模型实例
奖励	负的延迟、SLA 满足率、成本或能耗的加权组合
环境	先用模拟器（基于真实 trace），再到真实集群验证

练习：用 Gymnasium 的接口写一个简化的“把任务分配到 3 台服务器”的环境，用 PPO 训练，和随机分配、最少负载优先两个简单策略对比。完整的例子见 L9 层感知容器调度仿真。

状态里的资源数据可以从 Prometheus 实时获取，见 L7 Prometheus 监控。

调度论文里的强化学习

课题组的调度类论文大多用深度强化学习，做法有很多共同点。读这些论文、做自己的研究时，下面几点会反复遇到。

常见的建模方式

要素	常见做法	组内例子
决策时机	每来一个请求（任务）决策一次，或者每个时间片决策一次	LDLS 每来一个任务决策一次
状态	每个节点一行特征（资源占用、已有的层、估计的各项时间）组成矩阵，再加上当前任务的特征	LDLS 的状态包括各节点的层分布矩阵（每层是否已有、剩余下载时间、层大小）、资源状态（CPU 频率、带宽、剩余下载时间），以及把当前任务放到各节点的估计时间
动作	离散：选哪个节点；混合：离散选择加连续数值（例如选节点的同时决定超售比例）	ROCS 用混合动作空间
奖励	延迟、成本的相反数，或者收益	LDLS 用任务完成时间的相反数，ROCS 用服务商的收益

常用技巧

• 动作掩码：把不可行的动作（资源不够、存储放不下）的概率设为 0。比用负奖励惩罚不可行动作更有效。
• 对节点共享打分网络：用同一个网络给每个节点打分，再做 softmax。节点数变化时不用重新设计网络，节点的顺序也不影响结果。
• 特征提取：节点之间、任务之间的关系用注意力、LSTM、图神经网络提取。组内论文用过因子分解机（LDLS）、注意力加 LSTM（ToN 2024）、自注意力（TSC 2024）、图注意力（GAP）。
• 奖励缩放和回报标准化：奖励的数值范围差几个数量级时训练很难收敛，先缩放到 1 附近。
• 和强基线比较：至少和一个精心设计的贪心算法比较。只和随机调度比，什么方法都显得很好。

组内论文用到的算法

算法	组内论文	特点
PPO（带 clip 目标的策略梯度，配合价值网络和优势估计）	LDLS、ToN 2024、TSC 2024、GAP	训练稳定，是最常用的通用算法
REINFORCE（最基本的策略梯度）	L9 实验使用的简化版本	最简单，适合离散动作，但方差大；论文里一般用 PPO 等改进算法
SAC	ROCS	适合连续或混合动作，样本利用率高
多智能体强化学习	VELO	多个智能体分别决策、相互配合
基于扩散模型的策略	VELO 期刊版、EAT、多模型推理流水线（TSC 2026）	用扩散模型从噪声逐步生成动作，能表示复杂的多峰动作分布

基于扩散模型的策略是近几年的新方法，入门可以读 Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning（ICLR 2023），再读组内的 VELO 期刊版和 EAT。

大模型与强化学习

强化学习也是大模型后训练的核心技术，这是 2025 年以来的热点：

• RLHF：用人类偏好训练奖励模型，再用 PPO 优化语言模型。
• GRPO：DeepSeekMath（arXiv:2402.03300）提出、DeepSeek-R1 广泛使用的算法，不需要单独的价值网络，训练推理能力很有效。
• Agentic RL：训练会调用工具、能多步规划的大模型智能体。
• 入门材料：Happy-LLM 中关于大模型强化学习的一章（讲到 GRPO）；Stanford CS336 中用可验证奖励做后训练（RLVR）的一讲。
• 常用框架：TRL、verl、OpenRLHF。这些框架本身也是 AI 系统研究的对象：训练时生成（rollout）和更新交替进行，如何调度 GPU 资源是一个系统问题。