术语表

基础概念

术语	解释
终端 / Shell	输入命令的程序。见选择环境与 Linux 入门
环境变量 / PATH	传给程序的配置；PATH 决定在哪些目录里找命令
虚拟环境	每个项目独立的一套 Python 和包，见 Python 环境
SSH	远程登录服务器的协议，见使用服务器
端口	一台机器上区分不同网络服务的编号，例如 SSH 默认 22，vLLM 默认 8000
驱动 / CUDA	驱动让系统能用显卡；CUDA 是 NVIDIA 的 GPU 编程平台，见 GPU 与 CUDA
显存	GPU 自己的内存，决定了能跑多大的模型
容器 / 镜像	镜像是打包好的运行环境，容器是镜像运行起来的实例，见 Docker
仓库 / 提交 / 分支	Git 的基本概念，见 Git 与 GitHub
API	程序之间调用的接口。大模型服务通常提供 OpenAI 兼容的 API
FLOPs	浮点运算次数，衡量计算量；FLOPS（大写 S）是每秒浮点运算次数，衡量算力
预印本（preprint）	正式发表前公开的论文，主要发布在 arXiv
CCF-A / CCF-B	中国计算机学会推荐的国际会议和期刊等级，见会议与期刊

大模型推理

术语	解释
预填充（Prefill）	一次性处理输入提示词的所有 token，计算密集
解码（Decode）	逐个生成输出 token，每步只算一个 token，受显存带宽限制
KV Cache	缓存之前所有 token 在注意力层的 Key 和 Value，避免重复计算；长上下文时非常占显存
PagedAttention	vLLM 提出的方法，像操作系统的分页一样管理 KV Cache，减少显存碎片
连续批处理（Continuous Batching）	请求随时加入、随时离开批次，而不是等一批全部完成，大幅提高吞吐
前缀缓存（Prefix Caching）	多个请求有相同开头（如系统提示词）时复用它们的 KV Cache
预填充与解码分离（PD 分离）	把两个阶段放在不同的 GPU 上执行，互不干扰
推测解码（Speculative Decoding）	小模型先猜几个 token，大模型一次验证，加速生成
量化（Quantization）	用更低的精度（INT8、INT4、FP8）存储权重，减少显存、加速推理；GGUF、AWQ、GPTQ 是常见格式或方法
张量并行（TP）/ 流水线并行（PP）	把一个模型切到多张卡上：TP 切每一层，PP 按层切分
MoE（混合专家）	每个 token 只激活部分参数（专家），总参数大但计算量小
KV Cache 传输	预填充与解码分离时，要把预填充得到的 KV Cache 传给负责解码的机器，可能成为首字延迟的瓶颈
智能体工作流（Agentic Workflow）	由多次大模型调用，加上检索、重排、工具调用等组成的处理流程

性能指标

术语	解释
TTFT	首字延迟，从发出请求到收到第一个 token 的时间
TPOT	平均每个输出 token 的生成时间
吞吐量（Throughput）	单位时间完成的请求数或生成的 token 数
SLO / SLA	服务水平目标 / 协议，例如“99% 的请求 TTFT 低于 500 ms”
Goodput	满足 SLO 的请求的吞吐量
P50 / P99	50% / 99% 的请求低于这个值，P99 衡量尾延迟
QoS	服务质量，综合延迟、吞吐、可靠性等

检索与 RAG

术语	解释
Embedding	把文本、图片映射成的向量，语义相近的内容向量距离近
ANN	近似最近邻搜索，用一点精度换大量速度
HNSW / IVF	两类常见的向量索引结构
RAG	检索增强生成：先检索相关资料，再让模型基于资料回答
Recall@K	正确结果出现在前 K 个检索结果中的比例

扩散模型

术语	解释
去噪步（Timestep）	扩散模型从噪声逐步生成图像，每一步调用一次主干网络
DiT	Diffusion Transformer，用 Transformer 作为扩散模型的主干网络
CFG	Classifier-Free Guidance，同时计算有条件和无条件两次预测来增强对提示词的遵循，计算量翻倍
VAE	在像素空间和潜空间之间转换；生成时最后一步用 VAE 解码出图像或视频
特征缓存（Feature Caching）	复用相邻去噪步之间相似的中间特征，跳过部分计算
相对 L1 距离	两个张量之差的绝对值的均值，除以原张量绝对值的均值，常用来衡量相邻去噪步之间特征的变化
线性多步法	用前几步的结果外推下一步的数值方法，如 Adams-Bashforth；PrediT 用它预测后面的特征
自回归视频生成	逐帧或逐段生成视频，后面的内容以前面已生成的内容为条件
PSNR / SSIM / LPIPS	衡量两张图像差异的指标；LPIPS 基于神经网络特征，更接近人的感受
VBench	视频生成的多维度评测基准

容器与集群

术语	解释
镜像层（Layer）	镜像由多层组成，节点上已有的层不需要重新下载
冷启动	容器从无到能处理请求的过程，包括拉取镜像、启动、加载模型
Pod / Deployment / Service	K8s 的基本对象，见 L6
污点与容忍（Taint / Toleration）	让节点排斥某些 Pod，除非 Pod 声明可以容忍
弹性伸缩（Autoscaling）	根据负载自动增减副本数
层感知（Layer-aware）	调度、迁移或更新容器时考虑节点上已有哪些镜像层，减少下载和传输，见镜像层
镜像清单（Manifest）	镜像仓库中描述一个镜像由哪些层组成的文件，列出每层的摘要（digest）和大小
无服务器计算（Serverless）	用户只提交函数，平台收到请求时自动启动容器运行，空闲时回收；回收后的下一次请求要冷启动
资源超售（Overbooking）	分配出去的资源总量超过实际容量，利用“大家不会同时用满”提高利用率，代价是有过载的风险
成组调度（Gang Scheduling）	一组相关的任务必须同时拿到资源才能开始执行，例如多卡并行生成的各个部分

建模与算法

术语	解释
系统模型	论文中对系统的数学描述：有哪些实体、参数，时间和成本怎么计算，见读组内论文
决策变量	算法要决定的量，例如每个任务调度到哪个节点
NP-hard	目前没有已知的多项式时间最优算法的一类问题，见数学基础
整数规划 / 松弛	决策变量只能取整数的优化问题；把整数条件放宽为实数叫松弛
在线算法	输入逐个到来，不知道未来也必须马上决策的算法
竞争比	在线算法在最坏情况下的代价与“知道全部未来的最优解”的代价之比，见在线算法与竞争比
多臂老虎机（Bandit）	在“尝试新选择”和“利用已知最好的选择”之间权衡的在线决策模型
trace	从真实系统中记录下来的请求、任务或资源使用数据，用来驱动仿真
仿真器（Simulator）	按系统模型写的程序，不用搭真实集群就能比较调度算法，见 L9
基线（Baseline）	用来和新方法对比的已有方法

强化学习

术语	解释
MDP	马尔可夫决策过程：状态、动作、转移、奖励
策略（Policy）	从状态到动作的映射
PPO	目前最常用的策略梯度算法，训练稳定
GRPO	用同一问题的多个回答相互比较来估计优势，不需要价值网络，常用于大模型推理能力训练
MARL	多智能体强化学习
策略梯度（Policy Gradient）	直接调整策略网络的参数，让带来高回报的动作的概率变大；REINFORCE 是最简单的一种
折扣回报	当前及以后各步奖励的加权和，越往后的奖励乘上越多次折扣因子 γ，权重越小
动作掩码（Action Masking）	把不可行动作的概率设为 0，调度问题中很常用
SAC	Soft Actor-Critic，在最大化回报的同时鼓励探索，适合连续动作
扩散策略（Diffusion Policy）	用扩散模型从噪声逐步生成动作的策略网络，能表示复杂的动作分布

硬件

术语	解释
Jetson	NVIDIA 的嵌入式 AI 计算平台，CPU 与 GPU 共享内存
NPU	神经网络处理器，专用的 AI 加速芯片
TOPS	每秒万亿次运算，衡量 AI 芯片算力，通常指 INT8
显存带宽	解码阶段的瓶颈，决定了生成速度的上限