研究版图与方向

三个层次

AI 系统相关的研究大致分三层。先了解自己对哪一层更感兴趣，再选具体方向。

对比维度	AI Infra	AI System	AI Application
一句话	让大模型跑得动、跑得快	让大模型能组合，更准、更快	让大模型能落地，更好用
定义	训练、推理和部署 AI 的底层系统支持	AI 运行的中间层，负责调用、组织和调度模型组件	用 AI 构建具体功能或产品
关注点	性能、并发、成本、分布式调度	模块组合、推理链路、Agent 架构、反馈闭环	用户需求、功能体验
技术关键词	vLLM、SGLang、Tensor Parallel、CUDA、K8s、Ray	RAG、Memory、MoE、LangGraph、LLM Orchestration	Prompt、Embedding 检索、Copilot、微调
代表问题	一个 70B 模型如何在多卡上低延迟部署？	如何让对话记住上下文和历史？	如何帮用户更快完成写作、分析或推荐？
产出	推理框架、调度平台、资源池化方案	推理服务、多模块调度器、Agent 平台	AI 应用、功能模块
能力要求	系统工程功底，熟悉并发、内存、GPU 原理	熟悉 LLM API，具备系统设计能力	懂产品、懂 prompt，能快速做原型验证效果
主要发表	网络/系统会议与期刊（OSDI、NSDI、MobiCom、TMC、TPDS…）	AI/系统/数据库会议（ICML、MLSys、ICDE…）	AI 会议与期刊（NeurIPS、CVPR、ACM MM…）

具体会议列表见会议与期刊。

怎么判断自己适合哪一层？ 喜欢抠性能、看到延迟降了 30% 会兴奋，适合 Infra；喜欢搭系统、把多个组件编排起来解决问题，适合 System；更关心效果和体验，适合 Application。三层之间没有高低之分，课题组的很多工作也是跨层的。

五个具体方向

下面每个方向都列了组内论文和外部的代表性工作。先读组内论文了解我们具体在做什么，再读外部论文了解领域全貌。每篇组内论文的问题、方法、结果和代码见组内论文导读，读法见读组内论文。

方向一：云边协同的大模型服务质量优化

问题：边缘侧算力有限，只能放小模型或部分模型；云端模型强但远、贵。如何在云和边之间分配请求、缓存和计算，让用户感受到的服务质量（响应速度、吞吐量、回答质量、满意度）最好？

方法关键词：请求调度与负载均衡、模型分层卸载、KV Cache 复用与传输、语义缓存、向量数据库与 RAG、强化学习决策。

组内论文

• VELO: A Vector Database-Assisted Cloud-Edge Collaborative LLM QoS Optimization Framework. ICWS, 2024.（arXiv:2406.13399）
• Enhancing LLM QoS through Cloud-Edge Collaboration: A Diffusion-based Multi-Agent Reinforcement Learning Approach. IEEE TSC, 2025.（VELO 的期刊版）
• Cloud-Edge System for Scheduling Unpredictable LLM Requests with Combinatorial Bandit. IEEE TSC, 2025.
• Adaptive Request Scheduling and Load Balancing for Edge Deployed Large Language Models. IEEE TSC, 2026.
• Efficient Layer-Granularity Unloading for LLMs in Edge Computing. IEEE TMC, 2026.
• Semantic Cache Distillation: Efficient State Transfer via Reuse and Selective Patching. ICML, 2026.（arXiv:2606.07684）

外部代表工作

• Efficient Memory Management for Large Language Model Serving with PagedAttention（vLLM）. SOSP, 2023.
• DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving. OSDI, 2024.
• Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving. FAST, 2025.
• CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion. EuroSys, 2025.（代码：LMCache）

相关实验：L1 大模型部署与压测、L3 RAG 与智能体

方向二：端侧复杂大模型应用加速

问题：真实的大模型应用不是单次调用，而是 RAG、Agent、多模型流水线组成的工作流。在端侧 CPU、GPU、NPU 等异构硬件上，如何把整个工作流端到端地加速？

方法关键词：工作流图优化、算子拆分、模块并行、流水线、异构协同执行、通信与内存优化。

组内论文

• HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization. ICML, 2026.（arXiv:2607.22578）
• Adapting Multi-Model Inference Pipelines with Diffusion-Based Reinforcement Learning in Edge Computing. IEEE TSC, 2026.
• Adaptive Configuration Selection for Multi-Model Inference Pipelines in Edge Computing. HPCC, 2024.

外部代表工作

• Towards End-to-End Optimization of LLM-based Applications with Ayo. ASPLOS, 2025.（代码：NetX-lab/Ayo）
• Parrot: Efficient Serving of LLM-based Applications with Semantic Variable. OSDI, 2024.
• SGLang: Efficient Execution of Structured Language Model Programs. NeurIPS, 2024.
• PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU. SOSP, 2024.

相关实验：L1、L3、L8 Jetson 端侧推理

方向三：生成式 AI 的缓存与并行加速

问题：文生图、文生视频模型要迭代几十步去噪，每一步都跑一遍大模型，非常慢。相邻步之间的中间结果高度相似，如何复用这些计算，在几乎不损失质量的前提下大幅加速？

方法关键词：特征缓存（feature caching）、步间复用、特征预测、token 剪枝、Prompt embedding 复用、多卡并行推理、生成任务调度。

组内论文

• BWCache: Accelerating Video Diffusion Transformers through Block-Wise Caching. ICLR, 2026.（arXiv:2509.13789，代码）
• Predict to Skip: Linear Multistep Feature Forecasting for Efficient Diffusion Transformers. ACM MM, 2026.（arXiv:2602.18093，代码）
• Not All Frames Deserve Full Computation: Accelerating Autoregressive Video Generation via Selective Computation and Predictive Extrapolation. ACM MM, 2026.（arXiv:2604.02979，代码）
• EAT: QoS-Aware Edge-Collaborative AIGC Task Scheduling via Attention-Guided Diffusion Reinforcement Learning. IEEE TMC, 2026.（arXiv:2507.10026，代码）

外部代表工作

• Approximate Caching for Efficiently Serving Text-to-Image Diffusion Models（NIRVANA）. NSDI, 2024.
• DeepCache: Accelerating Diffusion Models for Free. CVPR, 2024.
• Timestep Embedding Tells: It's Time to Cache for Video Diffusion Model（TeaCache）. CVPR, 2025.
• Accelerating Diffusion Transformers with Token-wise Feature Caching（ToCa）. ICLR, 2025.
• From Reusing to Forecasting: Accelerating Diffusion Models with TaylorSeers. arXiv:2503.06923.

相关实验：L5 扩散模型推理与加速

方向四：边缘多模型推理系统与容器调度

问题：边缘集群里同时跑着很多模型和服务，资源紧张、负载波动大。如何调度容器、分配资源、做弹性伸缩和迁移，在满足延迟要求（SLA）的同时降低成本和能耗？

方法关键词：容器调度与迁移、镜像层感知、冷启动优化、资源超售、弹性伸缩、多模型路由、深度强化学习调度。

组内论文

• Layer Dependency-aware Learning Scheduling Algorithms for Containers in Mobile Edge Computing. IEEE TMC, 2023.（层感知调度这条线的起点，L9 按它的模型写了仿真器）
• Layer-Aware Cost-Effective Container Updates with Edge-Cloud Collaboration in Edge Computing. IEEE TMC, 2025.
• Online Layer-Aware Joint Request Scheduling, Container Placement, and Resource Provision in Edge Computing. IEEE TSC, 2025.
• Online Container Scheduling with Fast Function Startup and Low Memory Cost in Edge Computing. IEEE TC, 2024.
• Latency-Aware Container Scheduling in Edge Cluster Upgrades: A Deep Reinforcement Learning Approach. IEEE TSC, 2024.
• Multi-user Layer-aware Online Container Migration in Edge-assisted Vehicular Networks. IEEE/ACM ToN, 2024.
• Joint Resource Overbooking and Container Scheduling in Edge Computing. IEEE TMC, 2024.
• LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing. MSN, 2024（最佳论文奖，代码）.
• LR²Scheduler: Layer-aware, Resource-balanced, and Request-adaptive Container Scheduling for Edge Computing. CCF TPCI, 2025.
• Hybrid Learning for Cold-Start-Aware Microservice Scheduling in Dynamic Edge Environments. IEEE TMC, 2026.

外部代表工作

• AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving. OSDI, 2023.
• Kubernetes 调度框架（Scheduling Framework）与 scheduler-plugins。
• 面向 AI 负载的调度器：Volcano、Kueue、KAI Scheduler。

相关实验：L9 层感知容器调度仿真、L6 Kubernetes 与调度、L7 Prometheus 监控、L4 分布式

方向五：高效多模态推理与检索

问题：图像、文本、音频、视频混合的检索和问答，既要语义对得准，又要在边缘设备上算得快、存得下。

方法关键词：跨模态对齐、多模态 embedding、向量索引与重排、多模态 RAG、视觉 token 压缩。

待补充

本方向的组内参考论文正在整理。下面的外部工作可以作为起点。

• Learning Transferable Visual Models From Natural Language Supervision（CLIP）. ICML, 2021.
• ColPali: Efficient Document Retrieval with Vision Language Models. ICLR, 2025.
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models（FastV）. ECCV, 2024.

相关实验：L2 向量数据库与多模态检索

其他可以探索的方向

课题组也关注下面这些方向，有兴趣可以主动和导师讨论：

• 大模型记忆与长上下文：KV Cache 压缩（StreamingLLM、H2O、SnapKV 等）、Agent 长期记忆。
• 多智能体系统：多个大模型智能体的协作、通信与调度。
• Agentic RL 与后训练：用强化学习训练会使用工具、能多步决策的大模型，见强化学习。
• 大模型训练系统：预训练、后训练中的并行策略与资源调度。

背后的主要技术

• 模型相关：LLM、扩散模型、视觉语言模型（VLM）、RAG、Agent
• 系统相关：Docker、Kubernetes、Prometheus、Ray、vLLM/SGLang

不知道某个词是什么意思，查术语表。