GPU 也需要操作系统?AI 算力竟然有 90% 在摸鱼!

本文永久链接 – https://tonybai.com/2026/11/21/gpu-needs-an-operating-system

大家好,我是Tony Bai。

【导读】

AI 时代,GPU 已经成为最昂贵、最稀缺的计算资源之一。各大公司不断采购 GPU、建设数据中心,试图用更多硬件换取更强的 AI 能力。

但一个有些反直觉的事实是:GPU 在运行大语言模型推理时,计算单元可能大部分时间都处于闲置状态。

近日,OpenInfer 的两位研究人员在一篇新论文中提出了一个颇具想象力的观点:GPU 需要自己的操作系统。

就像 CPU 操作系统能够让浏览器、音乐播放器和后台任务共享处理器一样,未来的 GPU 也应该拥有一套智能调度机制,让实时推理、模型训练、评估等任务共享 GPU 的闲置资源,同时保证用户请求的响应时间。

论文不仅提出了这一架构,还给出了实验数据:在特定实验配置下,研究系统能够额外利用约四分之一的 GPU 算力,而前台推理任务的性能下降仅为 1.6%。

这究竟是如何做到的?GPU 为什么会有这么多闲置算力?给 GPU 装上操作系统,又需要改变哪些底层机制?

这篇论文值得所有关注 AI 基础设施、GPU 架构和大模型推理优化的工程师认真阅读。

【文章要点】

  1. GPU 为什么会闲置?大模型 Decode 阶段受到显存带宽限制,计算单元无法持续满负荷运行。
  2. 为什么现有 GPU 调度机制不够用?CUDA Stream Priority、MIG、Green Context 等机制无法提供足够精细的抢占和资源调度能力。
  3. GPU 操作系统应该是什么样?建立覆盖计算单元、显存带宽、缓存、设备内存和数据传输的多维资源调度体系。
  4. 如何让 GPU 任务可以被调度?需要编译器将 Kernel 切分成短小、可暂停、可恢复的执行片段。
  5. 论文做出了什么实验成果?利用现有硬件机制及研究型 Resident Kernel,在尽量不影响前台推理的情况下运行后台任务。
  6. 未来还需要什么?GPU 芯片厂商需要提供微秒级抢占、显存优先级和动态硬件分区等能力。


GPU 很贵,但可能有 90% 的算力在闲置

先想象一个场景。

一家 AI 公司花费巨资购买了数百张 GPU,用来运行大语言模型。GPU 每天 24 小时工作,电费、机房、运维成本一样不少。

但仔细观察 GPU 的运行状态,却发现了一个奇怪的现象:

GPU 明明在处理 AI 请求,大量计算单元却没有真正忙起来。

这不是个别模型或某家公司的问题,而是大模型推理过程中存在的一种结构性现象。

论文首先分析了两个大型模型的推理表现。

其中一个是拥有 3970 亿参数的 Qwen3.5-397B,另一个是拥有近万亿参数的 Kimi K2。

在作者的实验中,使用标准 vLLM 部署时,GPU 的 Tensor Core 利用率数据令人意外:

  • Qwen3.5-397B:Tensor Core 平均活跃率约为 7%。
  • Kimi K2:Tensor Core 活跃率约为 6%~11%。

注意,这里说的是 Tensor Core 活跃率,而不是整个 GPU 的综合利用率。

也就是说,GPU 内部最重要的矩阵计算单元,在这些推理负载下,大部分时间并没有执行矩阵运算。

为什么?

答案要从大模型推理的两个阶段说起。

1. Prefill 和 Decode 的不同

大模型推理通常分为两个阶段:

  • Prefill:一次性处理用户输入的 Prompt,计算并建立上下文。
  • Decode:逐个生成 Token,每生成一个 Token,都需要读取模型权重并进行计算。

Prefill 阶段通常具有较高的并行度,可以充分利用 GPU 的矩阵计算能力。

但 Decode 不一样。

假设模型有 1000 亿参数,每生成一个 Token,都需要读取大量模型权重。

即使 GPU 拥有极其强大的 Tensor Core,如果数据还没有从显存中读取出来,计算单元也只能等待。

这就是典型的 Memory-bound 问题。

GPU 的计算能力很强,但显存带宽跟不上,最终导致计算单元大量空闲。

2. 算力和带宽之间的失衡

论文使用了一个重要概念:Roofline Model 中的计算与访存比,也就是 Arithmetic Intensity。

简单理解,就是每从内存读取一个字节的数据,能够执行多少次计算。

对于现代 GPU,计算能力的增长速度已经远远超过显存带宽的增长速度。

论文列举了几种硬件:

硬件 计算与带宽比(Ridge)
NVIDIA RTX PRO 6000 Blackwell 约 280 FLOP/Byte
AMD MI300X 约 250 FLOP/Byte
Google TPU v5e 约 240 FLOP/Byte
Google TPU v6e 约 560 FLOP/Byte

而在小 Batch 的 Decode 场景中,每读取一个权重字节,能够执行的计算量非常有限。

于是出现了一个尴尬局面:

GPU 拥有数百 TFLOPS 甚至 PFLOPS 的计算能力,但实际工作负载根本无法持续提供足够的数据。

这就像一个拥有几百名工人的工厂,却只有一条狭窄的原材料运输通道。

工人不是不想干活,而是在等原材料。

问题的关键不是 GPU 计算能力不够,而是 GPU 资源没有得到充分利用。

为什么不能直接让其他任务使用闲置算力?

既然 GPU 有这么多空闲计算资源,一个自然的想法是:

能不能让 GPU 在执行大模型推理的同时,顺便运行其他任务?

例如:

  • 前台:处理用户的实时推理请求。
  • 后台:执行模型训练。
  • 后台:执行模型评估。
  • 后台:计算 Reward Score。
  • 后台:执行数据预处理或其他 AI 工作负载。

如果可以做到,那么同样一张 GPU,就能承担更多工作。

但问题在于:GPU 并不是一台拥有完善操作系统的计算机。

1. GPU 缺少真正的抢占机制

在 CPU 世界里,操作系统可以通过时间片调度,让多个进程共享 CPU。

一个任务运行一段时间,操作系统可以暂停它,让另一个任务获得执行机会。

但 GPU 的执行模型有所不同。

CUDA Stream Priority 可以设置不同任务的优先级,但它并不意味着正在运行的低优先级 Kernel 会被立即中断。

如果一个后台 Kernel 已经启动,即使前台推理请求突然到来,也可能需要等待后台 Kernel 执行完毕。

论文给出了一个极端但很有说服力的实验:

一个持续运行 1 毫秒的低优先级后台任务,可能让前台任务的延迟放大到原来的 10 倍。

在 AMD MI300X 上,作者甚至观察到,前台任务可能需要等待一个 200 毫秒的后台任务结束。

对于大模型在线推理来说,这显然无法接受。

用户正在等待 AI 回复,系统却让他排队等待一个与自己无关的后台任务。

2. MIG 和 Green Context 也有局限

目前 GPU 已经存在一些资源隔离和分区机制。

例如:

  • NVIDIA MIG:将一张 GPU 划分为多个相对独立的 GPU 实例。
  • Green Context:为特定 CUDA 工作分配一定数量的 SM。
  • CUDA Stream Priority:为不同任务设置执行优先级。

这些机制能够解决一部分问题,但仍然存在不足。

MIG 的分区相对固定,重新划分资源还可能需要重置 GPU。

Green Context 可以限制任务使用的 SM 数量,但无法解决所有显存带宽和缓存竞争问题。

Stream Priority 则无法提供所需要的微秒级抢占能力。

更重要的是,这些机制通常只管理 GPU 的部分资源。

而真实的 GPU 运行环境中,计算单元、显存带宽、L2 Cache、设备内存、PCIe、NVLink,甚至功耗,都是不同任务竞争的对象。

GPU 需要的不是一个简单的任务优先级队列,而是一套完整的资源管理系统。

OpenInfer 提出:给 GPU 装上操作系统

这正是论文最有意思的地方。

作者提出,应该为 GPU 建立一个类似 CPU 操作系统的资源管理体系。

我们可以把它理解为 GPU OS。

它不只是负责决定哪个 Kernel 先执行,而是需要对整个 GPU 的资源进行统一管理。

论文提出了六层架构。

从底层向上看:

L0:芯片硬件能力(Chip Features)

提供底层支持,包括任务信号、队列、快速暂停和内存优先级等。

L1:Kernel 执行规范(Kernel Rules)

要求 Kernel 变成可以暂停、恢复的短小执行片段,并明确声明自己需要使用哪些资源。

L2:GPU 内部调度器(On-GPU Scheduler)

负责将不同任务的执行片段分配到 GPU 的 SM 上。

L3:资源管理器(Resource Governor)

管理显存带宽、缓存、数据传输等资源,避免后台任务干扰前台任务。

L4:资源成本模型(Cost Model)

预测后台任务会给前台任务带来多大影响。

L5:任务准入控制(Admission Control)

决定哪些后台任务可以进入 GPU,以及可以使用多少资源。

这六层架构的核心思想是:

GPU 不再被某一个程序独占,而是由操作系统根据任务优先级和资源使用情况,动态分配计算资源。

例如:

一个用户正在等待 AI 生成回复,系统会优先保证这个请求的响应时间。

如果发现当前推理任务的计算单元存在空闲,就可以让后台训练任务使用其中一部分。

一旦前台推理任务需要更多资源,后台任务就应该及时让出资源。

这与 CPU 操作系统中前台应用和后台进程共享 CPU 的思想非常相似。

关键概念:Slack

这里还有一个很重要的概念:Slack。

可以将它理解为前台任务的性能余量。

假设一个推理任务原本需要 40 毫秒完成,系统允许它最多增加 6% 的延迟。

那么它的时间预算就是:

40 × 1.06 = 42.4 毫秒。

多出来的 2.4 毫秒,就是可以用于后台任务的性能余量。

GPU OS 的目标,就是在不突破这个预算的情况下,尽可能多地安排后台工作。

这实际上是把 GPU 资源调度从传统的固定分区,变成了一种基于实时性能约束的动态资源分配。

让 GPU 任务变得可以暂停:编译器也要改变

不过,仅仅设计一个调度器还不够。

这里有一个容易被忽略的问题:

如果 GPU 上运行的 Kernel 无法暂停,操作系统又如何调度它们?

论文认为,未来的 GPU Kernel 必须具备一种新的执行方式。

它们不能再假设自己能够独占 GPU,直到执行完成。

相反,一个 Kernel 应该被拆分为多个短小的执行片段。

每个片段需要:

  1. 执行时间足够短。
  2. 能够在安全的位置暂停。
  3. 保存必要的执行状态。
  4. 能够在稍后恢复执行。
  5. 声明自己对计算资源、显存带宽和缓存的需求。

例如,一个原本需要运行数毫秒的后台 Kernel,可以被编译器拆分成若干个几十微秒以内的执行片段。

当 GPU OS 发现前台推理任务需要资源时,就可以让后台任务暂停。

前台任务完成后,后台任务再继续执行。

这意味着,未来编译器需要承担更多责任。

论文特别提到了 Triton 和 CUTLASS。

它们需要能够从同一份 Kernel 源代码中,生成适应不同 GPU 资源分区的版本,并且为每个版本提供时间限制、安全暂停点和资源使用声明。

这件事如果依赖程序员手工完成,显然不现实。

所以,编译器必须成为 GPU OS 的重要组成部分。

从这个角度看,未来 GPU 的软件栈也会发生变化:

模型负责产生任务,编译器负责让任务可调度,运行时负责分配资源,硬件负责执行和抢占。

论文做出了什么?GPU 算力回收实验

理论很漂亮,但真正值得关注的是论文中的实验。

作者使用 NVIDIA RTX PRO 6000 Blackwell GPU 进行了一系列测试。

其中最重要的实验,是在运行 Kimi K2 Decode 的同时,安排后台任务执行。

1. 现有机制已经可以回收一部分算力

作者首先使用现有的 Green Context 机制,将 GPU 分成前台和后台两个资源区域。

实验中,前台任务需要保证自己的延迟增长不超过 6%。

结果显示:

后台工作负载 回收 GPU 资源 前台延迟增长
优化的合成计算任务 约 23% 约 5.1%
真实 FP8 GEMM 任务 约 9% 约 4.7%

这里有一个非常值得注意的细节。

合成任务可以回收约 23% 的 GPU 资源,但真实的矩阵乘法任务只能回收约 9%。

为什么?

因为真实任务不仅使用计算单元,还会访问 L2 Cache 和显存。

这些资源同样会被前台推理任务使用。

后台任务即使只占用了 GPU 的一小部分 SM,也可能通过缓存和显存带宽竞争,影响前台任务。

这说明,GPU 资源调度不能只看 SM 数量,还必须考虑整个存储层次结构。

2. 更进一步:Resident Kernel

论文还实现了一个更加有趣的研究系统:Resident Kernel。

传统 GPU 程序通常需要通过 CPU 不断提交 Kernel,CPU 和 GPU 之间存在一定的调度开销。

Resident Kernel 则采用另一种思路:

启动一个长期驻留在 GPU 上的 Kernel,让它自己负责请求接入、任务调度和执行。

作者基于这一思路,实现了一个能够运行 Llama-3.1-8B 的研究系统。

它将整个模型的推理过程放进一个长期驻留的 Kernel 中,包括:

  • 接收新的推理请求。
  • 执行 Token 采样。
  • 检查停止条件。
  • 管理 KV Cache。
  • 执行 Prefill 和 Decode。
  • 将生成结果传递给 CPU。

作者报告,在单请求场景下,这个系统的 Decode 性能比同一硬件上调优后的 vLLM 配置快约 3%。

更有意思的是,作者还在这个 Resident Kernel 内部安排了后台计算任务。

实验结果如下:

方案 回收 GPU 资源 前台推理性能下降
Green Context,传统调度 23% 5.1%
Resident Kernel,单请求 22% 0.3%
Resident Kernel,16 个请求 24% 1.6%

也就是说,在 16 个请求的实验中,后台任务获得了约 24% 的 GPU 计算能力,而前台推理性能只下降了 1.6%。

这是论文中非常吸引人的实验结果。

当然,需要强调:这里的后台工作是使用寄存器驱动的合成矩阵计算任务,并不是真正执行训练或评估的完整业务负载。真实后台任务还会产生额外的显存和缓存竞争。

因此,这个结果证明的是一种调度机制的潜力,而不是说现在就可以无损地让训练和推理共享 24% 的 GPU。

GPU OS 还缺什么?

如果 GPU OS 真要成为现实,仅仅依赖软件还不够。

论文明确提出了几项对 GPU 芯片厂商的需求。

第一,微秒级任务暂停能力。

后台任务应该能够在 5~20 微秒内暂停,并且恢复时不需要重新启动整个 Kernel。

第二,显存和缓存优先级。

前台推理任务应该能够在 L2 Cache 和显存控制器中获得更高优先级。

否则,即使后台任务让出了 SM,也可能继续通过显存访问影响前台性能。

第三,动态硬件分区。

GPU 应该支持更细粒度的 Kernel 级资源分配,而不是只能使用固定的资源分区。

此外,论文还提出了硬件内部的指令调度优先级、设备队列、精细化性能监控,以及数据传输和功耗 QoS 等需求。

这些能力需要 GPU 厂商、编译器开发者和运行时系统共同推进。

论文也坦承,目前提出的六层架构尚未全部实现。现有研究主要覆盖 L1~L3 的部分能力,资源成本模型和任务准入控制仍属于未来设计。

AI 基础设施的下一个竞争点:不只是 GPU 数量

这篇论文让我想到一个值得关注的趋势。

过去十几年,计算基础设施的发展,很大程度上围绕着一个问题:

如何让单台机器拥有更多计算能力?

于是我们有了更多 CPU 核心、更大的内存、更快的 GPU,以及规模越来越庞大的数据中心。

但 AI 时代正在出现一个新的问题:

当计算硬件已经足够强大,如何让这些硬件真正忙起来?

CPU 操作系统的历史已经证明,资源共享和任务调度能够极大提高硬件利用率。

GPU 也许正在走向类似的阶段。

未来的 GPU 软件栈,可能不再只是 CUDA、Kernel、Runtime 和模型推理框架的简单组合,而是一套真正具有资源管理、任务调度、优先级控制和性能隔离能力的操作系统。

想象一下:

白天,GPU 优先处理用户的实时推理请求;夜间,自动利用空闲资源执行模型评估、数据处理和训练任务。

当新的推理请求到来时,后台任务立即让出资源。

同一张 GPU,不再只服务一个固定的工作负载,而是成为一个可以动态调度的计算资源池。

这不仅能够降低 AI 服务的单位推理成本,也可能改变未来 AI 数据中心的资源组织方式。

当然,这篇论文目前仍是预印本,距离成熟、通用的 GPU OS 还有很长的路要走。尤其是对真实后台任务的支持、跨模型通用性,以及硬件抢占能力,都需要进一步验证。

但它提出的问题非常重要:

当 AI 算力越来越昂贵,我们是否应该重新思考 GPU 的使用方式?

也许,AI 基础设施的下一场革命,不是再造出一张更强大的 GPU,而是让已经存在的 GPU 不再摸鱼。

论文原文:

Reza Nourai、Behnam Bastani,The GPU Needs an Operating System: Putting idle AI hardware to work。- https://arxiv.org/html/2611.08720v1


还在为写 Agent 框架频频死循环、上下文爆炸而束手无策?我的新专栏 《从0 开始构建 Agent Harness》 将带你:

  • 抛弃臃肿框架,回归“驾驭工程 (Harness Engineering)”的第一性原理
  • 用 Go 语言手写 ReAct 循环、并发拦截与上下文压缩引擎等,复刻极简OpenClaw
  • 构建坚不可摧的 Safety Middleware 与飞书人工审批防线
  • 在底层实现 Token 成本审计、链路追踪与自动化跑分评估
  • 从“调包侠”进化为掌控大模型边界的“AI 操作系统架构师”

扫描下方二维码,开启从 0 开始构建Agent Harness 的实战之旅。


还在为“复制粘贴喂AI”而烦恼?我的新专栏 《AI原生开发工作流实战》 将带你:

  • 告别低效,重塑开发范式
  • 驾驭AI Agent(Claude Code),实现工作流自动化
  • 从“AI使用者”进化为规范驱动开发的“工作流指挥家”

扫描下方二维码,开启你的AI原生开发之旅。


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

内容来自 Tony Bai,版权归原作者所有。

阅读原文 ↗

用 HomepageTab 新标签页关注 RSS,打开浏览器就能看到更新。

安装 HomepageTab