NeurIPS 2026 | 从“照做”到“懂你”:AI 能改好你的 Word 文档吗?
(本文阅读时间:16 分钟)
编辑 Word 文档是日常办公中最常见的任务之一。从调整字体、段落,到修改表格、图片和图表,很多操作都需要细致、准确的格式设置。如今,AI agent已经开始直接操作办公软件,于是有了一个新的问题:它们能在多大程度上理解用户的编辑要求,并可靠地完成修改?
根据自然语言指令编辑 Word 文档,其实包含两类不同的问题。第一类是用户把要求说得很明确,比如调整段落间距、应用列表格式、设置形状效果或更新图表。这时,agent要做的是理解要求,并把它准确地转化为对应的编辑操作。第二类是用户只说一句“照前面的格式来”或“和文档其他部分保持一致”。这时,agent还得先读懂文档上下文,判断应该参考哪个对象、修改哪些属性。前者主要考察怎样执行修改,后者还要考察怎样确定修改要求。
围绕这两类问题,微软亚洲研究院、韩国科学技术院(KAIST)和西安交通大学的研究员们提出了两个 Word 文档编辑评测基准:WordEval 和WordInferBench。WordEval 从明确的编辑要求出发,检查单项操作是否正确完成,以及多项操作合并到一条指令后能否依然可靠。WordInferBench 则逐步减少指令中给出的信息,通过描述式、参照式和推断式三种任务,考察agent能否利用文档上下文,补全用户没有明说的要求。两者遵循相同的评测原则:直接读取Word 中的文档属性,在各自的评测范围内检查目标属性是否全部正确,同时确认应当保留的内容和格式没有被改动。其中,WordEval的论文已被NeurIPS 2026收录。
相关信息已整理至文末,欢迎点击了解更多技术详情。
图 1. WordEval 与 WordInferBench 概览。两者都从一项要求已完整说明的编辑操作出发。图中 WordEval 示例来自真实任务,WordInferBench 示例用于说明任务设计。
WordEval:看起来对,不等于真的对
WordEval先关注明确指令下的编辑能力:目标对象和所需修改都已给出时,agent能否真正把操作做完?
只看文档外观,很难回答这个问题。比如,用户要求把三个段落改成项目符号列表,agent可能只是在文字前输入了项目符号字符。页面看起来像列表,但在Word 内部,它们仍然是普通段落。类似的情况还有很多,比如把图片永久裁剪后再替换回去,可以得到和 Word 裁剪功能相同的视觉效果,但原图从此无法再调整;在页眉里直接输入标题,看上去也和插入一个关联文档 Title 属性的内容控件差不多,可实际却完全不同。
因此,WordEval 检查的不只是外观。它还要确认三件事:操作是否作用于正确的对象,属性值是否准确,以及保留性检查覆盖的属性是否保持不变。
图 2. WordEval 如何得出判定。图中回放了评测中的六个真实案例。评测器在Word 中打开agent保存的文档和参考文档,读取请求涉及的属性并逐项比较。在第一个案例中,两份文档都显示了项目符号,但Word 在agent的输出中读不到列表结构。
让 Word 亲自当“考官”:642 个任务,15 类功能
WordEval共包含 642 个任务,覆盖文本、段落、列表、表格、图片、图表、SmartArt和页面结构等 15 类 Word 功能。评测器在 Microsoft Word 中打开每份结果文档,通过Word 自动化接口直接读取相关元素及其属性。必要时,它还会检查保存后的文件,确认修改确实被保留了下来。
为了让指令、参考答案和评测标准保持一致,研究员们让每个任务都从同一份规范生成。输入构建器先创建起始文档,参考执行器再通过 Word 自动化接口执行规定操作,得到预期的文档状态。指令和验证项也来自这份规范,包括要检查哪些元素和属性、属性应取什么值,以及哪些已有属性必须保持不变。Agent可以自由选择工具和操作步骤,但最终结果都要接受同一组检查。
图3. WordEval 的任务构建流程。同一份编辑规范定义输入文档、指令和检查项。参考执行器在 Word 中对输入文档执行规定操作,生成参考文档(绿色步骤)。组合任务中的每项编辑都关联到使用相同命令的原子任务。
单独能做对,组合就出错
WordEval不仅考察单项编辑是否准确,还考察多项编辑放进同一份文档后会遇到哪些额外挑战。它包含两类任务:546 个原子任务(atomic task)和 96 个组合任务(compositional task)。每个原子任务只考察一项操作,比如修改段落间距、裁剪图片或给形状添加效果。组合任务则把多项编辑放进同一条指令,这些编辑有的存在明确的先后依赖,有的会通过目标对象或页面布局相互影响。两类任务使用相同的操作集合和同一套Word 原生评测标准,组合任务中的每项操作都对应一个使用相同命令的原子任务。通过这种对照,研究员们可以观察到,单独执行能成功的操作,放进同一份文档后是否还能完成。
研究员们评测了八个agent系统,总体通过率在44.5% 到 87.1% 之间。所有系统在组合任务上的通过率都低于原子任务,差距为3.2 到 19.1 个百分点。更值得注意的是,原子任务表现相近的系统,组合能力可能相差很大。Gemini 3.8 Flash 和 GLM-5.2 的原子任务通过率分别为57.9% 和 58.2%,几乎持平,组合任务通过率却分别只有49.0% 和 39.6%。在涉及定位、对齐等布局交互的八个请求中,GLM-5.2通过了所有对应的原子任务,却只完成了其中两个组合任务。可见,单独能完成的操作,放进同一份文档后不一定都能做对。
图4. 八个agent系统与人类基线在原子任务和组合任务上的通过率(按任务统计)。所有agent系统和人类基线在组合任务上的通过率都更低。
文件打不开、属性改错:失败都出在哪儿?
WordEval把失败分成了两类。一类是没能生成可评测的文档,另一类是在有效的 Word 文档中出现编辑错误。有的agent没有输出文件,或者生成了无效、损坏的文档;有的文件能正常打开,却存在属性值错误、元素缺失、改错对象,或本应保留的属性被意外改动等问题。研究员们进一步分析了 Claude Code(Opus 5)的 59 份错误输出,发现即使agent选中了正确的形状,也可能应用错误的阴影或映像类型。
这说明,完成编辑不等于生成一个看起来相似的页面。每项操作都必须准确作用于 Word 的实际文档结构,多项修改之间还必须相互兼容。
图5. 失败分析。(A)各系统未通过任务的输出状态,占全部 642 个任务的比例。Missing output 表示未提交文档;Invalid output 表示 Word 无法打开文档,或文档未通过 OOXML 验证;Incorrect output 表示文档有效,但未通过某项编辑要求或保留性检查。(B)Claude Code(Opus 5)的59 份错误输出(A 中加粗部分)的不匹配类型,每个案例归为一种类型。
WordInferBench:用户没说出口的要求,AI 能补上吗?
WordEval表明,即使编辑要求已经很明确,把自然语言转化为正确的 Word 操作也不容易。而在另一类常见请求中,具体参数根本不会直接给出,需要从文档中寻找。用户不会逐项列出字体、字号、缩进、边框和底纹,只会说“和上面那个保持一致”或“把这里的格式统一一下”。这时,agent要先读懂文档上下文,判断该参考哪个对象、修正哪些差异,然后再动手编辑。WordInferBench 考察的正是这种能力。
WordInferBench 包含 280 个基础编辑实例,每个实例配有三种指令,共形成 840 个任务变体。
描述式指令(descriptive):把每项修改要求都说清楚,agent主要负责准确执行。
参照式指令(referential):指出目标应与哪个对象保持一致,但不逐项列出属性,agent需要读取并复制参照对象的属性。
推断式指令(inferential):只指定要编辑的目标,agent要自己在文档中找到合适的参照,并决定怎么修改。
三种指令对应同一份输入文档和同一个目标结果,实际要完成的编辑完全相同。因此,研究员们可以观察到,指令提供的信息越来越少时,agent的表现会怎样变化。
图 6. WordInferBench 的任务构建流程。研究员们在真实文档中找到两个类型和格式相同的对象,将目标对象的属性重置为默认值。原始文档作为参考答案(绿色步骤),同一项编辑配以三种指令,明确给出的信息依次减少。
从真实文档出发:参照可能远在另一页
在来自 Common Crawl 收集的真实 Word 文档中,研究员们先找到类型相同、格式一致但内容不同的对象,再把其中一个对象的属性重置为默认值,得到待编辑的文档。保留原始格式的完整文档则作为参考答案。经过九名标注者验证,最终的实例覆盖 272 份文档、13 种对象类型和 81 项属性。
这些任务并不简单。在 42.9% 的推断式任务中,构建时选定的匹配对象与目标对象不在同一页。每个实例中同类型对象数量的中位数为11.5,而格式不匹配的候选对象占比中位数高达 80.9%。也就是说,agent不能简单地照搬离目标最近的对象,而要结合跨页线索,找到真正的参照。
图 7. 一个完整的 WordInferBench 任务。推断式指令只指出目标形状,agent需要查看同一流程图中的其他步骤框,判断筛选框应当如何修改。评测器将输出文档的九项属性与参考文档进行比较。
信息越少,表现越差:推断才是最难的一环
WordInferBench读取 Word 解析出的格式属性,并与参考答案比较。研究采用两项指标:任务通过率统计所有需要修改的目标属性都正确的任务占比;属性准确率则先计算每个任务中这些属性被正确修改的比例,再对所有任务取平均。这里的任务通过率只衡量目标修改是否正确,非目标内容是否保持不变另行评测。
研究员们在隔离的 Windows 环境中测试了六个编程agent系统。结果显示,所有系统在推断式任务上的通过率都低于各自在描述式和参照式任务上的结果。总体表现最好的 Claude Code(Opus 4.6)在描述式和参照式任务上的通过率分别为62.9% 和 77.1%,到了推断式任务则降至 40.7%。
图 8. 六个agent系统与人类基线在描述式、参照式和推断式任务上的通过率。所有agent系统和人类基线在推断式任务上的通过率都最低,图中数字为推断式通过率。纳入评测的目标属性必须全部正确,任务才算通过;非目标内容是否保持不变另行报告。
一个有意思的现象是,参照式任务有时比描述式任务更容易完成。给定参照对象后,程序可以直接读取并复制它的属性,这可能比把一大段详细的自然语言要求逐项转换为精确的接口参数更简单。
人类基线也说明,要满足严格的完整性要求并不容易。综合三种指令,人类基线的属性准确率为 76.9%,略高于最佳agent的 76.4%,但任务通过率只有 42.5%。只要漏改一项纳入评测的目标属性,整个任务就不算通过。所以,“大部分细节做对了”和“完整完成编辑”之间,仍有明显差距。
选对参照只是起点:失败的三种典型模式
为了弄清推断式任务的失败来源,研究员们设计了几组诊断实验。当 GPT-5.5 只拿到输入文档和推断式指令、只需选出格式参照而不执行编辑时,它选对参照的比例为81.2%。在参照式指令中补充需要修改的属性路径后,任务通过率只从 43.6% 提高到 45.4%。而在已经明确给出属性和目标值的描述式任务中,GPT-5.5 的通过率也只有55.4%。这几组实验分别考察任务中的不同环节,不能直接用来拆分端到端的失败率,但它们说明:agent既可能在选择参照时出错,也可能在执行修改时出错。
执行轨迹进一步揭示了三类典型问题。第一类是破坏文件结构:agent直接修改 DOCX文件内部的 XML,保存时却破坏了命名空间或关联关系,导致Word 无法正常打开。第二类是参数出错:agent理解了目标,却选错了图表类型,或误读了缩进参数。第三类是复制不完整:agent找到了正确的参照,却只复制了外层样式,漏掉了段落中格式不同的文本片段、单元格边框和底纹,或形状内部的文字等细节。可见,找到正确的参照只是起点,最终结果还取决于修改是否完整、参数是否精确,以及文件结构是否有效。
迈向可靠的文档编辑agent
WordEval与 WordInferBench 共同表明,完成一次 Word 编辑,agent需要先理解用户的要求,必要时从文档上下文中补全缺失的信息,再把判断准确落实为一组完整的编辑操作。现有系统在每个环节都可能出错:要求明确时,仍可能用错参数或漏掉操作;需要自行判断时,还可能选错参照或误判修改范围。
从一条明确的编辑指令,到一句简单的“把格式统一一下”,用户期待的始终是一份准确、完整的 Word 文档。WordEval 与WordInferBench 把这一日常需求拆解为相互衔接的执行能力与推断能力,为分析和改进办公agent提供了更具体的依据。研究员们希望,这两个评测基准能帮助开发者更清楚地看到模型的短板,推动文档编辑agent从“照做”走向“懂你”,真正成为日常办公中可以信赖的助手。
WordEval: Evaluating Word-Native Operation Fidelity in Document Editing (NeurIPS 2026)
项目页面:
https://microsoft.github.io/WordEval/
论文链接:
https://arxiv.org/abs/2611.10475
WordInferBench: Can Agents Infer How to Edit from Word Document Context?
论文链接:
https://arxiv.org/abs/2611.15189
#AI #Agent #人工智能 #智能体 #AI研究 #微软亚洲研究院 #NeurIPS2026 #AI评测 #Word #办公智能化
你也许还想看:
文章原文
内容来自 微软研究院AI头条,版权归原作者所有。
阅读原文 ↗