让图像模型当“设计老师”:AesCode 教代码模型写出好设计
(本文阅读时间:10 分钟)
幻灯片、海报、数据仪表盘和网页,是日常工作中最常见的视觉内容。用 HTML / CSS 代码生成这类内容有不少好处,结构清晰、修改方便,每一处文字和数据都能用程序检查。如今的大模型已经能写出内容完整、可以运行的页面,但设计上往往比较保守。卡片网格、居中排版和常见配色反复出现,页面看起来死板,甚至有些过时。
现有的“截图转代码”方法也很难解决这个问题。不少工作都研究过网页和界面的代码生成,比如把网页截图或设计稿转换成 HTML。然而,这些方法大多是在重建输入的页面,版式和配色早已由输入决定。模型学会的是照着做,而不是自己去设计。
为此,微软亚洲研究院的研究员们提出了 AesCode。它让图像生成模型先画出一张设计参考图,再训练代码模型借鉴这张图的设计,同时严格守住需求中的内容。经过训练,8B和 32B 的开源模型在视觉质量上达到了 GPT-5.5 和 Claude Opus 4.8 的水平,内容准确性也更高。相关论文、代码和模型均已公开。
AesCode 介绍视频
相关信息已整理至文末,欢迎点击了解更多技术详情。
内容听需求,设计看参考:让图像模型当“设计老师”
代码模型很难做好设计的一个重要原因是,它写代码时看不到最终的画面,只能选择最稳妥的写法。图像生成模型则正好相反,它能画出很有设计感的页面,却经常写错文字、画错数据,生成的图片也无法编辑。如果能把两者的长处结合起来,就有机会真正教会代码模型做设计。
基于这个想法,AesCode 的思路可以概括为:内容听需求,设计看参考。对于同一条需求,它先让图像生成模型画一张参考图,再让代码模型参照这张图写出HTML / CSS。页面要呈现什么内容,以文字需求为准;版式和风格,则从参考图中借鉴。
需要注意的是,参考图只是设计上的参考,并不是需要还原的标准答案,图中可能有错字或错误的数据。现有的视觉语言模型拿到参考图后,往往要么照抄其中的错误,要么干脆不理会它的版式。因此,研究员们专门训练模型借鉴参考图的设计,同时守住需求里的内容,并在训练中做了三项关键设计:
第一是设计图。 研究员们把页面拆成一张结构化的设计图,把每个元素的内容和视觉属性分开记录,元素之间的关系则用连线标出。这样,每一项属性都可以单独评判。
第二是解耦奖励。 文字、图表数据这类能直接检查的属性,由程序打分;外观、层级这类需要“看”才能判断的属性,则根据设计图生成一份是非题清单,也就是视觉图评分清单(VGR),由视觉语言模型逐条判断。
第三是分通道优化。 研究员们采用GDPO 方法,先对每一路奖励单独归一化,再把它们合并起来。这样可以避免容易拿分的规则奖励掩盖审美信号。
图 1:AesCode 生成的信息图示例。左侧为输入的文字需求(节选)与参考图,右侧为生成的HTML / CSS 渲染结果。
图 2:AesCode 方法总览。文字需求与参考图共同构成设计图,可以直接检查的属性由程序打分,其余属性由视觉语言模型按VGR 判断。
研究员们先用 3,000 条高质量示范对基础模型进行监督微调,再在约8,000 条需求上做强化学习。如图3所示,强化学习过程中,各路奖励在训练需求和留出需求上同步上升,说明模型学到的能力可以推广到新的需求上。
图 3:强化学习过程中各路奖励的变化。实线为单次生成的得分,虚线为八次生成中的最好得分;蓝色为训练需求,红色为留出需求。
小模型也有好审美:总分领先,细节更到位
为了全面评估效果,研究员们构建了一个信息图评测基准,分别评判内容正确性(rule)和视觉质量(visual),总分(overall)取两者的平均值。
在这个基准上,AesCode-32B 的总分在所有参评模型中最高。它的视觉得分与同样提供参考图的 Claude Opus 4.8 和GPT-5.5 相当,内容正确性得分则高出 8 分以上。与各自的Qwen3-VL 基础模型相比,AesCode-8B 和AesCode-32B 的视觉得分分别提高了 31.1 分和22.4 分。
表 1:信息图评测基准上的主要结果(节选)。每条需求生成三次取平均,绿色底色为AesCode。完整结果见论文。
从结果中还能看出两点。其一,参考图对所有模型都有帮助。比如提供参考图后,GPT-5.5 的版式(layout)得分从 68.09 提高到 89.93。其二,风格是所有模型共同的难点,各模型的风格(style)得分都在 60 分以下。双盲人工评测也得出了一致的结论:AesCode-32B满足内容需求的比例高于 GPT-5.5(86.50% 对 83.47%),两者的审美评分基本持平。
分数之外,差距往往藏在细节里。前沿模型生成的页面整体效果不错,问题常常出在容易被忽略的地方。研究员们按总分差距,挑出GPT-5.5 与 AesCode-32B 差距最大的三组例子进行对比(图4)。三组页面的整体构图都比较接近:在第一组中,GPT-5.5 生成的标题压到了下方的功能区;在第二组中,需求要求放五个客户标志位,它只画了四个;在第三组中,底部信息条挡住了图表坐标轴,尽管图表代码本身完全正确。AesCode-32B在这三处都处理得更好,而这些细节正是评分清单能够准确发现的问题。
图 4:GPT-5.5 与AesCode-32B 的对比。每行依次为参考图、GPT-5.5 的输出、AesCode-32B的输出和各项评分,红色虚线框标出 GPT-5.5 的问题。
不照抄错误,环环相扣:AesCode 为什么有效?
AesCode 的一项重要能力是不盲从参考图。参考图由图像生成模型画出,难免带有幻觉和错误,比如少画一个元素、顺序画乱或文字写错。这时,参考图就会和需求产生冲突。AesCode在训练中始终以需求为准:文字和图表数据只按需求打分,评分清单也不会奖励照抄参考图中的错误。因此,模型学会了识别参考图中与需求不符的地方。
图 5:参考图与需求冲突时 AesCode-8B 的输出。红框为参考图中与需求不符的地方,绿框为 AesCode-8B 按需求生成的结果。
在图5的四个例子中,参考图分别少画了一个按钮、调换了两个数字的位置、画反了箭头方向、写错了标题。AesCode-8B都按需求画对了,页面的其余部分仍然保留了参考图的设计。
为了验证各个组件的作用,研究员们还在 Qwen3-VL-8B 上逐一去掉或替换各个组件。结果显示,强化学习带来了大部分提升;GDPO比直接把各路奖励相加的 GRPO 高出 5.12 个视觉分;用 CLIP 相似度或整体打分代替 VGR,视觉得分都明显下降。即使同样使用评分清单,如果跳过设计图直接编写问题,视觉得分也会从 75.80 降到 72.61。
表 2:组件消融结果(节选)。去掉或替换任何一项,视觉得分都会明显下降,内容正确性则基本不变。
可以看到,这些改动对内容正确性的影响都很小,变化主要体现在视觉得分上。这说明 VGR 带来的设计提升,并没有以牺牲内容正确性为代价。
从“设计老师”出发:AesCode 的局限与下一步
AesCode 目前还有两方面的不足。一是有具体含义的图标和品牌标志。这类图形需要用大量 SVG 路径精确绘制,还要表达准确的含义,模型目前仍然画不好。二是需要逻辑和背景知识才能判断的元素关系,比如流程中哪一步连向哪一步。这对模型能力要求很高,8B、32B 规模的模型还不够强。此外,页面中的灰色方块是有意保留的占位符,照片和插画可以交给图像生成模型或设计师后续补充。
研究员们认为,下一步可以让模型根据渲染结果反复修改,并为它提供更精确的结构反馈;也可以把AesCode 融入智能体(agent)的工作流程中训练,或者与图像生成模型联合优化。
从更长远的角度看,AesCode 说明图像生成模型不仅能直接生成图片,还可以成为代码模型的“设计老师”。研究员们希望,这一思路能让AI 生成的幻灯片、海报和网页既准确可靠,又真正具备设计感。
AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
论文链接:
https://arxiv.org/abs/2610.18860
项目页面:
https://microsoft.github.io/AesCode/
代码链接:
https://github.com/microsoft/AesCode
AesCode-8B 模型:
https://huggingface.co/microsoft/AesCode-8B
AesCode-32B 模型:
https://huggingface.co/microsoft/AesCode-32B
#AI #人工智能 #Agent #智能体 #代码生成 #人与Agent交互 #自动化 #大模型 #强化学习
你也许还想看:
文章原文
内容来自 微软研究院AI头条,版权归原作者所有。
阅读原文 ↗