两位研究者于 11 月 17 日发布 RFBench,专门测试多模态模型处理无源射频电路的能力。每个一万个双端口版图都以多种方式表示。模型可能拿到一份规格、一张渲染图或可编辑的几何图元,随后生成版图、转换表示、预测响应或诊断设计。响应来自电磁仿真。论文的核心结论是,这些步骤彼此相关,却不能把某一步的成功当成下一步的成功。 RFBench 论文
无源射频结构是引导或调节高频信号的组件,不承担主动放大功能。传输线、阻抗匹配网络、滤波器和天线调谐网络都取决于导电金属的物理排列。线宽、间隙、连接关系或端口位置的小变化,都可能改变一段频率范围内的反射和传输。因此工程师会在性能目标、可编辑版图和全波电磁仿真之间反复工作。一张图看起来规整,实际仍可能断路、端口定义错误或达不到目标响应。
这一鸿沟促成了连接语言、几何和物理的基准。多模态模型可能识别熟悉的电路图,也能按要求输出一组格式正确的矩形。射频设计还要求矩形构成可行结构,几何符合预期,电磁行为满足规格。每个判断需要各自的测试。RFBench 把它们分成七个任务族,不让某个容易获得的分数代替整条设计流程。
同一版图对应多种表示#
数据集含一万个通过流程生成的双端口平面版图。每个有效设计包含可编辑矩形和端口、渲染图、16×16 占用网格、模拟的复数散射参数矩阵、结构类别和响应标签。共享的设计 ID 把这些表示连接起来。基准因而可以检验模型能否在符号描述、图像和离散网格间转换时保留相同的金属几何。
数据集的五个结构类别各有 2,000 个样本,分别是随机连通布局、受微带启发的中心线、180 度旋转对称、左右镜像对称和上下镜像对称。它们是受控生成规则,不是商用射频产品版图的完整样本。类别提供了可以自动检查的连通、对称和几何图案实例。
每个版图使用 ADS Momentum 在 1 到 10 GHz 之间等间距的 201 个频点进行模拟。数据保留完整的双端口 2×2 复数 S 参数矩阵。这些值描述频率变化时两个端口之间的反射和传输。实际工程师关心整条响应曲线的行为。因此,基准可以逐点比较预测值,并在普通数值误差之外检查无源性、互易性等物理性质。 数据集与仿真细节
数据集由程序生成,不是从实物电路板测量得到。几何生成器先创建候选铜层图形,再用自动检查剔除不符合要求的版图,包括馈线连接、画布范围和端口条件。最终数据每类 2,000 个样本,结构均衡。响应标签分布不均,有些类型较少。响应分类任务除准确率外,还报告按类别平衡的 macro-F1,减少常见类别对结论的支配。
官方划分用 9,000 个设计组成训练池,1,000 个留作共同测试集。留出的设计中,每种结构类别各占 200 个。T1、T2、T3、T6 与 T7 共用这批 ID,便于配对比较。模拟器执行任务使用 250 个均衡子集,设计诊断任务则用 100 个共享案例。这是几个不同测试面板,论文的主要结果并非全部基于完整一万项数据。
表示对齐让失败诊断更有信息量。如果模型把可编辑矩形转换成错误网格,任务直接显示几何表示转换问题。如果模型能处理图元却读不好图像,两者差异可提示视觉感知缺陷。如果两种转换都能完成而响应预测失败,则属于另一种弱项。单一分数会把这些原因混在一起。RFBench 保留中间任务,使读者能定位工程流程从何处开始失效。
七项任务沿着设计流程展开#
第一组任务要求模型按自然语言电气规格生成版图。一种版本给出四个 S 参数在三个频率点的目标幅值,另一种还指定结构类别。模型交付可编辑几何版图。有效性评分检查双端口、是否落在画布内,以及馈线之间是否存在连通金属路径。若任务指定类别,还会单独衡量类别合规性。
目标数值来自一项模拟设计,因此存在某种几何版图可以实现规格。原版图被隐藏,模型无须重新发现那一个精确几何形状。它可用另一种有效布局满足相同目标。这个设计很重要,因为生成测试要评价目标电气行为与结构规则,而非猜中隐藏源设计。三个频点把模型面对的规格压缩了,后续仿真任务则检查完整响应曲线。因此基准把简短规格提示与所有频点的响应验证分开。
第二组是表示转换。模型把可编辑几何转换成二进制金属占用网格,或把渲染图转换成相同网格。16×16 网格一共有 256 个单元。前景精度、召回率、F1 和交并比度量金属区域是否正确。论文还报告精确网格匹配率与归一化汉明距离。这项任务单独考察版图形状在改变表示后是否保留下来。
第三组预测电磁响应。模型输入图元或图像,输出 201 个频点上的复数 S 参数矩阵。评估包括复数 MAE、误差在 2 dB 内的矩阵—频率点比例、无源性有效频率比例、互易性误差和频谱导数误差。这些指标各自描述一项性质。逐点数值接近仍可能漏掉不符合物理规律的响应曲线。 RFBench 任务定义
第四组通过 ADS Momentum 执行生成版图。语法有效的几何仍可能无法导入仿真器,因此要记录运行率。仿真完成后,还要检查三个目标频点的十二个幅值是否全部在规格的 3 dB 范围内。设计可能顺利运行,却没有达到电气目标。分开报告两个数字,正好把这一区别显示出来。
第五项是设计诊断和改进。模型得到一个版图、它的模拟响应及目标规格,再判断是否需要改进,必要时提出新版图。论文用准确率、精确率、召回率和 macro-F1 评价判断,再独立模拟修改结果。目标误差减少量和端到端改进率会把无效版图和仿真失败都计入。诊断正确是一部分工作,版图仍需真的改变并改善物理响应。
结构理解与响应分类构成最后两项任务。一项让模型根据图元或图片识别版图类别,并判断对称、连通等结构特征。另一项把模拟响应归入宽带直通、宽带衰减、低通、带通、带阻或谐振整形六类。这些任务问的是模型能否识别布局及其输出的性质,仍不等于生成完整可用设计。
作者没有把单一总分当作主要排行榜指标。各项任务的输出、指标和物理含义都不一样。若合成一个排名,就必须先决定权重与取舍。读者可以改看能力分布。某模型也许可靠转换图形,却仍预测错误响应。另一个模型也许分类不错,却无法生成连通设计。在决定可以将模型放进设计流程的哪个环节时,分项结果更有用。
几何有效只是第一关#
未微调模型经常生成视觉上说得通,却过不了综合结构检查的版图。有的模型几乎总能放出两个端口标记,但所有未适配基线在规格条件生成任务中的结构有效率都是零。有效性要求端口、画布和金属连通路径同时正确。通过解析器或包含两个端点,还不足以构成可用的射频版图。
对 Qwen3-VL-8B 做射频专用微调后,结果大幅改变。监督微调在一种生成任务中达到 82.7% 的结构有效率,在带类别约束的任务中达到 86.0%。接着进行 GRPO 强化学习的版本分别达到 83.2% 和 86.4%。完整类别合规率是 85.7% 与 85.2%。这些结果说明,样例和任务适配可以教模型满足版图输出契约。它们度量的是结构,并非成功的射频响应。
闭环仿真测试揭示下一道差距。两种适配模型对 250 个生成版图都达到 100% 的 ADS 运行率。若要求十二个目标幅值全部落入 3 dB 范围,SFT 只有 1.6% 通过,GRPO 为 2.8%。这个差距很说明问题。几何可以符合结构规则,也能顺利进入商用仿真器,但仍未满足电气目标。逆向射频设计远比生成格式和结构有效的金属图形困难。
这一差别影响工程自动化的宣传。如果模型输出的版图能在 ADS 运行,它通过的是执行关卡。它未必设计出了性能承诺达标的滤波器、匹配网络或天线结构。电气目标是跨多个频率的行为。一种形状可能大致正确,反射、传输或带宽却仍有偏差。严谨报告要把可执行率和规格通过率分开。
基准里的目标规格来自模拟版图,因而每项要求至少有一个已知可实现几何。模型无需重建同一个原版图。这样构造了一个可控的逆向设计问题,同时也把测试范围限制在生成器和仿真器表示的设计空间。实际制造还增加材料、制造公差、封装、连接器和测量条件,而这些都不在当前任务中。
相似图形也可能拥有不同物理行为#
表示转换任务是微调效果最明显的部分。未适配模型从图元输入获得的最高前景 F1 为 31.4%,从图像输入为 48.2%。没有任何一个得到精确网格匹配。经过射频专用训练,Qwen3 版本在两种输入下前景 F1 都超过 99.97%,精确匹配率达到 99.0% 至 99.5%。在这个离散转换任务上,结果几乎饱和。
这项成功有意义,但它度量的是 16×16 占用网格的恢复,并不意味着模型理解了金属图形的所有电气后果。训练池与测试池共享程序生成类别。论文的留出设计能检查模型对同一生成家族的新样本是否泛化。对生成器之外的真实几何、版图或工艺条件能否迁移,仍是开放问题。
响应预测仍然更难。未适配模型中表现最均衡的是 Claude 4.5,图元输入有 28.0% 的矩阵—频率点落在 2 dB 范围内,图像输入为 27.0%。Qwen3 SFT 把这些比例提高到 62.6% 与 64.1%。GRPO 带来的变化很小,分别是 62.8% 和 64.1%。复数预测误差也下降。结果显示监督样例能起帮助作用,而进一步的奖励优化在这项任务上增益有限。
物理检查会让简单排行榜变得复杂。无源性有效频率比例检测预测是否满足相应物理边界,互易性检查在模型结构中正向与反向传输的预期关系,频谱导数误差关注曲线随频率的变化。有个未适配图像模型达到 98.5% 的无源性有效率,但 2 dB 内比例只有 11.1%,互易性误差也较高。因此预测曲线可能符合一项物理检查,同时数值不准或趋于塌缩。
微调后无源性有效率下降到约 72%,而响应准确性、互易性和频谱一致性提高。专用 CNN surrogate 在逐点数值精度上最好,84.4% 的预测落在 2 dB 范围内。它的无源性有效率为 28.3%,互易性和频谱导数误差都高于微调语言模型。这不是一个排行榜就能判定的胜者,而是不同方法对数值与物理属性的组合不同。
训练奖励可能优化代理,却没优化最终目标#
设计诊断任务让模型决定正确与实际改进之间的差异变得可见。GPT-5.4-mini 的诊断表现最好,准确率 89.0%、macro-F1 88.4%。SFT 把 Qwen3-VL-8B 的诊断 macro-F1 从 51.0% 提高到 58.6%。GRPO 达到 55.5%。不过,ADS 仿真后的端到端改进率从骨干模型的 48.4% 降到 SFT 的 45.3% 和 GRPO 的 35.9%。微调后的中位误差减少也接近零。
论文把这种不一致联系到两项训练设计。T5 诊断案例没有用于 SFT 和 GRPO,GRPO 奖励由学习得到的代理模型提供,不是对每个候选都运行完整全波仿真。系统可能越来越善于拿到 surrogate 奖励,却没产出更有效的物理修改。模拟器结果为训练奖励和实际任务之间的关系提供了一项检查。
这个现象也存在于 AI 工程。模型会优化训练循环中较便宜的信号,而产品目标可能需要更完整的验证。格式检查比仿真便宜,surrogate 比全波计算快。与目标相关的奖励可以加速学习,但相关性需要在留出样例和真实验收标准上检验。RFBench 报告这项不匹配,没有把训练奖励的增长写成设计能力的增长。
响应分类任务也说明指标选择的重要性。微调后的准确率超过 94%,macro-F1 却大约为 74%。六类响应高度不平衡,少数类别样本很少。总体准确率会强烈反映常见类别的表现,macro-F1 则给予每类更醒目的权重。两项数值共同说明模型如何运作。只报告其中一个,会遮住对罕见响应类别的薄弱识别。
基准的物理范围是特定的#
RFBench 聚焦模拟的双端口平面版图,没有模拟制造约束和实测器件。16×16 占用网格表达一个受控设计空间,ADS Momentum 提供响应仿真。这建立了可重复的几何—电磁关系,但真实生产还涉及材料、工艺公差、叠层、封装、连接器与测量噪声。
数据构造也决定模型能学到什么。五类程序化几何各占两千例。随机的无交叉拆分把一千例留作官方测试,九千例进入训练池。作者报告了图元、图片、网格与响应的对齐,并检查重复几何及栅格化一致性。这些都是有用的数据控制。随机留出拆分仍在同一生成器家族中测试,因此不能证明模型适用于射频工程师可能绘制的所有拓扑结构。
作者称数据集按 CC BY 4.0 发布,代码按 MIT 许可发布。我按论文给出的链接检查时,GitHub 地址返回 404,Hugging Face 数据页对未认证请求返回 401。读者可以查看论文与结果表格,复现实验数据与代码则取决于链接材料何时能够访问。资料可用性会变化,所以论文中的发布声明与实际可下载状态应分别跟进。 RFBench 论文及其链接
微调结果也对应特定底座和训练方案。作者对 Qwen3-VL-8B 做射频专用 SFT 与 GRPO。在这套任务上,领域适配明显改善了成绩。论文没有给出组织准备同类训练数据的成本、它在自身工具链的提升幅度或它向商用设计的迁移情况。此类问题需要目标流程对应的独立实验。
工程师可以从分项结果中读出什么#
读 RFBench 最有用的方法是看一串关卡。规格先转换成几何,几何通过解析、范围与连通检查。仿真器必须接受版图。响应还得满足频率指标与物理检查。诊断最终要生成能让实际误差减少的修改。如果评估只停在第一关,就容易夸大已完成的工作。
这些结果为工程团队指明一些直接方向。受控输出格式和精确几何监督能改善表示任务。电气行为仍需要仿真评估。surrogate 奖励应在配对留出样例上同全波模拟核验。类别不平衡时要报告宏观指标。若生成、仿真和修改成本不同,采用相应的分离测试集也很有用。
在模型选型上,若团队需要版图转换或结构分类,微调后模型的基准成绩值得关注。若任务要求所有电气规格都满足,1.6% 到 2.8% 的严格成功率说明距离仍大。选择取决于希望自动化哪个步骤,以及输出后还保留哪些审查环节。即使无法可靠地自主逆向设计,模型协助几何表示仍可能有用。
RFBench 作者为一个此前缺乏统一测试的领域提供七项任务、多种共同数据表示和以模拟器为依据的指标。最清楚的结果揭示形式学习与物理功能之间的差距。模型可以学会生成有效形状,并几乎精确地重现离散占用网格。预测密集电磁扫描更难。仿真后达到所有响应要求则更难。与笼统宣称模型“会设计射频电路”相比,这种分层结果更有解释力。
后续证据应包括可公开访问的材料、独立重跑、更广的几何结构与实测硬件。模拟器提供可重复的物理模型,实际器件则会引入合成数据无法解决的公差和寄生效应。工程团队可以用已发布的任务检查模型从哪里开始失败。当前基准建立了有用测试框架,也显示领域微调带来的改进。它最重要的价值是定位图像、版图与工作的高频电路之间仍存在哪些缺口。