Amazon Web Services 于 2026 年 11 月 18 日推出 SageMaker JumpStart Model Leaderboard。公司称,它在 SageMaker Studio 展示七十多款语言模型,将三项质量基准与时延、token 吞吐和实例成本估计并列。质量测试由 AWS 运行,部署配置也由 AWS 测量。在同一平台看清设置,可以少花一点时间拼接不同模型发布稿里的数字。把每项分数和测试条件、每项性能和实际配置连起来,这张表就是一个结构清楚的评估起点。 AWS 发布公告
假设团队给内部服务台选模型,需要回答正确、输出格式能让应用接收,并在员工觉得网页卡死之前开始回应。还要有一份预算,包含服务可用但请求很少的时段。知识基准最高的型号也许合适,另一台机器上的小模型也有机会。多项测量放在一起,会让决定更好讨论。问题接下来就从谁排第一,移向哪一组模型和配置满足质量与服务要求,费用又可接受。
三项测试各有含义#
发布时的质量列是 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro,分别显示。BBH 从 BIG-Bench 里挑出一组高难推理任务,原始研究已经说明,提示方式会改变测到的能力。同表内共用设置因此有价值,也要把设置一起带到表外比较。分数属于模型在某种提示和生成方法下答题的结果。基准名说明题目,方法决定模型怎样遇见题目。 AWS 基准说明 · BBH 原始论文
GPQA 最初由专家写出科学问题,研究有知识的非专业人士答起来多难。Diamond 是后来常用的一个具体子集,可以提供回答受约束难题的证据。服务台可能需要部分相同推理,同时还得引用对的公司政策、最新文档,处理含糊需求。科学题高分是一条信号,拿团队的真实问题组成数据集,才知道信号能带到自己服务里多少。 GPQA 原始论文
MMLU-Pro 比原版多选题更难,增加推理和选项,也研究了提示风格敏感性。跨学科覆盖能提供另一种能力观察,分数仍按那个题型定义。实际系统可能关心抽字段、有效结构化输出、什么时候追问。这些要求可以和一般知识分数一起加入本地测试。广泛基准可以缩小候选范围,具体工作还需要自己的衡量。 MMLU-Pro 论文
把三列分开是有用的设计,没有替所有客户规定科学、常识和推理题该占多少权重。读者可以看最接近需求的一列,也能看见某个模型这一项领先、另一项落后的情形。团队可以先给业务要求定权重,找出必须满足的条件,再比较留下的候选。这会成为同事可以审阅的决定,比事后还原一个平均分的偏好容易。
共用方法也有范围#
AWS 说同表使用相同评测框架和设置,也明确指出推理型和非推理型模型的生成参数不同,推理型 GPQA Diamond 成绩会在十次运行间取平均。AWS 称跨类型比较是近似的。更多计算可以提高答对机会,也增加成本。要与别处的表比较,应查计的是哪次作答、重复了几次、拿了多少预算。条件本身就是结果的一部分。 AWS 测试限定
十次运行可能对应多种统计,具体怎样汇总就重要。单次成绩平均,与十次里只要有一次成功,回答不同问题。一次机会就要答用户的服务,更接近前者。能多算、能检查候选再挑一个的服务,则有另一套流程要测。在详细运行方法公布前,保留原文口径更妥当。即使题一样,也不能自行换一种汇总,让数字刚好接近另一张表。
接近的成绩还要看变化范围。随机生成模型重跑会答得不同,有限题集的结构也可能放大一个小差异。AWS 建议把小幅差距当成接近的结果。这是分配后续测试预算的好起点。相关工作上有明显差别,比一点泛化分数优势更容易行动,尤其后者还伴随更大时延和费用。置信区间和可重复的本地样本,能说明差异重跑后还剩多少。
测量方也是平台运营方,方便测客户可以部署的配置,也有把这条路径做得好用的商业动机。方法、版本和服务设置越容易让他人了解,记录就越扎实。AWS 公告把更多方法说明链接到 JumpStart 文档。本文读取的落点主要是通用模型访问与部署指引,完整独立复现仍需要更全的运行细节,以及取得相应配置。 公告所链 JumpStart 文档
菜单也在选机器#
榜单上方两个控件改变性能与费用。用例画像选择接近应用的标准工作量,默认是 Max Context。优化目标则为该模型和用例选择一个部署配置。切换这些菜单时,公共质量分数保持原样。这意味着部署测量变化,一般基准仍是固定列。团队记录某一行时,必须带上用例和配置,否则只记住了比较对象的一部分。 AWS 用例与目标说明 · 用例部署指南
Balanced 选估计每 token 成本最低的配置,Cost optimized 选实例小时价格最低的配置。较大的实例每小时贵,却可能在测试负载下多生成足够输出,使单位 token 更便宜。较小实例适合轻工作量,速度也可能慢。这是两种决定。定义比标签有用,工程师可以据此解释,持续高流量下为何最低小时价不一定最经济。 AWS 优化项定义
Latency optimized 找首个 token 等待最短的配置。Throughput optimized 找吞吐最高的一组,可以用推测解码。聊天的人需要快一点知道系统在答,夜间批处理可以多等开头,换更多完成量。同一服务兼做两者就要折中。生产试验应包含真正会来的混合负荷,不宜只因一个菜单名听着好就选它。 AWS 性能目标定义
配置也是复现记录。模型修订、实例类型、服务软件和生成设置都应保存。后来即使模型大名没变,修订也可能改变行为与容量。记录留着,才好区分新结果来自模型、硬件还是提示。榜单方便第一次比,配置保存下来,第一次比较才能变成实验的起点,而不只是临时名次的一张图。
等待不止首个 token#
首 token 时间描述请求到开始输出的延迟,对盯着聊天框的人有用,但只在时间线上占一点。应用可能要收到完整结构化对象才显示结果。长回答开头很快,结束可能比开头慢一点的短回答还晚。内部推理也会改变节奏。服务应当量用户真正能用的输出要多久。首个、最后一个 token 和完成任务都可以各自记录。
提示长度改变过程。单个问题与带一大堆文档的问题,输入处理不同。如果部署支持缓存,重复前缀也会改变结果。突然来的流量能在生成前排队,网络和检索又加了端点外的时间。标准用例提供基线,本地用代表性长度与并发测,才能看到这个基线进真实服务以后还剩多少。
尾部时延也要记录。多数响应很顺,少数人等很久,可能仍占大部分投诉。中位数和较高百分位,比单平均更清楚。错误和超时要和时延放一起,丢掉慢失败会让端点因移除最差表现而显得快。跨过平时的工作量波动重复测试,才能看出配置稳定,还是只在短暂安静时测得好看。
每秒 token 的单位别丢#
AWS 写的是每请求每秒 token 吞吐,给生成速度一个视角。应用容量还看并发、输入处理、输出长度以及从哪儿开始排队。单请求跑得好,忙起来可以不同。夜间队列可能关心在合格错误率下每小时做完几份文档,聊天关心多少并发会话还能达标。token 适合比较标准测试,任务容量再把它接到付费工作。 AWS 指标定义
分词器又有一处差异。同一内容在不同模型里能用不同 token 数,跨语言和代码尤其明显。更高 token 速度,换成字数或有效记录,差距可能缩小。输出也有长短,抽十个字段的系统里,多解释不等于多完成。量有效、准确输出每单位时间和费用,能对上这些行为。吞吐列则保留其单位,继续作基线。
推测解码是服务技术,在算法要求下可以加快生成并保持预期输出行为。收益依赖模型与工作量。如果最高吞吐配置使用它,客户应该测自己将用的同一种安排。云上模型和服务实现共同组成产品。只看模型名字,可能看不到配置里有一处有效优化,也看不到最终环境未必有的前提。
小时费还会继续走#
公告说成本列按默认实例类型的按需小时价估计,只含 SageMaker 实例,不含传输、存储、推理组件费用和折扣。可以据此比表中配置,完整预算仍得算其他服务,还要决定端点开几小时、需求怎样变。小时价可以很容易预测,也可能给偶尔使用的服务留下不小闲置费。持续测试时低每 token 成本,对轻负荷的解释力有限。 AWS 成本范围
假如两个模型都达到质量阈值,一个小时贵但队列做得快,一个小时便宜但跑得久。比队列总费,要算各自活跃时长和最低或持续部署要求。比全天聊天,要用预计服务时数,以及高峰所需容量。同样两行数会给两种选择。先写运营日程,再把单位 token 测试数变成月预算,会诚实得多。
什么叫成功请求也应入成本。便宜模型经常重试或要人改,每件完成工作的费用可能上来。准确模型贵一点,也要看优势是否发生在团队真做的任务上。评估可以数正确接收的结果,记录重试、升级给其他模型和人工审阅。这样才看得出低推理费有没有省整条流程的钱。实例价开了个头,应用测试才能算完。
先满足要求,再看排名#
新工具沿用 JumpStart 搜索过滤,包括许可、厂商和输入输出模态。AWS 建议先筛硬条件。许可要允许用途,模型要接得住应用的输入,部署还得满足地区、容量和访问政策。一行再高分,模态或条款不合就无关。先筛掉不可能的候选,可以少付质量测试费,留下真能部署的选择。 AWS 过滤说明 · JumpStart 许可指引
覆盖范围也有边界。发布先聚焦语言模型,AWS 说尚未给全部 JumpStart 模型评分。缺分代表这张表还缺测量,推不出模型对本任务差。已经有特化或完成资格验证的候选,可以继续放进本地对照。目录帮助发现可部署项目,评估设计则要保留符合实际要求的候选。
从候选表走到一个答案#
代表性测试从真实任务分布开始。服务台会遇到常见明确问题、含糊需求、长文档、变更政策,以及该追问的情况。先写预期,再看模型输出。审阅可以核事实、格式、完整性,以及员工能否照着行动。按类别留数据,团队就有错误分布,能判断哪些靠提示或检索改善,哪些在合理设置下持续发生。
语言也在分布里。同一机构接法文和英文问题,政策应在两边都一致。代码、缩写、另一种文字的名称,会改变 token 与检索。一般知识分数说明不了本地服务要使用的具体措辞。选模型前把这些加上,可以少等到客户第一周才发现缺口。保留对齐样例,交给合格审阅者看意思。格式没错、重要限定变了,照样应记失败。
比较还得可重复。同一题集、模型修订和已写明提示,才能把同样工作交给各配置。重跑揭示变化,同时保留平均成功和多次择优的区别。另留一组没拿来调提示的数据,可以看改进能否迁移到未见样例。本地测试无需裁定所有模型的普遍能力,够可信地说明这个应用是否达标、确定性多大,就完成了工作。
部署以后,这套记录可以成小回归集。模型换版、检索换源、服务配置变化,上线给全部用户前都能再查。运行服务也可以按自己的数据政策保留响应时间、有效结果与错误类别的汇总,帮助区别模型出问题、资料没给够还是流量高峰。拿新结果对照原选择,选型就成持续的工程决定。目标是工作量和底层产品变动时,质量与成本仍能解释清楚。
AWS 也已在 Studio 提供基础模型评估工具整合,文档覆盖摘要、问答、分类等任务,各模型可用性不同。它们可以接在榜单后面。自己的格式、政策和运行仍可能要定制核查。一个界面比较能引向维护者可以检查、重跑的记录,价值就更实在。部署选择最终由那份证据支持。 AWS Studio 评估文档
AWS 把质量、部署测量和费用范围连起来,让客户的起点更好。覆盖扩大时,配置、方法和版本若一直易查,这份价值会增加。买方下一份证据来自自己工作量在所选配置上的表现,把质量、等待和完整费用一起量。榜单可以让第一步快很多,一份留得住、重跑得出的应用结果,才让最终选择有依据。