大家好，我是Zack。

先说个场景：新模型发布，跑分刷屏。你点进去看了十分钟，A 榜第一、B 榜反超、C 评测吊打上一代。看完你还是不知道：该换吗？换了对我手头的活有什么区别？

我以前就这么干。新模型一出，看两篇测评，凭感觉换。换了之后既没变快也没变省，因为你根本说不出「之前」和「之后」的差别在哪。

今天 X 上有条资讯给了个启发：AWS 官方博客给 Grok 4.7 做的评测，跑了 72 次可复现的智能体运行，把不同推理档位的准确率和 token 花销摆在一起对比。72 次，不是为了好看，是为了把「跑分的抖动」抹平——跑一次的成绩有运气成分，跑 72 次取趋势，数字才敢信。

这个思路自己就能用。不用 72 次，5 次就够起步。今天把我自己用的量化模板拆给你，表格直接抄。

为什么跑分靠不住

跑分和你的活，差着两层。

第一层：跑分测的是「它最原能力」，你用的是「它平均发挥」。你干活不会每句都掐着最优点来，长任务跑到一半发飘，比巅峰分数掉一截更常见。

第二层：榜单不测你的场景。它测代码生成、数学推理，你的活可能是「把 20 个网页标题改成我自己的语气」。这种活没有榜，只有你自己量。

AWS 那篇的做法就是把这两层都绕开：固定同一批任务，只变一个变量（推理档位），跑 72 次看趋势。你要抄的不是 72 这个数，是「固定任务、只变一个变量、跑多次」这三件事。

我的真实数据：同一平台，倍率差 36 倍

先给你看个现成的。我做产品用的 AI 开发平台，模型列表里每个模型标了一个「积分倍率」，就是调一次扣多少资源。我把列表拉出来数了数：

从 x0.04 到 x2.20，差 36 倍。也就是说，同一个「帮我总结这篇文章」，用错档位，成本能差出 36 倍——效果可能一点不差。

我自己的分法就三档：一句话的活用最低档，日常活用中档，只有改三轮还改不对的东西才上旗舰。就这一条，我一个月的调用量没变，成本砍了大头。

怎么量：一张表跑 5 次

不用写代码，一张表就够。拿你最近三天干过的活，原样当测试集。

第一步，写下你关心的两三个数。我的固定三项：耗时、改的轮次、token 或积分花费。别贪多，三个足够。

第二步，同一句话，发给两个模型，各发 5 遍。注意是同一段原话，复制粘贴，别临场发挥——你改一个词，数据就废了。

第三步，记账。表格直接抄：

跑完你看的不是单次胜负，是「最差的那次」。5 次里 A 有 4 次不错、1 次跑飞，B 稳定平庸——干长任务选 A 加一道校验，干要稳的活选 B。顺带一提，5 次只够筛掉明显拉胯的：两个模型成绩咬得很紧时，别纠结，随便选一个接着用，你的时间比这点差异值钱。这个结论，跑分永远不会告诉你。

量化还有个副作用：你敢换回便宜的。没数字的时候，你不敢从旗舰换到中档，怕出事。量过一次你会发现，八成日常活在中间档跑出来跟旗舰没差别。

第四步，隔一个月重跑一遍。模型在更新，你手头的活也在变，上个月的结论今天未必还成立。我这张表是挂在日历里的，每月最后一个周一下午，半小时重跑一次。数据会过期，但重跑的成本就是半小时，比凭感觉用一个月便宜得多。

没有测试集？现成的就在你手边

「我没有固定任务可测」——你有的，只是没存。

我每天拆解 AI 资讯，顺手存了一份自己的测试集，今天现测给你看：我那个 AI 日报站首页 20 条精选，每条带一句「推荐理由」，平均 54 个字。这 20 句话就是我的活——把一段新闻压成一句有判断的推荐语。

拉一次首页全程 2~3 秒（首次冷启动 14 秒），20 条理由的长度、句式都摆在那，新模型来一个，我就让它照着写 20 条，跟老模型的对一遍，一轮就知道水平。整个过程 10 分钟不到。

你的版本更简单：上个月写的周报、回过的最难的一封邮件、憋了最久的一条文案。存 5 个，往后每个新模型都过一遍，你的「私人跑分榜」就有了。

说点局限

这招有边界，说清楚。

一是它量「平均质量」，量不了「会不会」。模型 A 在你的活上又快又稳，但你要的那个独门功能（比如某个工具调用格式）只有 B 支持，那没得选，功能优先。

二是它只量你测过的活。你拿 5 个写文案的任务测完选了 A，转头让它写正则表达式——这不在你的数据里，别拿「文案测的结论」去罩所有活。哪类活用得多，就测哪类。

三是任务得能判对错。「这段文案有没有味」你自己说了算没关系，但「这个数对不对」得你能核。核不了的任务别测，测了也是白测。

两条能带走的

第一，别问「哪个模型强」，问「在我的活上它俩差多少」。前者是别人的答案，后者是你自己的数据。

第二，每次新模型刷屏，别先看测评，先翻出自己的 5 个任务跑一遍。跑完再看测评，你会发现大部分测评在讲跟你无关的东西。

你手头的活里，哪个是「跑分高但我用着一般」的模型？评论区说说你的场景，我帮你看看该量哪几个数。

公众号：Zack说AI