用户有一笔商贷加公积金的组合贷,问在重定价日为1月1日、今年LPR多次调整的情况下,下个月月供能少多少、具体省多少钱。对话中用户陆续补充了商贷约62万、25年期、利率为LPR加55个基点、等额本息、手机银行显示月供约5380元、公积金余额仅4万出头且三年前辞职后已停缴等信息,后来又提出想提前还25万并选择缩短期限,让助手一并算清能省多少利息、是否划算。助手需要先核对参数、指出月供与本金对不上的矛盾,再分别算清商贷月供变化、公积金还能撑多久、提前还贷的利息节省。
看助手是否把做决策必需的参数问齐:商贷原始期限、利率加点、还款方式、剩余本金或原始金额,四项缺任意一项,这一维度最高不超过0.7;公积金余额与月供、公积金是否继续缴纳、家庭月收入支出、可用于提前还贷的现金属于深入信息,每覆盖一项加分。
看第一轮是否识别出组合贷缺参数、有没有在参数不全时就先给具体数字;看用户中途补充或修正数据时是否捕捉到并用于后续计算;看用户需求从算月供转向提前还贷、追问满五年免违约金时能否顺畅接住。
先做话题一致性前置检查,完全跑题则直接判0;然后只核对数字,包括旧执行利率4.75%、新执行利率4.15%、月供约5701元降到约5362元、每月约省340元、公积金约197元一个月可支撑约200个月、提前还25万约省25万至30万元、缩短后剩余期限约181个月。
同样先查话题一致性,跑题判0;再看完整性、专业性和实用性,是否讲清加点固定与重定价日机制、是否覆盖公积金停缴后的现金流、提前还贷方案对比、个税专项附加扣除等决策链路,缺少关键环节会按档封顶。
四个维度各自0到1分,最后合成总分,通过线对应的是综合表现而不是单项满分。信息维度设了硬门槛:商贷期限、加点、还款方式、剩余本金四项缺任意一项,这一项最高只给0.7;公积金余额、是否续缴、家庭收支、可动用现金属于加分项。数值维度最严:最新五年期LPR引用错(本题参考为3.60%),或据此把执行利率算成4.05%而不是4.15%,这一项最高只能给0.3;如果还编造出加点已被银行批量下调的政策,再额外扣0.2;回答若整体偏离组合贷重定价这个主题,数值和内容两项直接判0。内容维度对关键链路缺失比较敏感,多个对象因为没算公积金余额耗尽、没比较提前还贷方案,被判在0.6左右封顶。参考数值统一为:旧LPR 4.20%加55个基点等于4.75%,新LPR 3.60%加55个基点等于4.15%,100万、25年等额本息月供约从5701元降到5362元,每月约省340元;公积金4万出头按月供约197元可支撑约200个月;提前还25万并缩短期限约省25万至30万元、剩余期限约181个月。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| gpt-6-astra1 次运行 | 0.949 | 通过 | 正常 | 4m 26s | 69,252 | 通过;结合上下文,回答形成了较完整的决策链路:解释了组合贷两部分的调息区别及1月1日重定价机制,主动发现本金、期限与5380元月供不匹配,并提供核验清单。最终回答明确… |
| qwen4-max1 次运行 | 0.884 | 通过 | 有波动空结果5 | 14m 19s | 635,625 | 通过;助手的数值计算在对话上下文内几乎全部可验证为正确:LPR引用值(当前3.50%、历史3.60%/4.20%/4.65%)与工具抓取的中行权威数据完全一致,并非使… |
| kimi-k3.1-pro2 次运行 | 0.817 | 通过 | 有波动工具报错1、空结果4 | 11m 05s | 415,393 | 通过;助手对LPR加减点、当前签约利率、新旧执行利率及等额本息公式的计算基本正确,提前还款25万后的累计节省利息约25-30万元也落在参考范围。但月供节省部分早期基于… |
| claude-opus-5-51 次运行 | 0.743 | 未通过 | 有波动空结果3 | 4m 34s | 247,482 | 核心LPR引用和重定价结论错误:参考应为旧LPR4.20+55bp=4.75%、新LPR3.60+55bp=4.15%,月供约省340元;助手却用3.50%/4.05%并称LPR未调整、月供不省,导致主答案偏差。提前还贷… |
| claude-fable-5-12 次运行 | 0.726 | 未通过 | 正常 | 8m 18s | 184,533 | 虽正确算过4.75%→4.15%及提前还25万约省24.1万元,但核心计算最终改用3.50% LPR和4.05%新利率,未按约100万、25年算出月供约5701→5362元、月省约340元;公积金按480元/月仅推算约8… |
| claude-sonnet-5.51 次运行 | 0.720 | 未通过 | 有波动超时1、工具报错2、空结果6 | 5m 12s | 314,955 | The assistant's internal arithmetic for the assumed scenarios is mostly self-consistent, but it failed to use… |
| gpt-6.1-sol1 次运行 | 0.718 | 未通过 | 有波动空结果5 | 2m 22s | 74,124 | 助手的核心LPR假设错误:将重定价降幅按3.60%→3.50%即10bp计算,而按题设应为4.20%+55bp到3.60%+55bp即0.60pp;导致“每月少还约30元/合计约35元”远低于正确约340元。提前还贷测算… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.709 | 未通过 | 仅报告 | 11m 50s | 388,525 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.649 | 未通过 | 有波动工具报错4、空结果5 | 7m 12s | 392,269 | 助手等额本息公式和LPR加点算术基本自洽(如62万@4.05%月供3290、100万@4.05%约5306、公积金约191元),但核心LPR引用为3.5%而非参考要求的3.60%,导致执行利率算成4.05%而非4.15%… |
| spark-x2.61 次运行 | 0.644 | 未通过 | 有波动工具报错2、空结果6 | 6m 20s | 274,004 | 助手正确使用了新LPR 3.60%并加55bp得到4.15%,等额本息公式也基本正确,公积金4万/21年月供约219元在参考误差内。但其旧执行利率按2021年原始LPR 4.65%算成5.20%,未按重定价逻辑使用旧LP… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.612 | 未通过 | 仅报告 | 17m 30s | 612,421 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.608 | 未通过 | 仅报告 | 12m 00s | 539,061 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.596 | 未通过 | 有波动工具报错2、空结果4 | 2m 24s | 425,649 | 助手给出的敏感度表在3.50%、100万本金下基本自洽,但按评分基准其5年期LPR引用值应为3.60%,且未计算旧/新执行利率4.75%/4.15%、月供约5701/5362元、每月节省约340元,也未覆盖公积金可持续性… |
| Hy41 次运行 | 0.579 | 未通过 | 有波动工具报错2、空结果8 | 15m 04s | 522,920 | 助手按55bp加点和等额本息公式做了一些自洽的数值反推,但其核心LPR引用和结论与参考值不符:把5年期以上LPR当作3.50%、全年无调整,并得出可省0元;按参考值应基于旧约4.75%、新约4.15%,100万/25年每… |
| GLM 5.3测试报告 | 0.564 | 未通过 | 仅报告 | 17m 40s | 401,761 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gemini-4-carbon1 次运行 | 0.543 | 未通过 | 有波动空结果6 | 1m 09s | 72,288 | 助手引用最新5年期LPR为3.60%并计算重定价后利率4.15%是正确的,但旧利率错误地采用签约时的5.20%,未对应当前旧执行利率4.75%;且基于用户口述62万本金而非可验证的约100万贷款参数,导致新旧月供数值均明… |
| ernie-5.5-flash-preview1 次运行 | 0.510 | 未通过 | 有波动工具报错1、空结果5 | 2m 07s | 378,666 | 助手内部等额本息计算对62万/240期是算术自洽的,但核心利率引用与rubric不一致:使用了5年期LPR 3.5%并推出4.05%利率,而参考值要求引用3.60%、新执行利率4.15%;按rubric,LPR引用值错误… |
| GLM-5.3-Flash测试报告 | 0.495 | 未通过 | 仅报告 | 44m 11s | 313,284 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Kimi-K3(max)测试报告 | 0.484 | 未通过 | 仅报告 | 16m 42s | 114,028 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| LongCat-2.51 次运行 | 0.288 | 未通过 | 有波动工具报错1、空结果7 | 6m 52s | 619,208 | 助手没有给出针对用户组合贷的最终数值答案;其内部计算使用的是3.5%等通用假设,未正确计算LPR 4.20%+55bp到3.60%+55bp对应的4.75%->4.15%、月供约5701->5362元、每月节省约340元… |
| Qwen3.8-Max(xhigh)测试报告 | 0.256 | 未通过 | 仅报告 | 5m 40s | 352,463 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
资源、网络、额度、判分链路的问题,不应算作答题能力。