这道题模拟一个真实的家庭理财咨询:用户之前把房贷选成了浮动利率,现在想知道利率下调后每月月供能省多少钱;同时手里有笔余钱,纠结要不要提前还一部分、还多少合适。题目要求助手先问清剩余本金、剩余年限、当前利率和还款方式,再用用户本人的数字算出调整前后的月供与总利息差,并把提前还款后「缩短年限」与「减少月供」两种方案摆在一起比较,最后结合家庭收支、应急资金、违约金政策和个税扣除给出建议。
剩余本金、剩余年限、当前执行利率(或加点值)、还款方式四项为必收项,缺任一项该项最多 0.7;家庭收支、应急资金、违约金、是否享受住房贷款利息个税扣除属深入项,每覆盖一项加分,四项基础信息全齐才可能拿满分。
第一轮是否就察觉用户没给本金、年限、利率、还款方式并主动追问,而不是先给个模糊答复再补问;用户把利率从 3.85% 更正为 2.95% 后,后续计算是否改用新值;用户说「好像是 2.95% 还是 3.05%」时是否恰当处理这种不确定。
只看数字对不对,不看建议好坏。参考口径为剩余本金 82 万、剩余 204 期、利率由 3.85% 降到 2.95%、等额本息,正确月供约 5,116 元,允许正负 100 元误差;提前还 10 万后月供约 4,492 元。
看回答是否完整、专业、可执行:是否解释重定价日机制、合同加点与当前执行利率的对应、违约金、个税专项附加扣除、与货币基金收益的机会成本比较,以及是否明确说该还多少、选哪种方式、先留多少应急金。
若最终回答偏离「浮动利率月供变化 + 提前还款是否划算」而转向基金、保险等无关话题,数值准确性与内容质量两项直接判 0,不进入后续打分。
四块评分(信息收集、意图理解、数值准确性、内容质量)各给 0 到 1 分,再从整体结果看是否通过:本次 14 个已判分对象里 12 个通过、2 个未通过,未通过的两个分别是 0.6032 和 0.3432,最低的通过者是 0.8048,据此可判断通过线落在 0.6 与 0.8 之间。信息收集是硬门槛,四项基础参数缺任何一项该项就封顶 0.7,深入项只做加分。数值项是唯一逐项对表的环节,参考月供 5,116 元、允许正负 100 元误差,有人算出 5,237 元、只偏了 121 元就被压到 0.4 档。数值与内容两项都带话题一致性前置检查,跑题直接归零;同样归零的还有另一种情形——通篇用 200 万、30 年、3.5% 这类示例参数,始终没给出用户本人情形下的结果。整体上扣分主要扣在「没问、没对上用户数字、没解释机制」,而不是扣在文笔或排版。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-fable-5-13 次运行 | 0.954 | 通过 | 有波动空结果3 | 6m 30s | 125,513 | 通过;整体表现非常出色。第一轮准确识别出本金、年限、利率、还款方式、闲钱规模、应急金等关键缺失信息,结构化追问的同时先给出判断框架,节奏把控好。第二轮准确捕捉用户'3… |
| claude-sonnet-5.51 次运行 | 0.954 | 通过 | 有波动空结果4 | 2m 07s | 101,967 | 通过;回答紧扣房贷利率调整与提前还款主题,完成了利率调整前后月供对比、缩短年限与减少月供方案对比,并通过最新LPR、合同加点和实际扣款交叉验证利率,信息验证较充分。也… |
| qwen4-max1 次运行 | 0.950 | 通过 | 有波动空结果4 | 6m 23s | 249,911 | 通过;Step 1完成:计算了3.85%→2.95%的月供变化(5483.72→5116.26,月省367元)并对比了缩年限vs减月供两种提前还款方案(10/12/1… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.944 | 通过 | 仅报告 | 5m 20s | 194,329 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Qwen3.8-Flash(xhigh)测试报告 | 0.942 | 通过 | 仅报告 | 9m 30s | 137,624 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.938 | 通过 | 正常 | 2m 29s | 142,781 | 通过;助手整体表现优秀:首轮准确识别本金、期限、利率、重定价等关键缺失信息并结构化追问;后续及时捕捉用户利率修正,在不确定时明确保留假设并给出可核算方案;需求从月供对… |
| kimi-k3.1-pro2 次运行 | 0.938 | 通过 | 有波动超时1、空结果15 | 13m 02s | 394,972 | 通过;回答紧扣房贷利率与提前还款主题,基础测算、缩短年限与降低月供的对比、家庭现金流和应急金评估均较完整;还通过最新LPR、合同加点及实际扣款月供交叉验证了2.95%… |
| claude-opus-5-51 次运行 | 0.923 | 通过 | 有波动空结果3 | 2m 24s | 83,308 | 通过;回答整体完整专业,覆盖了核心决策链路。Step 1:完成了利率调整前后月供/利息对比(367元/月、约7.5万),并用表格对比了“缩短年限 vs 减少月供”两种… |
| Qwen3.8-Max(xhigh)测试报告 | 0.915 | 通过 | 仅报告 | 9m 20s | 88,555 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6-astra1 次运行 | 0.913 | 通过 | 有波动空结果4 | 3m 00s | 108,866 | 通过;结合前文,已完成降息前后月供测算及缩期、降月供两方案对比,并结合家庭结余和备用金提出个性化建议。最终回答查询官方LPR,以合同减点和实际扣款交叉验证利率;检索结… |
| deepseek-v4.1-flash-1017测试报告 | 0.882 | 通过 | 仅报告 | 7m 20s | 155,150 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.877 | 通过 | 仅报告 | 20m 30s | 69,376 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.862 | 通过 | 有波动工具报错1、空结果3 | 1m 05s | 279,837 | 通过;主题一致,回答提供了利率变化后的月供测算、两种提前还款方案对比、重定价日/违约金/机会成本等关键信息,并给出结构化建议,具备较强实用性。但未充分完成关键矛盾验证… |
| step-5-preview1 次运行 | 0.857 | 通过 | 有波动空结果3 | 4m 07s | 124,949 | 通过;助手第一轮主动询问了贷款总额/已还年限、剩余年限、执行利率或加点、重定价日、还款方式、可提前还款金额和理财收益等关键信息,用户随后提供了剩余本金82万、剩余17… |
| LongCat-2.51 次运行 | 0.824 | 通过 | 正常 | 7m 25s | 164,150 | 通过;话题一致。当前2.95%利率下月供5,116元、提前还10万/15万的缩短年限与减少月供计算均基本准确;但利率下调节省项助手按4.10%→2.95%计算为每月省… |
| spark-x2.61 次运行 | 0.813 | 通过 | 有波动空结果3 | 1m 31s | 39,766 | 通过;回答完成了利率调整前后月供变化、提前还款金额以及缩短年限/减少月供的对比,结构清晰、实用性较强。但缺少对用户家庭收支、应急资金和月供压力的财务分析,也未有效交叉… |
| GLM 5.3测试报告 | 0.812 | 通过 | 仅报告 | 21m 10s | 454,464 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.805 | 通过 | 有波动空结果5 | 9m 08s | 496,128 | 通过;回答紧扣房贷浮动利率月供变化和提前还款测算,公式、LPR基准、等额本息/等额本金和提前还款对比等基础内容较完整,也给出了违约金、重定价日、应急金等通用注意事项,… |
| gemini-4-carbon1 次运行 | 0.603 | 未通过 | 正常 | 20s | 12,065 | 回答整体没有跑题,也给出了基于当前利率的提前还款月供和利息对比,并提出预留应急资金、查看违约金、预约等实用建议。但缺少原始需求中最关键的浮动利率调整前后月供节省测算,未实际比较缩短年限方案;也未交叉验证利率信息、解释重定… |
| Kimi-K3(max)测试报告 | 0.404 | 未通过 | 仅报告 | 11m 40s | 38,123 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.343 | 未通过 | 有波动工具报错1、空结果8 | 2m 07s | 338,198 | 助手未基于用户提供的82万/17年/3.85%降至2.95%等参数计算,示例使用200万/30年/3.5%等不一致参数,且没有给出针对用户情形的最终数值结果,按规则直接判0。 |
资源、网络、额度、判分链路的问题,不应算作答题能力。