题目分析 / C01zh_mortgage_prepay

房贷提前还款咨询 C01zh_mortgage_prepay

中等平均分 0.837通过 18 / 已评 21
通过率
85.7%
18 / 21 个已评对象
平均分
0.837
最高 0.955 · 最低 0.360
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
4 条
见本页末尾

1. 这道题是什么

用户想就房贷做一次「要不要提前还」的咨询,但他只丢了三句话:当年签的是LPR加30个基点、手头攒了约15万、想知道现在提前还划不划算。题目要求模型先主动把缺的信息问齐(贷款总额、利率、还款方式、已还多少期等),再据此算清楚:提前还这15万能省多少利息,选择「缩短年限」和「减少月供」各自是什么效果,最后给出一条明确、普通人听得懂的建议。评分同时看两件事——前面问得够不够全,后面算得准不准、讲得清不清。

用户原话(题目开场)

在考虑提前还房贷,当时签的LPR加了30个基点,手头攒了大概15万,帮我算算现在提前还划不划算。

题目要求

  • 回答「现在提前还房贷划不划算」这个问题,要下明确结论,不能只罗列影响因素
  • 以手头约15万元作为提前还款金额来测算
  • 结合原合同「LPR加30个基点」的定价方式理解用户的利率处境
  • 信息不全时先向用户澄清关键条件(贷款余额、当前利率、还款方式、已还期数等),且提问要自然、不像审问
  • 面向普通借款人,用通俗语言,给出具体数字而不是空泛原则

要求的交付物

  • 一份提前还款是否划算的测算结论及关键数字(剩余本金、可省利息、期限或月供变化)
  • 缩短年限与减少月供两种方案的量化对比
  • 一条明确可执行的建议:选哪种方式、还多少钱、有什么前提条件

2. 判分点与判分细节

前期澄清提问质量

看模型在动笔前有没有主动、系统地追问贷款总额、利率类型及数值、还款方式、已还期数、提前还款金额这五类关键信息;提问是否清晰有条理、语气自然友好;一次抛出超过5个问题要适当扣分;用户已经说过的信息不必重复问。

测算准确度

以150万、30年等额本息、原利率4.95%(现3.75%)、已还60期、提前还15万、剩余本金约133万为基准,核对剩余本金、省息金额、期限缩短幅度等关键数字,允许小误差。

两种方案对比与明确建议

必须同时给出「缩短年限」和「减少月供」两条路的效果差异,并据此挑明推荐哪一种、理由是什么,不能只分析一种方案或只给方向。

现实约束与可读性

是否考虑到违约金或手续费、资金的机会成本(理财收益对比)、家庭应急资金是否够用等现实因素,并用通俗语言讲清楚,不堆公式、不出现内部推理痕迹。

判分细节

两条规则各按0到1分打分,分五档:1.0为满分,0.7至0.9为基本达标,0.4至0.6为有硬伤,0.1至0.3为严重不足,0.0为完全没做。澄清这一项,满分要求五类关键信息全部问到且条理清楚;已给过的信息只需问缺的部分;问题超过5个要扣分,提问像审问也要扣分;几乎不主动问、直接开答只能拿0.1至0.3。测算这一项,满分要求数字准、双方案齐、建议明确、解释通俗;计算有小误差或建议合理但细节不够可到0.7至0.9,只分析一种方案或计算明显出错落0.4至0.6,计算严重错误、建议没有依据或过于笼统落0.1至0.3,完全没给落0.0。实际判分中,长猫那条0.55的理由是「回答过于冗杂、带内部推理痕迹、没回应月供仍是8000这一关键信息、省息算成约20万而按基准应约15万」;澄清项那条0.80的理由是它其实把八项信息全问到了,但因一次列了8个问题、超过5个上限而被下调,可见这一项对提问数量相当敏感。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
kimi-k3.1-pro2 次运行0.955通过正常4m 04s18,980通过;助手在初始回复中主动、较系统地询问了提前还款测算所需的核心信息:剩余本金、当前执行利率、剩余/已还期数、还款方式、是否全部使用15万、以及违约金和应急资金等,逻…
claude-fable-5-13 次运行0.946通过正常2m 22s6,966通过;助手在前期主动、系统地询问了当前实际利率、贷款本金/剩余本金、期限与已还期数、还款方式、资金用途及应急金、提前还款限制等关键信息,表述清晰且便于用户逐项补充。只…
gpt-6-astra1 次运行0.936通过正常1m 02s3,698通过;清楚对比了减少月供和缩短期限,两种方案的月供、期限及节息金额在所设137万元本金假设下基本计算正确,建议明确且解释通俗。考虑了手续费、投资机会成本、应急资金及浮…
qwen4-max1 次运行0.936通过正常2m 48s16,867通过;助手在首轮就系统性地列出了澄清问题,覆盖了几乎全部关键信息:剩余本金(代替贷款总额、更贴合计算需要)、剩余期限(等价于已还期数)、还款方式、实际执行利率及重定价…
Qwen3.8-Flash(xhigh)测试报告0.928通过仅报告4m 10s10,672得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Hy41 次运行0.904通过正常7m 26s20,419通过;助手在第一次回答中明确指出信息不足,并系统要求补充剩余本金、当前执行利率、剩余期数、还款方式/已还期数等关键信息,整体逻辑清晰。它还主动询问组合贷、应急资金、违…
claude-opus-5-51 次运行0.904通过正常1m 04s6,751通过;助手主动系统地询问了剩余本金、剩余期限、还款方式、当前利率、提前还款选择、违约金等关键信息,逻辑清晰。但一次性问了6个问题,略多;且未直接询问贷款总额和已还期数…
claude-sonnet-5.51 次运行0.904通过正常54s7,052通过;助手在对话前期主动、系统地提出了澄清问题,覆盖了计算提前还款所需的大部分关键信息,如剩余本金、还款方式、剩余期限、当前利率、提前还款方式等,并且结构清晰、有分组…
step-5-preview1 次运行0.904通过正常1m 24s6,627通过;助手主动、系统地询问了贷款总额、剩余本金、已还年限、总期限、还款方式、贷款类型、提前还款金额及方案等关键信息,逻辑清晰且提供了初步判断;但一次性提出7个问题,略…
ernie-5.5-flash-preview1 次运行0.896通过正常2m 06s56,003通过;助手在前期主动、较系统地收集了剩余本金、剩余期限、还款方式、月供、违约金、资金用途和应急情况等关键信息,提问清晰有条理;但一次性列出了7个问题,按评分标准需适当…
deepseek-v4.1-flash-1017测试报告0.888通过仅报告3m 10s9,301得分来自测试报告;没有轨迹与判分理由,无法复盘过程
mimo-v2.6-pro-ultraspeed测试报告0.885通过仅报告2m 40s40,707得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM 5.3测试报告0.880通过仅报告8m 00s24,333得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM-5.3-Flash测试报告0.880通过仅报告16m 40s35,193得分来自测试报告;没有轨迹与判分理由,无法复盘过程
gpt-6.1-sol1 次运行0.869通过正常60s3,889通过;回答提供了提前还款的估算框架,并清晰对比了缩短期限和降低月供两种方案,也考虑了违约金/手续费、应急金和机会成本,建议较合理。但剩余本金按约137万估算,与背景中…
MiniMax-M3.1-Flash1 次运行0.840通过正常7m 55s24,818通过;助手在用户信息不完整时主动、系统地询问了精确测算所需的关键信息,包括剩余本金、剩余期数、当前执行利率、还款方式、月供、提前还款条款、应急资金和其他高息负债等,逻…
spark-x2.61 次运行0.824通过正常6m 05s116,878通过;助手在信息充分后给出了清晰的提前还款测算,完整对比了缩短年限和减少月供两种方案,并提供了明确建议、操作渠道、违约金与机会成本等注意事项,格式和解释都很实用。其计…
gemini-4-carbon1 次运行0.805通过正常19s2,812通过;助手正确使用了房贷利率3.75%与理财收益约2%的利差进行对比,计算了每年资金成本损失,并给出了留足应急金、提前还贷等合理建议;同时提到了缩短年限与减少月供两种…
LongCat-2.51 次运行0.680未通过正常16m 15s79,044助手确实考虑了提前还款、缩年限/减月供对比、违约金、机会成本和应急资金,并给出了大致方向;但回答过于冗杂且有内部推理痕迹,没有清晰回应“月供仍为8000”这一关键信息。其主算式按剩余本金约137万、省息约20万展开,而按…
Qwen3.8-Max(xhigh)测试报告0.448未通过仅报告14m 50s247,622得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Kimi-K3(max)测试报告0.360未通过仅报告8m 30s1,821得分来自测试报告;没有轨迹与判分理由,无法复盘过程
表中标注「仅报告」的 7 个对象(Qwen3.8-Flash(xhigh)、deepseek-v4.1-flash-1017、mimo-v2.6-pro-ultraspeed、GLM 5.3、GLM-5.3-Flash、Qwen3.8-Max(xhigh)、Kimi-K3(max))没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
题目
按「原利率4.95%、月供8000一路还了60期」顺推剩余本金,算出约137万,与判分基准的约133万差4万左右 7 个对象
涉及对象:Hy4、claude-fable-5-1、claude-opus-5-5、claude-sonnet-5.5、ernie-5.5-flash-preview、gpt-6.1-sol、kimi-k3.1-pro
原因:题面只说LPR加了30个基点,没给历次重定价的时间和重算后的月供,模型只能假设利率五年未变、月供始终8000,于是本金口径比判分基准(按已降息重算过)偏高。按题面信息算其实是合理的,问题在于基准与题面互相矛盾。
能力
把用户口述的月供8000当成当前仍在扣的钱照用,没意识到利率降到3.75%后月供应只有约7070元,导致本金或省息被算高 2 个对象
涉及对象:LongCat-2.5、MiniMax-M3.1-Flash
原因:8000元月供对应的是4.95%的旧利率,3.75%下同样是300期只需约7070元;直接拿8000配3.75%反推,本金会接近甚至超过原始贷款150万,自相矛盾。没做这一步核对的对象,结论里的省息就偏大到约20万。
能力
只做「提前还的利息对比理财收益」的方向性比较,没有算剩余本金、没做缩短年限与减少月供的量化对比,也没给明确推荐 1 个对象
涉及对象:gemini-4-carbon
原因:它用不到3000个词元、19秒就收尾,把总量150万当成现值,只算3.75%与2%的利差,方向对但缺少可执行的数字和建议,所以拿到通过者中最低的0.8048分。

特例

claude-opus-5-5
记录里有一次判分模型调用失败、没解析出分数、随后重试的情况,属于评测链路故障,与被测对象能力无关;它最终0.904的成绩来自重试后的判分。
spark-x2.6
全场轮数最多(5轮)、用量最高(116878个词元、365秒),约为claude-opus-5-5用量的17倍,但留存下来的最终回答只剩「随时欢迎」的客套收尾;它仍拿到0.824,说明判分看的是中间几轮的测算正文,而不是对话最后一句。
step-5-preview
自行假设当前利率为3.8%(LPR 3.5%加30个基点)、剩余本金约135万,与判分基准的3.75%、约133万都不一致,照样得到0.904,说明测算项的误差容忍度其实不低,与前面7个对象因137万被隐性扣分的情形并不对称。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

claude-opus-5-5
判分模型失败 1 次
归因:这道题整体不算难:14个有轨迹的对象里13个通过,平均0.8787,唯一不及格的是长猫(0.68,而且耗时最长,975秒)。它的失分中,能力因素(回答冗杂、带内部推理痕迹、没回应月供仍是8000的矛盾、省息算成约20万而基准约15万)估计占约六成;题目因素(判分基准与本可推导出的数字互相矛盾、澄清项超过5问就扣分偏严)约占三成;剩下一成是判分链路的一次调用失败。必须补充的是:25个对象里有11个(44%)根本没有轨迹,这是评测执行层面的问题,不能用来评价能力。

5. 题目质量问题

只有数据里真有证据才列入
高
判分基准给的剩余本金约133万,与题面条件能推出来的约137万对不上,导致按题面老实算的对象反而偏离基准
证据:规则背景写剩余本金约133万左右,而7个对象分别算出约137万、137.6万、137.7万;这7个全部仍判通过,说明这4万的差距目前靠人为宽容消化,而不是规则说清。
建议:要么把基准改成按题面可复现的约137万,要么在规则里写明剩余本金在133万至138万之间均视为正确,并注明差额来自历次降息重算。
中
用户的月供8000与利率已降到3.75%本身就冲突,题面没交代8000是原始月供还是当前月供
证据:至少5个对象在正文开头专门辟出一节处理这个矛盾,例如claude-opus-5-5的「先核对一个数字」、claude-sonnet-5.5的「先说一个需要核对的地方」、ernie-5.5-flash-preview的「月供为什么还是8000」;长猫也因此被判分批评没有清晰回应这一关键信息。
建议:在提问里补一句月供一直还是8000上下,或在判分说明里明确:8000为旧利率下的月供,发现矛盾并提醒用户核对即可加分。
中
澄清项一次超过5个问题要扣分,对本题过严——题面只有三条信息,缺的恰好是五六项关键条件
证据:长猫一次问了8个问题、覆盖了规则列举的全部要素(贷款总额与期限、已还期数、还款方式、执行利率、组合贷、违约金、方案偏好、投入比例),仍被判0.80,扣分理由直接引用超过5个应适当扣分。
建议:把上限放宽到不超过8个,或改成允许分两轮提问、单轮集中超过6个才扣分,避免惩罚信息收集得最全的对象。
低
判分不校验最终方案是否仍以15万为前提,改口还多少钱也不影响得分
证据:qwen4-max在用户补充家庭收支后给出还10万、留5万的方案,仍得0.936;spark-x2.6末轮只剩客套话也得0.824。
建议:增加一条检查:测算主体必须以15万为基础,若建议改为其他金额,需要说明理由和差额影响。
一句话结论:这是一道考「先问清再算账」的房贷咨询题,多数对象都能给出靠谱测算并通过,真正的噪声来自题目自身的数据矛盾——判分基准的剩余本金约133万与题面可推出的约137万对不上、月供8000与利率降到3.75%也互相打架,唯一不及格的长猫则主要输在表达冗杂与没处理这个矛盾。
← 返回题目分析总览