用户想弄清个人养老金账户今年的政策跟去年比有没有变化、试点是不是扩大了,每年到底能抵多少税,账户里的钱能买哪些产品,以及按自己(五十六岁、已内退、年收入十五六万)的情况开户划不划算。实际对话还会从养老金延伸到银行推荐的增额终身寿险收益核对,并要求助手给出是否购买的明确建议。
不只看最后一轮,而是逐轮看助手有没有在第一轮就察觉用户没给年龄、退休状态、收入水平这些关键参数并主动追问,中途有没有跟上用户对收入数字(如先说十万出头、后说十五六万)的修正,以及有没有跟随需求从养老金延伸到保险和资产配置。
只看数字对不对:是否落到适用税率档位、按年缴一万二算出省税金额、按领取环节缴税算出实际税负、得出净节税金额,并给出资金锁定大概几年的判断;延伸部分要按每年两万交五年、年化百分之二点五复利核出第十年大约是多少,与银行演示的十三万对照。
前置检查话题一致性,完全跑题直接判零;再看政策要点(缴费上限一万二、领取环节按百分之三计税、产品范围、试点已扩至全国)是否齐全准确,建议是否专业、可操作,是否识别并核实网传的未经证实说法。
基础信息必须收齐:当前年龄与退休状态(内退、正式退休或在职)、目前的年应纳税所得额或收入水平;缺任意一项得分不超过零点七。深入信息包括是否还有别的长期储蓄需求、对资金流动性的要求和顾虑、现有社保与养老保障、已有的专项附加扣除,覆盖越多加分越多。
四个维度各自按零到一打分:对话过程质量、数值计算准确性、内容质量、信息收集质量,最终得分是多项判分理由的综合。内容与数值两项都设了前置检查,最终回答一旦完全偏离“个人养老金是否划算、增额寿险收益靠不靠谱”这个主题,该项直接判零,这是唯一的一票否决项。信息收集维度是硬门槛,年龄与退休状态、年应纳税所得额或收入水平缺一项就不超过零点七。数值维度对标一组程序化算出的参考值:适用税率档位、存满一万二省税一千二、退休领取缴税三百六、净节税八百四,以及资金锁定四到九年,算错即扣。内容维度看政策口径与实用建议是否齐全,能做了官方文件与谣言核实算加分项。注意本报告依据的判分规则片段在源数据里每条被截断在三百字左右,细则只能部分还原。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-opus-5-51 次运行 | 0.976 | 通过 | 正常 | 3m 20s | 95,118 | 通过;助手在对话中精准识别信息缺失并主动追问,准确捕捉用户的信息修正(收入、税率、增额寿演示利率等),并流畅跟踪需求演变。工具使用方面,虽有一次计算调用失败但自行修正… |
| GLM-5.3-Flash测试报告 | 0.929 | 通过 | 仅报告 | 15m 10s | 80,629 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.929 | 通过 | 有波动空结果6 | 3m 03s | 67,839 | 通过;助手整体跟踪用户信息修正、追问关键变量并给出可操作判断,税务测算和寿险现金流分析较专业;但多轮搜索查询效果不佳且未充分核验时效政策,计算工具首次调用失败后修正,… |
| deepseek-v4.1-flash-1017测试报告 | 0.922 | 通过 | 仅报告 | 11m 50s | 354,438 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6-astra1 次运行 | 0.878 | 通过 | 有波动空结果7 | 4m 12s | 75,894 | 通过;整体准确跟踪了用户意图:首轮主动询问年龄、收入、扣除和流动性需求;后续及时采用15.5万元收入及2.5%的修正,正确计算跨税档节税458元、本金税率差98元,并… |
| GLM 5.3测试报告 | 0.861 | 通过 | 仅报告 | 30m 10s | 266,851 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.849 | 通过 | 仅报告 | 6m 50s | 167,703 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| spark-x2.61 次运行 | 0.814 | 通过 | 有波动工具报错4、空结果11 | 6m 09s | 154,376 | 通过;个人养老金税档、固定扣除、临界收入153600元、每年净节税840元及4年锁定等计算均正确。但增额终身寿险部分,按用户补充的预定利率2.5%口径,助手将每年2万… |
| LongCat-2.51 次运行 | 0.802 | 通过 | 有波动工具报错8、空结果5 | 13m 30s | 844,454 | 通过;个人养老金的税率临界分析、分段节税计算(如15万/15.5万/16万对应360/458/808元)及4年约3300元净收益的方向基本准确;但增额终身寿IRR反推… |
| qwen4-max1 次运行 | 0.796 | 通过 | 有波动工具报错1、空结果6 | 5m 34s | 95,583 | 通过;按评分标准核对:参考答案要求判断用户适用税率为10%档、缴存省税1,200元、净节税约840元。助手初期(第二轮)给出了10%档、省税1,200、领取360、净… |
| claude-sonnet-5.51 次运行 | 0.789 | 通过 | 有波动工具报错1、空结果5 | 3m 55s | 157,584 | 通过;助手包含多处正确数值计算,如个人养老金12000元上限、3%领取税、10%档位下约840元净节税、增额终身寿险IRR试算等;但最终基于扣除后将边际税率主要判断为… |
| Kimi-K3(max)测试报告 | 0.674 | 未通过 | 仅报告 | 13m 20s | 434,451 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.656 | 未通过 | 有波动超时1、工具报错3、空结果7 | 2m 46s | 898,614 | 助手在第一轮对政策时间线、抵扣规则、产品范围和“2026传闻未核实”处理较清楚,并主动追问关键信息;但搜索过多且低效。第二轮用户补充了年龄、收入、税率、退休状态和新增问题后,助手仅发起检索且失败,没有给出基于新信息的个性… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.638 | 未通过 | 仅报告 | 11m 20s | 672,956 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gemini-4-carbon1 次运行 | 0.622 | 未通过 | 有波动空结果7 | 59s | 47,247 | 回答未完全偏离主题,且对个人养老金额度、产品类型、增额终身寿险预定利率与实际收益差异做了较通俗解释,有一定决策框架和实用性。但未满足关键完整度要求:未说明个人养老金领取时3%税率,也未准确回应试点扩大至全国的政策变化;同… |
| kimi-k3.1-pro2 次运行 | 0.266 | 未通过 | 有波动超时1、空结果10 | 3m 16s | 574,643 | 助手最终没有给出个人养老金节税或产品收益的数值分析,未计算适用税率、缴存抵扣、领取3%税负或净节税金额,也没有评估是否划算。 |
| Hy41 次运行 | 0.256 | 未通过 | 有波动工具报错1、空结果9 | 5m 11s | 1,092,882 | The conversation shows extensive tool calls and search results but no final assistant response is provided. Wi… |
| Qwen3.8-Max(xhigh)测试报告 | 0.248 | 未通过 | 仅报告 | 8m 20s | 587,914 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.238 | 未通过 | 有波动工具报错9、空结果7 | 4m 52s | 552,687 | 助手最终未给出任何数值计算或节税分析,仅停留在检索过程,因此数值准确性为0。 |
| MiniMax-M3.1-Flash1 次运行 | 0.216 | 未通过 | 有波动超时1、空结果5 | 5m 39s | 1,479,792 | The assistant never provided a final response to the user. The conversation ends mid-research with tool calls… |
资源、网络、额度、判分链路的问题,不应算作答题能力。