用户带着一笔已稳定运营的公寓(多户住宅)收购案来问:约1000万美元买入、650万美元贷款、入市资本化率6.2%,在CPI降温、部分市场租金增长明显减速的当下,3.5%的年租金增长假设还站不站得住脚。题目要求模型先判断信息是否够用并主动追问资产细节,再检索各大机构对租金增长的最新预测,结合印第安纳波利斯的本地行情,做NOI、偿债、偿债覆盖率、杠杆现金流、5年期现金流折现、退出价值与剩余贷款余额的测算。最后还要做持有年限、退出资本化率与租金增长情景的敏感性对比,评估提前还款罚金,给出明确建议。
用户开场是一个高层面的市场问题,看模型能否识别出缺少市场、买入价、贷款条款、费用率等关键信息,并在对话中系统地追问补齐,而不是直接给结论
逐项核对NOI、费用率、年偿债额、偿债覆盖率、杠杆现金流、现金流折现、退出价值与剩余贷款余额是否与参考值一致、口径是否前后自洽
看是否给出机构最新预测、本地市场数据、自身数据与市场数据之间的矛盾识别、压力测试和可执行的建议,而非泛泛而谈
看整段对话是否层层补齐建模所需的基础信息,前期该问的有没有问、该查的有没有查,缺失项是否被明确标注
判断回答是否始终围绕多户住宅租金增长与这笔交易的分析;一旦跑题,数值项与质量项直接判零或封顶
四个维度各按0到1分打分,总分由四项汇总而来,任何一项都覆盖整段对话而不只看最后一段。判分前先做主题一致性前置校验:回答若偏离“多户住宅租金增长与这笔交易的测算”,对应维度直接判0分或封顶。没有给出最终数值结论的对话,数值项一律0分——这正是四个低分对象被判零的原因。数值项按参考值逐项比对并设容差:压力测试后的NOI误差约2.3%仍算接近、可以得分,但反推的租金总收入和有效总收入若超出容差就要扣分;剩余贷款余额算错这种硬伤会把数值项压到0.3左右。质量项看有没有机构最新预测、印第安纳波利斯本地情况、矛盾点识别与可执行建议,只有中间进展没有收尾的给0.0到0.1分。从结果看通过线约在0.75,0.7368未通过、0.7748通过。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-opus-5-51 次运行 | 0.853 | 通过 | 有波动超时2、工具报错14、用法错误2、空结果5 | 6m 46s | 674,530 | 通过;Core metrics match the reference nearly exactly: NOI $620K (✓), EGI $1,068,966 (… |
| qwen4-max1 次运行 | 0.843 | 通过 | 有波动工具报错8、空结果5 | 7m 54s | 637,612 | 通过;Step 1 (market assessment) was handled at a high level: the assistant pulled cur… |
| LongCat-2.51 次运行 | 0.821 | 通过 | 有波动工具报错15、空结果13 | 13m 41s | 688,028 | 通过;The assistant eventually incorporated all basic deal inputs, including Indianapo… |
| ernie-5.5-flash-preview1 次运行 | 0.820 | 通过 | 有波动工具报错20、空结果5 | 4m 41s | 425,497 | 通过;Core deal metrics are broadly correct: annual debt service on $6.5M at 5.4% amor… |
| gpt-6-astra1 次运行 | 0.792 | 通过 | 有波动工具报错4、空结果5 | 4m 30s | 144,979 | 通过;The response clearly compares both hold periods and growth cases with annual cas… |
| GLM-5.3-Flash测试报告 | 0.777 | 通过 | 仅报告 | 11m 10s | 303,228 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gpt-6.1-sol1 次运行 | 0.775 | 通过 | 有波动工具报错3、空结果4 | 2m 42s | 102,014 | 通过;Debt service, monthly payment, loan balance, and Year 5 NOI are within tolerance… |
| claude-sonnet-5.51 次运行 | 0.768 | 通过 | 有波动工具报错13、空结果9 | 6m 32s | 736,310 | 通过;Debt service, loan balance, and many sensitivity calculations are numerically co… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.754 | 通过 | 仅报告 | 17m 50s | 472,031 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| gemini-4-carbon1 次运行 | 0.737 | 未通过 | 有波动工具报错1、空结果8 | 1m 25s | 101,397 | The assistant stays on topic and gives a reasonably professional market gut check and a practical stressed NOI… |
| spark-x2.61 次运行 | 0.668 | 未通过 | 有波动超时1、工具报错4、空结果18 | 7m 54s | 304,617 | Several core metrics are correct: annual debt service (~$437,994), baseline DSCR (~1.42x), Year 1 levered cash… |
| Qwen3.8-Max(xhigh)测试报告 | 0.572 | 未通过 | 仅报告 | 20m 50s | 508,949 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.433 | 未通过 | 仅报告 | 7m 10s | 401,753 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| kimi-k3.1-pro2 次运行 | 0.312 | 未通过 | 有波动超时7、工具报错8、空结果11 | 7m 50s | 656,473 | The assistant provided no final numerical answer or computations against the supplied parameters (NOI, debt se… |
| GLM 5.3测试报告 | 0.288 | 未通过 | 仅报告 | 8m 20s | 447,040 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.272 | 未通过 | 有波动工具报错1、空结果7 | 4m 53s | 365,433 | The assistant did not provide any final numerical analysis or computed metrics (NOI, debt service, DSCR, cash… |
| Kimi-K3(max)测试报告 | 0.256 | 未通过 | 仅报告 | 9m 00s | 435,254 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| MiniMax-M3.1-Flash1 次运行 | 0.256 | 未通过 | 有波动超时5、工具报错9、空结果6 | 7m 13s | 590,462 | The assistant provided no final numerical answer or computations validating the 3.5% rent growth assumption, n… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.244 | 未通过 | 仅报告 | 8m 40s | 317,511 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.235 | 未通过 | 有波动超时11、工具报错9、空结果11 | 9m 45s | 369,301 | The assistant did not provide any numerical answer or calculations to evaluate; it only reported failed search… |
资源、网络、额度、判分链路的问题,不应算作答题能力。