用户有一篇投给 JASIST 的论文,实验已经跑完,但 Discussion(讨论)部分还没动笔,下周要交初稿,希望助手帮忙头脑风暴从研究发现能往哪几个方向展开。对话中用户会逐步透露研究用的是语义嵌入加时间衰减聚类、对比传统共被引分析,并给出三个核心发现、数据集和基线。助手需要一边追问细节、一边给出结构规范、经得起审稿的讨论框架。
是否收集齐研究主题与具体方法、三个核心发现的具体内容、数据集来源、对比基线这四类基础信息;是否进一步追问意外发现的细节、统计效果量、研究局限、审稿人可能关切的问题、参数依据以及导师分歧的处理方式。
是否察觉用户最初什么具体信息都没给、应当先追问而不是直接套用通用写作模板;用户信息逐步变具体后,建议是否跟着调整;是否抓住用户真正在意的贡献归属与导师分歧。
Discussion 的分节是否合理、是否有一条贯穿的主线、三个发现的主次与篇幅如何分配;是否安排与既有研究的对话、方法局限与效度威胁、以及对结果的替代解释等必备环节。
回答必须围绕“JASIST 论文 Discussion 怎么写”展开;若跑去讲引言写作或实验设计,该维度直接判零分。
不考虑排版形式,只看内容是否完整、专业、有洞见:能否给出可执行的论证方向、区分竞争性解释、指出测量偏差等风险,并给出可落地的补充分析建议。
四个维度各自按 0 到 1 分打分。信息收集维度设硬门槛:主题与方法、三个发现、数据集、基线四类基础信息缺任意一项,总分不超过 0.7,再按追问到的深入信息逐项加分。框架与内容两个维度都先过话题一致性检查,偏离 Discussion 写作直接判 0 分。框架维度还设整体架构必备项:没有与现有文献展开对话,不超过 0.4;方法局限讨论不完整(例如未涉及语义模型对非英语文献的适用性、两年时间衰减半衰期的参数依据、结论的外推边界),不超过 0.6。从判分理由看,未通过者几乎都栽在这两道上限上,数据中最高 0.964 分、最低 0.2 分。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-opus-5-51 次运行 | 0.964 | 通过 | 正常 | 3m 45s | 79,065 | 通过;该回答完全切合JASIST Discussion写作主题,全程围绕用户的三个finding、方法与局限展开。Step 1满足:Finding 1(时间优势)对接… |
| MiniMax-M3.1-Flash1 次运行 | 0.962 | 通过 | 有波动工具报错1、空结果5 | 12m 11s | 443,698 | 通过;助手整体表现很强:首轮即识别出用户信息不足,既给出可直接使用的Discussion brainstorm框架,也提出需要补充的关键信息;后续每轮都根据用户新增的… |
| GLM 5.3测试报告 | 0.953 | 通过 | 仅报告 | 9m 20s | 141,922 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM-5.3-Flash测试报告 | 0.943 | 通过 | 仅报告 | 11m 50s | 58,819 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.927 | 通过 | 仅报告 | 3m 10s | 196,394 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| step-5-preview1 次运行 | 0.926 | 通过 | 正常 | 6m 16s | 58,295 | 通过;回答高度贴合JASIST投稿语境,完整覆盖三个findings的讨论方向,并给出可操作的段落起草、机制解释、文献锚点、审稿人雷区和时间紧迫下的补充分析。对情感极… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.926 | 通过 | 仅报告 | 12m 10s | 236,770 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-fable-5-12 次运行 | 0.924 | 通过 | 正常 | 6m 00s | 53,298 | 通过;助手始终围绕JASIST论文Discussion写作展开,内容质量很高。Step 1:三条finding均有明确的文献对话与理论解释方向(Finding 1接P… |
| LongCat-2.51 次运行 | 0.923 | 通过 | 正常 | 15m 57s | 236,381 | 通过;助手总体表现很强:一开始识别信息不足并追问,随后根据方法、数据、发现、导师与作者意见张力、ground truth 弱点、半衰期参数敏感性和 ablation… |
| claude-sonnet-5.51 次运行 | 0.922 | 通过 | 有波动工具报错4、空结果3 | 3m 10s | 120,156 | 通过;Assistant stayed tightly on the JASIST Discussion task and gave strong, field-sp… |
| Qwen3.8-Max(xhigh)测试报告 | 0.919 | 通过 | 仅报告 | 13m 03s | 102,718 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| qwen4-max1 次运行 | 0.914 | 通过 | 正常 | 4m 16s | 75,782 | 通过;回答完全切题且质量很高。Step 1(必备)完全满足:F1映射到Small 1973共被引行为聚合前提的对话、F2映射到Moravcsik & Murugesa… |
| deepseek-v4.1-flash-1017测试报告 | 0.904 | 通过 | 仅报告 | 5m 50s | 142,369 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Hy41 次运行 | 0.887 | 通过 | 有波动工具报错1、空结果8 | 15m 42s | 217,731 | 通过;助手较好地识别了信息缺口,在用户补充结果后动态搭建了较有洞察的Discussion主线、风险点和文献对话框架,也回应了用户的不确定情绪。主要扣分在于工具使用过度… |
| gpt-6.1-sol1 次运行 | 0.878 | 通过 | 正常 | 2m 08s | 19,377 | 通过;回答紧扣JASIST Discussion brainstorm,能针对三个findings提出清晰的论证线:时间可见性、引用立场/语境价值、领域条件与互补性;… |
| kimi-k3.1-pro2 次运行 | 0.797 | 通过 | 正常 | 4m 18s | 50,749 | 通过;回答始终围绕JASIST的Discussion写作展开,完整覆盖三个findings,并很有洞察地处理了情感极性的domain bias、导师与作者的主线取舍,… |
| gpt-6-astra1 次运行 | 0.742 | 未通过 | 正常 | 1m 47s | 18,863 | 回答逐条对应时间优势、极性增益和领域差异,篇幅安排合理,并清楚区分F1增益、时间提前量与因果机制。对domain bias、极性测量偏差、网络稀疏及时间信息可比性的局限讨论具体,后续核查也具有可操作性,符合审慎的学术写作… |
| spark-x2.61 次运行 | 0.742 | 未通过 | 正常 | 3m 34s | 41,493 | 回答主题一致且对Finding 1/2、domain bias、导师偏好平衡、Discussion结构等给出了较深入可操作建议,但未能覆盖用户最终情况中的Finding 3(交叉学科差异及其两种解释),方法局限也未具体触… |
| gemini-4-carbon1 次运行 | 0.707 | 未通过 | 正常 | 25s | 12,173 | 助手提出了邀请用户补充主题和核心发现的开放式问题,但后续并未继续追问缺失的基础信息,尤其是三个核心findings的具体内容和更精确的方法细节(如嵌入模型、时间衰减/聚类参数、基线操作定义)。数据集和对比传统共被引有一定… |
| Kimi-K3(max)测试报告 | 0.542 | 未通过 | 仅报告 | 9m 50s | 5,416 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.200 | 未通过 | 有波动空结果4 | 3m 36s | 238,264 |
资源、网络、额度、判分链路的问题,不应算作答题能力。