用户是基层公安办公室的工作人员,辖区 14 个派出所每天把接处警 Excel 发到企业微信群,再靠人工汇总成日报,想知道用 RPA 或脚本替掉这套手工流程门槛高不高、有没有可行思路。题目实际考察的是:模型能否先问清派出所数量、表格列名、技术环境、输出要求,再给出一套在不能上外网、没有 Python、只有 WPS 的 Windows 10 电脑上能跑起来的自动汇总方案。方案还要能容错各所五花八门的列名、处理缺报重复等脏数据,并输出 Excel 总表和 Word 简报。
是否问齐五项基础信息:派出所数量、Excel 列名与格式是否统一、数据来源流程、用户会不会写代码、操作系统和已装软件;再看有没有问到日报输出格式、现在手动汇总的痛点、每天的截止时间和流程。
是否在前几轮就发现用户没说清的关键信息并系统追问,而不是先甩一套泛泛方案再补问;能否挖出列名容错、数据校验、Word 简报、离线环境这些深层需求。
先查是否跑题,跑题直接零分;再查是否按 12 个标准列名、列名变体映射、“接警总数等于五类警情之和”的校验、合计行来写,以及脚本本身能不能跑通。
方案的完整性、专业性、实用性和公安办公领域的贴合度,是否覆盖离线部署、WPS 环境限制、脏数据处理这些实际约束。
有没有交出可运行的脚本和面向非技术人员的安装运行说明;只给思路或伪代码,技术准确性会掉到很低的档,内容质量也会被压分。
四个分项各按 0 到 1 打分:信息收集、意图理解、技术准确性、内容质量。信息收集有硬门槛,5 项基础信息缺任意一项不超过 0.7,深入项(输出格式、手动汇总痛点、截止时间和流程)每覆盖一项加分。技术准确性和内容质量都设“话题一致性”前置检查,完全跑题直接判 0。落地交付是隐性硬门槛:只给实现思路或伪代码不给可运行脚本,技术准确性落在 0.2 到 0.3 档;没有基础脚本和面向非技术人员的部署运行说明,内容质量最高只能给 0.4。技术准确性还要求按用户给的 12 个标准列名、列名变体(“总接警数”“接警量”)和“接警总数等于五类警情之和”的校验来实现,缺这些会明显扣分。源片段在 300 字处被截断,更细的档位阈值未能核对。
| 测试对象 | 得分 | 结果 | 部署 / 环境 | 耗时 | Token | 失分要点 |
|---|---|---|---|---|---|---|
| claude-sonnet-5.51 次运行 | 0.963 | 通过 | 有波动用法错误6 | 13m 54s | 514,715 | 通过;The assistant demonstrated excellent progressive requirement elicitation across… |
| claude-opus-5-51 次运行 | 0.949 | 通过 | 有波动用法错误2 | 10m 38s | 605,098 | 通过;助手在整个对话中表现优秀。第一轮就系统性地追问了缺失的关键信息(数据来源、规模、现有流程、环境资源),而非先抛泛泛方案;随后随用户补充逐层挖掘深层需求:列名容错… |
| gpt-6.1-sol1 次运行 | 0.922 | 通过 | 有波动超时1 | 8m 32s | 341,317 | 通过;助手整体表现很好:首轮即识别出自动化不必直接上RPA,并系统追问环境、口径、输出格式等关键信息;后续根据14所、Windows/WPS、无Python等约束给出… |
| GLM-5.3-Flash测试报告 | 0.914 | 通过 | 仅报告 | 25m 00s | 75,274 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| GLM 5.3测试报告 | 0.910 | 通过 | 仅报告 | 16m 30s | 1,111,533 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| deepseek-v4.1-flash-1017测试报告 | 0.908 | 通过 | 仅报告 | 9m 40s | 935,630 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| qwen4-max1 次运行 | 0.884 | 通过 | 正常 | 12m 25s | 2,627,573 | 通过;基础信息全部收集到位:14个所、列名及格式统一情况、警综平台手动导出流程、用户技术水平、Win10/WPS环境均已明确(部分由助手第一轮针对性提问引导用户主动提… |
| Qwen3.8-Flash(xhigh)测试报告 | 0.880 | 通过 | 仅报告 | 12m 35s | 718,747 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| claude-fable-5-12 次运行 | 0.876 | 通过 | 正常 | 15m 13s | 369,567 | 通过;首轮提问质量很高,5个问题精准覆盖了所有基础信息(数据来源/系统、日报格式、模板统一情况、技术能力、所数量与预算),操作系统/WPS环境虽未直接询问但用户主动给… |
| LongCat-2.51 次运行 | 0.864 | 通过 | 有波动超时2 | 21m 51s | 641,741 | 通过;The PowerShell script is technically sound and fully runnable on stock Windows 1… |
| Hy42 次运行 | 0.856 | 通过 | 有波动空结果7 | 14m 50s | 715,072 | 通过;助手在第一轮提出了多个澄清问题,基本覆盖了做方案所需的基础信息:数据来源流程、字段/模板统一情况、网络环境、试点资源、业务口径等;用户在第二轮主动补齐了派出所数… |
| step-5-preview1 次运行 | 0.852 | 通过 | 正常 | 14m 53s | 1,109,393 | 通过;助手逐步追问了数据来源、技术水平、网络审批、日报格式、列名不一致等关键信息,但基础信息仍未收齐:始终未询问派出所数量,也未确认操作系统/Office/WPS等软… |
| mimo-v2.6-pro-ultraspeed测试报告 | 0.838 | 通过 | 仅报告 | 8m 00s | 511,788 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| spark-x2.61 次运行 | 0.779 | 通过 | 正常 | 8m 51s | 161,292 | 通过;回答仍围绕公安日报自动汇总,最终提供了较完整的 VBA 合并脚本,能实现读取表头、忽略非标准列、生成合计行、交叉校验和 Word 简报,核心思路基本可用。但按给… |
| kimi-k3.1-pro4 次运行 | 0.770 | 通过 | 正常 | 15m 06s | 605,947 | 通过;基础信息基本齐全:通过用户补充和助手询问获得了派出所数量、列名格式、数据来源、技术水平、系统环境等。助手也进一步确认了字段规则、文件格式、接口支持、校验口径等方… |
| gpt-6-astra1 次运行 | 0.652 | 未通过 | 正常 | 1m 52s | 28,621 | 回答仍围绕日报汇总,差额45-38=7计算正确,五类求和校验、异常整行隔离、更正后全量重算及重复记录拦截的逻辑正确;离线使用PowerShell/.NET处理标准Office文件在技术上可行。但仅描述实现思路,没有提供可… |
| MiniMax-M3.1-Flash1 次运行 | 0.635 | 未通过 | 有波动空结果4 | 8m 15s | 588,040 | 回答仍围绕接处警日报自动化,且给出了较完整脚本原型,但技术实现与用户明确参数不匹配:未采用12个标准列,未覆盖‘接警总数=刑事+治安+交通+火灾+其他’等关键校验,列名别名映射也不针对用户给出的变体列。脚本后期修改后存在… |
| gemini-4-carbon1 次运行 | 0.539 | 未通过 | 正常 | 30s | 19,938 | 助手只提供VBA伪代码和条件格式思路,未给出完整可运行脚本;伪代码存在明显技术错误(如val合计误用Column而非Value),且校验逻辑不完整,只比较刑事+治安与合计,未覆盖12列标准字段、接警总数与分类警情之和的校… |
| Qwen3.8-Max(xhigh)测试报告 | 0.511 | 未通过 | 仅报告 | 9m 03s | 386,586 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| Kimi-K3(max)测试报告 | 0.477 | 未通过 | 仅报告 | 9m 11s | 5,456 | 得分来自测试报告;没有轨迹与判分理由,无法复盘过程 |
| ernie-5.5-flash-preview1 次运行 | 0.200 | 未通过 | 有波动空结果3 | 3m 32s | 836,665 |
资源、网络、额度、判分链路的问题,不应算作答题能力。