题目分析 / C27zh_data_automation

数据自动化 C27zh_data_automation

偏难平均分 0.770通过 15 / 已评 21
通过率
71.4%
15 / 21 个已评对象
平均分
0.770
最高 0.963 · 最低 0.200
题目类型
中文题
多轮对话 + 工具调用
题目质量提示
2 条
见本页末尾

1. 这道题是什么

用户是基层公安办公室的工作人员,辖区 14 个派出所每天把接处警 Excel 发到企业微信群,再靠人工汇总成日报,想知道用 RPA 或脚本替掉这套手工流程门槛高不高、有没有可行思路。题目实际考察的是:模型能否先问清派出所数量、表格列名、技术环境、输出要求,再给出一套在不能上外网、没有 Python、只有 WPS 的 Windows 10 电脑上能跑起来的自动汇总方案。方案还要能容错各所五花八门的列名、处理缺报重复等脏数据,并输出 Excel 总表和 Word 简报。

用户原话(题目开场)

最近听说有些地方公安局在用RPA自动汇总各派出所每天的接处警数据然后生成日报,这个技术门槛高不高?我们现在还是每天各所手动填报再汇总,太费时间了,想搞个自动化的方案先试试,有没有什么思路?

题目要求

  • 14 个派出所,每所每天上报 1 行接处警汇总数据,目标是自动汇总出日报,替代现在各所手动填报再人工汇总的流程。
  • 各所 Excel 列名不统一,像“接警总数”会被写成“总接警数”“接警量”,有的还多加一列“出警时间”,方案要能自动识别并归一。
  • 数据要从警综平台手动导出,每天下午 4 点前由各所通过企业微信发来,办公室当天就要出日报,形式是 Excel 总表加 Word 简报。
  • 办公室人员不会写代码,但能照着说明运行现成脚本;电脑是 Windows 10,装了 WPS 没有 Python,不能上外网,装软件要信息科审批。
  • 汇总前要核对 14 个所是否收齐、有无重复上报、日期是否混放、数字是否为空,以及“接警总数等于刑事、治安、交通、火灾、其他五类之和”是否对得上。

要求的交付物

  • 一套离线可用的自动汇总工具包:脚本、一键运行的批处理文件和中文使用说明,非技术人员能照着安装和运行。
  • 自动生成的 Excel 日报总表,包含 14 个所的汇总数据以及未报、异常清单。
  • 自动生成的 Word 日报简报。
  • 列名识别与数据校验的处理办法,说明认不出列名、缺报、重复、合计不符时如何提示和处理。

2. 判分点与判分细节

需求信息收集

是否问齐五项基础信息:派出所数量、Excel 列名与格式是否统一、数据来源流程、用户会不会写代码、操作系统和已装软件;再看有没有问到日报输出格式、现在手动汇总的痛点、每天的截止时间和流程。

意图理解与响应

是否在前几轮就发现用户没说清的关键信息并系统追问,而不是先甩一套泛泛方案再补问;能否挖出列名容错、数据校验、Word 简报、离线环境这些深层需求。

技术准确性

先查是否跑题,跑题直接零分;再查是否按 12 个标准列名、列名变体映射、“接警总数等于五类警情之和”的校验、合计行来写,以及脚本本身能不能跑通。

内容质量与专业性

方案的完整性、专业性、实用性和公安办公领域的贴合度,是否覆盖离线部署、WPS 环境限制、脏数据处理这些实际约束。

落地交付

有没有交出可运行的脚本和面向非技术人员的安装运行说明;只给思路或伪代码,技术准确性会掉到很低的档,内容质量也会被压分。

判分细节

四个分项各按 0 到 1 打分:信息收集、意图理解、技术准确性、内容质量。信息收集有硬门槛,5 项基础信息缺任意一项不超过 0.7,深入项(输出格式、手动汇总痛点、截止时间和流程)每覆盖一项加分。技术准确性和内容质量都设“话题一致性”前置检查,完全跑题直接判 0。落地交付是隐性硬门槛:只给实现思路或伪代码不给可运行脚本,技术准确性落在 0.2 到 0.3 档;没有基础脚本和面向非技术人员的部署运行说明,内容质量最高只能给 0.4。技术准确性还要求按用户给的 12 个标准列名、列名变体(“总接警数”“接警量”)和“接警总数等于五类警情之和”的校验来实现,缺这些会明显扣分。源片段在 300 字处被截断,更细的档位阈值未能核对。

机制说明:每题由判分模型按多个维度独立打分(完成度、稳健性、安全性等),综合分 = 0.8 × 完成度 + 0.1 × 稳健性 + 0.1 × 安全性;本批数据里稳健性与安全性恒为 1.0,因此综合分只剩完成度一个变量。综合分 ≥ 0.75 记为通过。源数据只保留了判分规则的 300 字预览。

3. 各测试对象得分统计

得分、结果、部署、耗时、Token 五个维度;按得分从高到低
测试对象得分结果部署 / 环境耗时Token失分要点
claude-sonnet-5.51 次运行0.963通过有波动用法错误613m 54s514,715通过;The assistant demonstrated excellent progressive requirement elicitation across…
claude-opus-5-51 次运行0.949通过有波动用法错误210m 38s605,098通过;助手在整个对话中表现优秀。第一轮就系统性地追问了缺失的关键信息(数据来源、规模、现有流程、环境资源),而非先抛泛泛方案;随后随用户补充逐层挖掘深层需求:列名容错…
gpt-6.1-sol1 次运行0.922通过有波动超时18m 32s341,317通过;助手整体表现很好:首轮即识别出自动化不必直接上RPA,并系统追问环境、口径、输出格式等关键信息;后续根据14所、Windows/WPS、无Python等约束给出…
GLM-5.3-Flash测试报告0.914通过仅报告25m 00s75,274得分来自测试报告;没有轨迹与判分理由,无法复盘过程
GLM 5.3测试报告0.910通过仅报告16m 30s1,111,533得分来自测试报告;没有轨迹与判分理由,无法复盘过程
deepseek-v4.1-flash-1017测试报告0.908通过仅报告9m 40s935,630得分来自测试报告;没有轨迹与判分理由,无法复盘过程
qwen4-max1 次运行0.884通过正常12m 25s2,627,573通过;基础信息全部收集到位:14个所、列名及格式统一情况、警综平台手动导出流程、用户技术水平、Win10/WPS环境均已明确(部分由助手第一轮针对性提问引导用户主动提…
Qwen3.8-Flash(xhigh)测试报告0.880通过仅报告12m 35s718,747得分来自测试报告;没有轨迹与判分理由,无法复盘过程
claude-fable-5-12 次运行0.876通过正常15m 13s369,567通过;首轮提问质量很高,5个问题精准覆盖了所有基础信息(数据来源/系统、日报格式、模板统一情况、技术能力、所数量与预算),操作系统/WPS环境虽未直接询问但用户主动给…
LongCat-2.51 次运行0.864通过有波动超时221m 51s641,741通过;The PowerShell script is technically sound and fully runnable on stock Windows 1…
Hy42 次运行0.856通过有波动空结果714m 50s715,072通过;助手在第一轮提出了多个澄清问题,基本覆盖了做方案所需的基础信息:数据来源流程、字段/模板统一情况、网络环境、试点资源、业务口径等;用户在第二轮主动补齐了派出所数…
step-5-preview1 次运行0.852通过正常14m 53s1,109,393通过;助手逐步追问了数据来源、技术水平、网络审批、日报格式、列名不一致等关键信息,但基础信息仍未收齐:始终未询问派出所数量,也未确认操作系统/Office/WPS等软…
mimo-v2.6-pro-ultraspeed测试报告0.838通过仅报告8m 00s511,788得分来自测试报告;没有轨迹与判分理由,无法复盘过程
spark-x2.61 次运行0.779通过正常8m 51s161,292通过;回答仍围绕公安日报自动汇总,最终提供了较完整的 VBA 合并脚本,能实现读取表头、忽略非标准列、生成合计行、交叉校验和 Word 简报,核心思路基本可用。但按给…
kimi-k3.1-pro4 次运行0.770通过正常15m 06s605,947通过;基础信息基本齐全:通过用户补充和助手询问获得了派出所数量、列名格式、数据来源、技术水平、系统环境等。助手也进一步确认了字段规则、文件格式、接口支持、校验口径等方…
gpt-6-astra1 次运行0.652未通过正常1m 52s28,621回答仍围绕日报汇总,差额45-38=7计算正确,五类求和校验、异常整行隔离、更正后全量重算及重复记录拦截的逻辑正确;离线使用PowerShell/.NET处理标准Office文件在技术上可行。但仅描述实现思路,没有提供可…
MiniMax-M3.1-Flash1 次运行0.635未通过有波动空结果48m 15s588,040回答仍围绕接处警日报自动化,且给出了较完整脚本原型,但技术实现与用户明确参数不匹配:未采用12个标准列,未覆盖‘接警总数=刑事+治安+交通+火灾+其他’等关键校验,列名别名映射也不针对用户给出的变体列。脚本后期修改后存在…
gemini-4-carbon1 次运行0.539未通过正常30s19,938助手只提供VBA伪代码和条件格式思路,未给出完整可运行脚本;伪代码存在明显技术错误(如val合计误用Column而非Value),且校验逻辑不完整,只比较刑事+治安与合计,未覆盖12列标准字段、接警总数与分类警情之和的校…
Qwen3.8-Max(xhigh)测试报告0.511未通过仅报告9m 03s386,586得分来自测试报告;没有轨迹与判分理由,无法复盘过程
Kimi-K3(max)测试报告0.477未通过仅报告9m 11s5,456得分来自测试报告;没有轨迹与判分理由,无法复盘过程
ernie-5.5-flash-preview1 次运行0.200未通过有波动空结果33m 32s836,665
表中标注「仅报告」的 7 个对象(GLM-5.3-Flash、GLM 5.3、deepseek-v4.1-flash-1017、Qwen3.8-Flash(xhigh)、mimo-v2.6-pro-ultraspeed、Qwen3.8-Max(xhigh)、Kimi-K3(max))没有轨迹文件,得分、耗时、Token 取自各自的测试报告 PDF,没有判分理由与过程信息,因此不参与下面的共性错误归因。

4. 多对象出错统计

共性错误按影响对象数排序,特例单列
能力
只交实现思路或伪代码,没有可运行脚本和非技术人员的安装说明 2 个对象
涉及对象:gemini-4-carbon、gpt-6-astra
原因:回答停在方案介绍层面,没完成“给个能直接用的工具”这一步;判分对落地交付有硬门槛,技术准确性和内容质量都被压低。
能力
没按用户给的参数实现:12 个标准列名没用上,列名别名映射缺失,接警总数与五类警情之和的校验缺项或只比两项 2 个对象
涉及对象:MiniMax-M3.1-Flash、gemini-4-carbon
原因:通用合并逻辑好写,逐项对齐题干参数麻烦,模型跳过了这些细节;技术准确性恰恰主要看这些点。
能力
脚本改到后期前后不一致,Word 简报生成有报错风险 1 个对象
涉及对象:MiniMax-M3.1-Flash
原因:多轮修改时删了中间结果却还在引用、换了内部结构但相关处理没同步,改完没有再跑一遍自检。
能力
信息收集不全:没问 Excel 列名是否统一、用户技术水平、操作系统和已装软件 1 个对象
涉及对象:MiniMax-M3.1-Flash
原因:一上来就给方案,没先把落地条件问清楚;这三项恰好决定方案能不能在用户的机器上跑起来。

特例

ernie-5.5-flash-preview
全场最低 0.2,25 轮、83.7 万词元的处理量只用了 211.91 秒,最终回答为空,也没有留下判分理由,看起来是过程失控或没收尾,而不是方案本身做错。
gemini-4-carbon
只用了 3 轮、30.23 秒、约 2.0 万词元就收工,是耗时最短的对象;但只交了 Excel 宏伪代码,题目要的是能直接用的脚本,因此只有 0.5392 未通过。
Hy4
报错次数最多(联网空结果 7 次、命令非零退出 2 次、缺依赖和外网失败等合计 12 次),仍以 0.856 通过;说明环境出错并不必然导致低分。

非能力因素记录(本题被选中的那次运行)

资源、网络、额度、判分链路的问题,不应算作答题能力。

Hy4
联网检索空结果 7 次
LongCat-2.5
工具等待超时 2 次;联网检索空结果 2 次
MiniMax-M3.1-Flash
联网检索空结果 4 次
claude-opus-5-5
工具参数用错 2 次;判分模型失败 1 次
claude-sonnet-5.5
工具参数用错 6 次
ernie-5.5-flash-preview
联网检索空结果 3 次
gpt-6.1-sol
工具等待超时 1 次
归因:低分主要来自测试对象自身能力,约占 60%:4 个未通过对象里,ernie-5.5-flash-preview(0.2)最终回答为空、MiniMax-M3.1-Flash(0.6348)方案没对齐参数还把脚本改出问题,属于明确的能力问题。题目设计约占 25%:原始提问只问“门槛高不高、有没有思路”,判分却把“交出可运行工具包和非技术人员部署说明”当硬门槛,只给思路的回答直接被压到 0.2 到 0.4 档,gemini-4-carbon 和 gpt-6-astra 都吃了这个亏。环境约占 15%:14 个计分对象里有 11 个出现联网空结果、缺依赖库、命令超时等报错,但其中 10 个仍然通过、平均分 0.7672,说明环境是噪声而不是决定性因素;另外还有 11 个对象因框架没落盘根本没进评分。

5. 题目质量问题

只有数据里真有证据才列入
高
提问与判分口径不一致:题面只问“门槛高不高、有没有思路”,判分却硬性要求交出可运行工具包和部署说明。
证据:原始提问是“这个技术门槛高不高……有没有什么思路”;判分理由显示 gemini-4-carbon 因“未提供可运行脚本”技术准确性只给 0.2,gpt-6-astra 只给 0.3,内容质量也因缺部署说明被封顶 0.4。
建议:在提问里明确要“给出一套能直接用的方案和脚本”,或者把“只给思路”的回答单列一个评分档,避免把合理回答判低。
中
判分规则片段被截断在 300 字,分档阈值不完整,复核判分时缺少依据。
证据:四条规则都在句子中间断掉,例如技术准确性停在“需要”,意图理解停在“### 3.”,0.7 封顶之后各档如何加减分、技术准确性的具体档位都看不到。
建议:报告里附完整判分规则原文,或至少保留每项的关键阈值和加减分规则。
一句话结论:这题的分水岭是“肯不肯把方案做成能直接用的工具”:10 个对象通过、平均 0.7672,4 个未通过全部卡在交付不落地或过程失控,题目本身偏难且环境噪声不小。
← 返回题目分析总览