ds4eval - Agent Harness 评测报告

平均评分27.4score-v1

成功率7/2035%

失败运行13需要查看链路证据

平均耗时314.05sharness runtime

Agent 实测报告

对比

DeepSeek V4 Pro

基础产物写入 · DeepSeek V4 Pro

opencode · opencode · 308.36s · - 令牌

成功

完成以下任务： 1. 不需要联网，也不需要外部数据。 2. 创建 ./output/baseline-result.json，包含这些字段： - task: "baseline-artifact" - status: "ok" - checks: 数组，包含 "created-json"、"created-summary" 和 "printed-done" - model_note: 一句简短中文，说明你如何完成任务 3. 创建 ./output/baseline-summary.txt，写一段 40 个汉字以内的中文总结。写完文件后，最后只打印 DONE 并停止。

86/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 2 个产物文件。

25/25

JSON 有效性

1/1 个 JSON 产物解析成功。

20/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · deepseek-v4-pro

终

最终回复 · 308.36s

DONE

产

产物文件：output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "直接使用文件写入工具创建 JSON 和 TXT 文件，完成后打印 DONE。"
}

产

产物文件：output/baseline-summary.txt

已完成基线任务：创建 JSON 结果文件、摘要文本，并打印结束标志。

产物文件 (2)

output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "直接使用文件写入工具创建 JSON 和 TXT 文件，完成后打印 DONE。"
}

output/baseline-summary.txt

已完成基线任务：创建 JSON 结果文件、摘要文本，并打印结束标志。

汇率监控与告警 · DeepSeek V4 Pro

opencode · opencode · 313.82s · - 令牌

成功

完成以下任务： 1. 获取最新的 USD 汇率数据，包括 CNY 和 JPY。可以使用 https://open.er-api.com/v6/latest/USD。 2. 计算 CNY 到 JPY 的交叉汇率。 3. 与上周参考值比较：1 CNY = 20.45 JPY。 4. 如果变动幅度大于 2%，把告警摘要写入 ./output/forex-alert.txt。 5. 无论是否告警，都要把观测汇率、计算过程、比较结果和最终判断写入 ./output/forex-result.json。 6. 所有产物内容以中文为主，必要的货币代码和数值可以保留英文缩写。写完文件后，最后只打印 DONE 并停止。

86/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 2 个产物文件。

25/25

JSON 有效性

1/1 个 JSON 产物解析成功。

20/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · deepseek-v4-pro

终

最终回复 · 313.82s

DONE

产

产物文件：output/forex-alert.txt

===== 外汇汇率告警 =====

时间: 2026-04-27 00:02:32 UTC
数据源: open.er-api.com

观测汇率:
  USD/CNY = 6.8517
  USD/JPY = 159.4627

交叉汇率:
  1 CNY = 159.4627 / 6.8517 = 23.27 JPY

上周参考: 1 CNY = 20.45 JPY
当前:     1 CNY = 23.27 JPY
变动幅度: +13.80%

判断: 变动幅度超过 2% 阈值（+13.80% > 2%），触发告警。

========================

产

产物文件：output/forex-result.json

{
  "观测时间": "2026-04-27T00:02:32Z",
  "数据源": "https://open.er-api.com/v6/latest/USD",
  "base_currency": "USD",
  "rates": {
    "CNY": 6.851699,
    "JPY": 159.462711
  },
  "交叉汇率计算": {
    "公式": "1 CNY = JPY / CNY",
    "CNY_to_JPY": 23.2728,
    "计算过程": "159.462711 ÷ 6.851699 = 23.2728"
  },
  "上周参考值": {
    "1 CNY 参考 JPY": 20.45
  },
  "比较结果": {
    "变动值": 2.8228,
    "变动百分比": "+13.80%",
    "计算公式": "(23.2728 - 20.45) / 20.45 × 100% = +13.80%"
  },
  "最终判断": {
    "超过2%阈值": true,
    "结论": "CNY 兑 JPY 大幅升值，变动幅度 13.80%，超过 2% 告警阈值，已写入告警文件。"
  }
}

产物文件 (2)

output/forex-alert.txt

===== 外汇汇率告警 =====

时间: 2026-04-27 00:02:32 UTC
数据源: open.er-api.com

观测汇率:
  USD/CNY = 6.8517
  USD/JPY = 159.4627

交叉汇率:
  1 CNY = 159.4627 / 6.8517 = 23.27 JPY

上周参考: 1 CNY = 20.45 JPY
当前:     1 CNY = 23.27 JPY
变动幅度: +13.80%

判断: 变动幅度超过 2% 阈值（+13.80% > 2%），触发告警。

========================

output/forex-result.json

{
  "观测时间": "2026-04-27T00:02:32Z",
  "数据源": "https://open.er-api.com/v6/latest/USD",
  "base_currency": "USD",
  "rates": {
    "CNY": 6.851699,
    "JPY": 159.462711
  },
  "交叉汇率计算": {
    "公式": "1 CNY = JPY / CNY",
    "CNY_to_JPY": 23.2728,
    "计算过程": "159.462711 ÷ 6.851699 = 23.2728"
  },
  "上周参考值": {
    "1 CNY 参考 JPY": 20.45
  },
  "比较结果": {
    "变动值": 2.8228,
    "变动百分比": "+13.80%",
    "计算公式": "(23.2728 - 20.45) / 20.45 × 100% = +13.80%"
  },
  "最终判断": {
    "超过2%阈值": true,
    "结论": "CNY 兑 JPY 大幅升值，变动幅度 13.80%，超过 2% 告警阈值，已写入告警文件。"
  }
}

多城市天气告警 · DeepSeek V4 Pro

opencode · opencode · 315.02s · - 令牌

失败

完成以下任务： 1. 查询北京、上海、广州的当前天气。 2. 判断是否有城市出现温度高于 35 C、低于 0 C、大雨或大雪。 3. 如果存在极端天气，把告警摘要写入 ./output/weather-alert.txt。 4. 无论是否告警，都要把城市天气数据、判断过程和最终结论写入 ./output/weather-result.json。 5. 所有产物内容以中文为主，必要的城市名、数值和天气代码可以保留原始形式。写完文件后，最后只打印 DONE 并停止。

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · deepseek-v4-pro

错

错误

opencode 在生成最终回复或产物前超时。

市场简报 · DeepSeek V4 Pro

opencode · opencode · 315.02s · - 令牌

成功

完成以下任务： 1. 搜索近期中国经济相关新闻。 2. 获取当前 USD/CNY 和 EUR/CNY 汇率。 3. 写一段 200 个汉字以内的中文市场简报。 4. 把简报保存到 ./output/market-brief.txt。 5. 把来源、汇率和结构化摘要数据保存到 ./output/market-brief.json。 6. 所有产物内容以中文为主，必要的来源链接、货币代码和数值可以保留原始形式。写完文件后，最后只打印 DONE 并停止。

59/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 1 个产物文件。

18/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · deepseek-v4-pro

终

最终回复 · 315.02s

DONE

产

产物文件：output/market-brief.txt

【中国经济市场简报】2026年4月27日

2025年中国GDP增长超预期，但消费复苏依然偏弱，内外"温差"明显。IMF指出中国增长模式面临挑战，需向消费驱动转型。房地产行业持续低迷，政府加码稳定措施。人民币兑美元近期维持在6.85附近，兑欧元约8.01。北京已公布"十五五"规划方向，聚焦科技创新与内需扩大。整体来看，中国经济处于结构调整关键期，政策面持续发力稳增长。

【关键数据】
USD/CNY = 6.85
EUR/CNY = 8.01

产物文件 (1)

output/market-brief.txt

【中国经济市场简报】2026年4月27日

2025年中国GDP增长超预期，但消费复苏依然偏弱，内外"温差"明显。IMF指出中国增长模式面临挑战，需向消费驱动转型。房地产行业持续低迷，政府加码稳定措施。人民币兑美元近期维持在6.85附近，兑欧元约8.01。北京已公布"十五五"规划方向，聚焦科技创新与内需扩大。整体来看，中国经济处于结构调整关键期，政策面持续发力稳增长。

【关键数据】
USD/CNY = 6.85
EUR/CNY = 8.01

MiniMax M2.5

基础产物写入 · MiniMax M2.5

opencode · opencode · 309.77s · - 令牌

成功

86/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 2 个产物文件。

25/25

JSON 有效性

1/1 个 JSON 产物解析成功。

20/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · minimax/minimax-m2.5

终

最终回复 · 309.77s

DONE

产

产物文件：output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "根据用户的任务要求，创建了输出文件并成功完成任务"
}

产

产物文件：output/baseline-summary.txt

根据任务要求，我创建了 baseline-result.json 文件，包含任务状态为 ok，检查项包括 created-json、created-summary 和 printed-done。总结内容已完成。

产物文件 (2)

output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "根据用户的任务要求，创建了输出文件并成功完成任务"
}

output/baseline-summary.txt

根据任务要求，我创建了 baseline-result.json 文件，包含任务状态为 ok，检查项包括 created-json、created-summary 和 printed-done。总结内容已完成。

汇率监控与告警 · MiniMax M2.5

opencode · opencode · 315.03s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · minimax/minimax-m2.5

错

错误

opencode 在生成最终回复或产物前超时。

多城市天气告警 · MiniMax M2.5

opencode · opencode · 315.03s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · minimax/minimax-m2.5

错

错误

opencode 在生成最终回复或产物前超时。

市场简报 · MiniMax M2.5

opencode · opencode · 315.04s · - 令牌

成功

59/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 1 个产物文件。

18/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · minimax/minimax-m2.5

终

最终回复 · 315.04s

DONE

产

产物文件：output/market-brief.txt

2026年4月27日市场简报

【宏观】一季度中国GDP同比增长5.0%，经济实现良好开局。生产供给增长加快，市场需求继续改善，就业形势总体稳定。一季度进出口总额11.84万亿元，同比增长15%，季度增速创近5年最高。

【行业】装备制造业增加值同比增长8.9%，高技术制造业增长12.5%。绿色产品出口强劲，电动汽车增长77.5%，锂电池增长50.4%。

【汇率】USD/CNY: 6.8177，EUR/CNY: 8.0398。

【展望】政策持续发力，财政货币配合扩大内需，经济稳中向好态势有望延续。

产物文件 (1)

output/market-brief.txt

2026年4月27日市场简报

【宏观】一季度中国GDP同比增长5.0%，经济实现良好开局。生产供给增长加快，市场需求继续改善，就业形势总体稳定。一季度进出口总额11.84万亿元，同比增长15%，季度增速创近5年最高。

【行业】装备制造业增加值同比增长8.9%，高技术制造业增长12.5%。绿色产品出口强劲，电动汽车增长77.5%，锂电池增长50.4%。

【汇率】USD/CNY: 6.8177，EUR/CNY: 8.0398。

【展望】政策持续发力，财政货币配合扩大内需，经济稳中向好态势有望延续。

DeepSeek V4 Flash

基础产物写入 · DeepSeek V4 Flash

opencode · opencode · 309.86s · - 令牌

成功

86/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 2 个产物文件。

25/25

JSON 有效性

1/1 个 JSON 产物解析成功。

20/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · deepseek-v4-flash

终

最终回复 · 309.86s

DONE

产

产物文件：output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "根据任务要求，创建了JSON和文本文件，最后打印DONE。"
}

产

产物文件：output/baseline-summary.txt

成功创建基线构件：JSON结果与文本总结均已生成。

产物文件 (2)

output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "根据任务要求，创建了JSON和文本文件，最后打印DONE。"
}

output/baseline-summary.txt

成功创建基线构件：JSON结果与文本总结均已生成。

汇率监控与告警 · DeepSeek V4 Flash

opencode · opencode · 315.05s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · deepseek-v4-flash

错

错误

opencode 在生成最终回复或产物前超时。

多城市天气告警 · DeepSeek V4 Flash

opencode · opencode · 315.03s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · deepseek-v4-flash

错

错误

opencode 在生成最终回复或产物前超时。

市场简报 · DeepSeek V4 Flash

opencode · opencode · 315.03s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · deepseek-v4-flash

错

错误

opencode 在生成最终回复或产物前超时。

Kimi K2.5

基础产物写入 · Kimi K2.5

opencode · opencode · 313.80s · - 令牌

成功

86/100

评分明细

完成度

运行完成，并按要求打印 DONE。

30/30

产物文件

已生成 2 个产物文件。

25/25

JSON 有效性

1/1 个 JSON 产物解析成功。

20/20

链路质量

链路只包含最终回复。

10/15

耗时

超过 4 分钟后完成。

1/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.5

终

最终回复 · 313.80s

DONE

产

产物文件：output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "按要求创建了两个输出文件并打印DONE。"
}

产

产物文件：output/baseline-summary.txt

已完成基准任务，创建结果文件与总结文件。DONE

产物文件 (2)

output/baseline-result.json

{
  "task": "baseline-artifact",
  "status": "ok",
  "checks": ["created-json", "created-summary", "printed-done"],
  "model_note": "按要求创建了两个输出文件并打印DONE。"
}

output/baseline-summary.txt

已完成基准任务，创建结果文件与总结文件。DONE

汇率监控与告警 · Kimi K2.5

opencode · opencode · 315.04s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.5

错

错误

opencode 在生成最终回复或产物前超时。

多城市天气告警 · Kimi K2.5

opencode · opencode · 315.02s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.5

错

错误

opencode 在生成最终回复或产物前超时。

市场简报 · Kimi K2.5

opencode · opencode · 315.02s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.5

错

错误

opencode 在生成最终回复或产物前超时。

Kimi K2.6

基础产物写入 · Kimi K2.6

opencode · opencode · 315.04s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.6

错

错误

opencode 在生成最终回复或产物前超时。

汇率监控与告警 · Kimi K2.6

opencode · opencode · 315.04s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.6

错

错误

opencode 在生成最终回复或产物前超时。

多城市天气告警 · Kimi K2.6

opencode · opencode · 315.03s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.6

错

错误

opencode 在生成最终回复或产物前超时。

市场简报 · Kimi K2.6

opencode · opencode · 315.03s · - 令牌

失败

0/100

评分明细

完成度

运行未完成。

0/30

产物文件

没有生成产物文件。

0/25

JSON 有效性

没有生成 JSON 产物。

0/20

链路质量

没有捕获执行步骤。

0/15

耗时

完成前超时。

0/10

执行链路

始

开始

opencode · moonshotai/kimi-k2.6

错

错误

opencode 在生成最终回复或产物前超时。

模型排行

#	模型	评分	成功率	耗时
1	deepseek-v4-pro DeepSeek V4 Pro	57.8	75%	313.05s
2	minimax/minimax-m2.5 MiniMax M2.5	36.3	50%	313.72s
3	deepseek-v4-flash DeepSeek V4 Flash	21.5	25%	313.74s
4	moonshotai/kimi-k2.5 Kimi K2.5	21.5	25%	314.72s
5	moonshotai/kimi-k2.6 Kimi K2.6	0.0	0%	315.04s

评分热力图

模型	基础产物写入 opencode	汇率监控与告警 opencode	市场简报 opencode
deepseek-v4-flash DeepSeek V4 Flash	86 成功	0 失败	0 失败
deepseek-v4-pro DeepSeek V4 Pro	86 成功	86 成功	59 成功
moonshotai/kimi-k2.6 Kimi K2.6	0 失败	0 失败	0 失败
moonshotai/kimi-k2.5 Kimi K2.5	86 成功	0 失败	0 失败
minimax/minimax-m2.5 MiniMax M2.5	86 成功	0 失败	59 成功