可以从自己做过的提示迭代、评测流程、上下文整理或产品原型出发，观察哪些任务能交给 Agent，哪些判断仍需要人来承担。
中心目标
一个月内做出可展示的 Agent 数据策略作品集
交付 1 套 Agent 评测 Rubric、1 套真实任务 benchmark、1 份数据生产策略 PRD、1 组模型能力诊断报告。 目标不是“会用 AI”，而是证明你能定义理想行为、识别模型短板，并把问题转化成数据与评测方案。
升级目标
Agent Harness 产品方向：从“会构建”升级到“能定义下一代形态”
Agent Harness 关心模型能力怎样进入真实产品：任务入口、上下文组织、工具/技能编排、失败恢复、社区反馈、模型训练信号回流。
少做“再生成一个 Rubric”，多做“解释为什么这个 Rubric 值得被信任”。训练概念内化、产品品味、受众表达、研究协作和开源社群运营。
内化训练
6 个需要刻意练习的维度
用自己的话讲清：Harness 是让模型能力进入真实任务的承载系统，不只是 UI、插件或评测平台。
练习：每天 3 分钟脱稿解释 Agent Loop、Tool Use、Memory、MCP、Subagent 如何在产品中被组织。判断一个 Agent 输出不是“对/错”，而是看它是否有计划感、边界感、恢复能力和可托付感。
练习：每周选 10 条真实任务轨迹，写一句“我不满意的根因是什么”。从用户说的功能需求里还原任务、焦虑、场景频率、失败成本和替代方案。
练习：把每条反馈改写成 Job-to-be-done、触发条件、成功标准、不可接受失败。能把产品问题翻译成模型团队关心的训练信号、上下文机制、工具失败、评测切片。
练习：每个产品问题都写“产品表述 / 模型表述 / 数据表述 / 实验表述”四种版本。从开源社区和高强度用户里提取弱信号：重复抱怨、创造性 workaround、边界案例和高级用法。
练习：每周做 1 份社区信号 memo，分为 bug、需求、误解、机会、传播素材。不是罗列功能，而是判断哪类 Harness 能让更多用户在更多任务上更深地托付 Agent。
练习：用 impact × confidence × model-readiness × UX-risk 给功能排序。案例练习
把练习整理成可检查的案例
练习：给一个虚构的知识库助手设计信息更新、检索与删除规则，再用公开资料检查它是否找对了上下文。
练习：固定一组公开任务，对比两版提示的输出。记录修复了什么、退化了什么，以及还无法判断的部分。
练习：为一个模拟任务设置目标、失败分类和停止条件。每次修改后用同一组验收规则检查结果。
练习：把一个反复使用的方法做成小页面，邀请他人试用，观察哪里看不懂、哪里需要更清楚的反馈。
概念库
Agent Harness 高频名词、应用和表达方式
选择题练习
用题目检查是否真的内化
0 / 0
AI 黑话深挖
名词解释、边界、产品应用与代码形态
代码样例
从“概念知道”到“调用长什么样”
九宫格
8 个能力域
本月任务
32 个可执行动作
真实场景库
从公开评测与使用场景设计任务
诊断 Prompt
让模型执行任务并结构化输出
诊断分类
把主观“好不好”拆成可评估维度
资料依据
本面板参考的公开资料
- OpenAI BrowseComp：复杂网页搜索、难找但易验证的短答案问题。
- OpenAI Function Calling：tool calling 的五步流程和函数调用形态。
- OpenAI File Search：通过 vector stores 和 file_search 做知识库检索。
- OpenAI Retrieval：语义检索、vector stores 与 RAG 基础流程。
- OpenAI Web Search：模型调用 web_search 后返回 search / open_page 等 tool call 项。
- DeepSeek-V3 Technical Report：671B 总参数、每 token 激活 37B 参数的 MoE 架构说明。
- DeepSeekMoE：细粒度专家划分、共享专家隔离以及约 40% 计算量的公开说明。
- GAIA：面向通用 AI 助手的多步推理、网页浏览、多模态与工具使用任务。
- WebArena：真实 Web 环境中的长链路网站操作任务。
- OSWorld：真实电脑环境中的开放式 GUI 任务。
- Galileo Agent Evaluation Engineer：trajectory、工具选择、错误恢复、生产监控等评测职责。