SIA 自定义任务实战目录结构设计 task.md 写作要点附完整清单【免费下载链接】siaSIA is a Self Improving AI framework to autonomously improve the performance of any AI system (Model / Agent) on a benchmark task.项目地址: https://gitcode.com/GitHub_Trending/sia4/siaSIASelf-Improving AI是一个让 AI 系统自主自我改进的开源框架它由 Meta-Agent、Target Agent 和 Feedback Agent 三个角色协作迭代在基准任务上持续提升任意模型 / Agent 的表现。本文面向新手带你从零搭建 SIA 自定义任务先设计标准任务目录结构再掌握task.md任务描述文件的写作要点——两者就绪一条sia run --task_dir命令即可启动自改进循环。一张图看懂为什么你的任务需要目录结构 task.md图中控制流Meta、Target、Feedback 三类智能体逐代协作构成 SIA 的自改进闭环理解这张图你就理解了自定义任务的两个设计目标目录结构决定了哪些数据 Agent 能看到、哪些答案必须藏起来——这是评分公平性的基础task.md是 Meta-Agent 的第一份需求文档——它直接决定第一代 Target Agent 的上限也是整个自改进循环优化的起点。SIA 自定义任务目录结构四件套一次搭好 SIA 对任务目录有严格的布局约定内置的四个任务gpqa / lawbench / longcot-chess / spaceship-titanic全部遵循同一套结构。自定义任务只需照抄my-task/ ├── data/ │ ├── public/ # 公开数据Agent 可见 │ │ ├── task.md # 任务描述SIA 读取的核心文件 │ │ ├── *.csv / *.json # 输入数据 │ │ └── evaluate.py # 自定义任务的评估脚本 │ └── private/ # 私有数据留出答案Agent 永远看不到 └── reference/ ├── reference_target_agent.py # 参考智能体模板 └── SAMPLE_TASK_DESCRIPTIONS.md # 示例任务可选路径职责data/public/task.md任务描述Meta-Agent 生成初始智能体前会完整读取data/public/数据文件Agent 被允许看到的输入如题目、训练集、样例提交data/public/evaluate.py评估脚本决定什么算做好了data/private/留出的评测答案对 Agent 完全隐藏reference/reference_target_agent.py参考智能体模板自改进的底稿reference/SAMPLE_TASK_DESCRIPTIONS.md示例任务描述帮 Meta-Agent 举一反三可选核心设计原则只有一个公开 / 私有严格隔离。评测期间 SIA 不会把data/private/的任何内容告诉模型——这防止 Agent 偷看答案刷分保证每一代的评分都是真实水平。目录搭建的细节可对照官方 docs/walkthrough.md 的 Step 1。如何写好 task.md五要素清单 ✍️task.md是整篇实战里最值得花时间的文件。你可以把它理解为给 Meta-Agent 写的需求说明书写得含糊第一代智能体就会跑偏。对照内置任务 sia/tasks/gpqa/data/public/task.md一份合格的task.md应包含五个要素要素要写什么反例 任务目标一句话说明做什么指标必须可量化如答对题数最大化、准确率最高尽量答得多一点 数据格式数据文件每个字段的名称与含义例如字段Question是题干、options的键为 A/B/C/D只写见附件 json 输出规范保存路径、文件格式、字段名精确到可直接解析如写入results/submission.jsondetails数组中每条必须含question_id与model_answer结果写到结果文件 模型与方式指定求解模型与输出约定如每个问题独立求解不得共享上下文空缺⛔ 约束边界明确禁止事项只能从给定选项作答、不得发明第五个选项、不得跨题共享信息无其中目标这一栏最容易被低估评估分数正是反馈智能体Feedback Agent的优化信号目标不可量化自改进循环就失去了方向盘。Target Agent 的每一代执行都会被记录最终由evaluate.py对照私有数据打分参考模板怎么用拷贝 微调 参考智能体模板直接从 sia/tasks/_shared/reference_target_agent.py 拷贝一份到reference/。它是 Meta-Agent 的起点也是 Feedback Agent 每一代迭代的底稿不需要自己从零写示例任务描述可选。reference/SAMPLE_TASK_DESCRIPTIONS.md里放几道与真实任务同类的示例可参考 sia/tasks/gpqa/reference/SAMPLE_TASK_DESCRIPTIONS.md 的写法能帮助 Meta-Agent 泛化减少对task.md具体措辞的过拟合。这两项加上data/public/里的数据与task.md任务目录即告完成。验证目录 跑起来两条命令 结构就绪后一条命令把外部任务接进 SIA--task_dir与--task二选一sia run --task_dir ./my-task --max_gen 5 --run_id 1运行期间仪表板会自动启动在http://127.0.0.1:8000加--no-web关闭可以实时观察每一代落地产物按代际存放在runs/run_{run_id}/gen_{n}/target_agent.py该代智能体、agent_execution.json执行日志、improvement.md第 2 代起的改进理由对比两代代码的演化diff runs/run_1/gen_1/target_agent.py runs/run_1/gen_2/target_agent.py。 提示驱动自改进循环的两条核心提示词初始生成与反馈改进定义在 sia/prompts.pytask.md 的读取位置与任务目录解析逻辑可参考 sia/layout.py 和 sia/orchestrator.py排障时非常有用。当 task.md 与目录结构都写对之后逐代分数曲线就是你收获的最大惊喜本篇小结3 步搭好你的 SIA 自定义任务 ✅搭目录data/publicdata/privatereference三块公私隔离是铁律写 task.md目标可量化、数据逐字段、输出到字段级、约束防作弊——五要素一个都不能少放模板拷贝 reference_target_agent.py按需补SAMPLE_TASK_DESCRIPTIONS.md。至此目录结构设计 task.md 写作要点就讲完了。接下来只需给data/public/放入 EVALUATION_GUIDE.md 中约定的evaluate.py即可把真实任务完整跑进 SIA 的自改进循环。【免费下载链接】siaSIA is a Self Improving AI framework to autonomously improve the performance of any AI system (Model / Agent) on a benchmark task.项目地址: https://gitcode.com/GitHub_Trending/sia4/sia创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考