Shopify CEO Tobi Lutke 亲自下场，用 AutoResearch 方法把 Liquid 模板引擎提速 53%：93 次自动提交，解析与渲染更快，内存分配减少 61%。本文基于 awesome-autoresearch 收录的完整优化轨迹，带你完整复盘这一明星案例，看懂 AutoResearch 自动化优化方法如何落地。

AutoResearch自动优化循环：一个提示词如何驱动代码迭代

AutoResearch 的核心出奇地简单——它本质上就是一个提示词。Karpathy 以单个 markdown 文件program.md的形式发布它，用来指导编码智能体（Claude Code、Codex 等）执行一套固定的优化工作流：

1. 智能体修改一个目标文件（原始版本中是训练语言模型的train.py）
2. 在 GPU 上运行固定的 5 分钟评测
3. 检查指标是否提升，结果写入results.tsv
4. 提升则git commit保留，否则git reset回滚
5. 循环往复，永不停歇

整个流程可以概括为一句话：针对评测指标迭代优化一个文件，配合"保留 / 丢弃"循环。正是这种结构，让它能从一个 LLM 训练脚本，迁移到几乎任何可量化优化的对象上。

Shopify Liquid模板引擎为何值得优化

Liquid 是 Shopify 的模板引擎，负责把商家的主题模板渲染成真实的电商页面。对 Shopify 来说，它天然适合 AutoResearch 这类自动优化循环：

• 每次页面请求都伴随模板解析与渲染开销
• 内存分配次数直接影响高并发下的延迟与成本
• 引擎代码成熟、边界情况多，人肉调优极其耗时

Tobi Lutke 的做法是把引擎交给 AutoResearch 循环：智能体提出改动 → 跑基准测试 → 测出解析+渲染耗时与分配数 → 更好则提交，否则回滚。最终由社区贡献者的通用化实现pi-autoresearch跑出了93 次自动提交、解析+渲染提速 53%、内存分配减少 61%的成果，并以 PR #2056 的形式提交回 Shopify 官方 liquid 仓库。

提速53%复盘：为什么这个案例值得研究

大多数"AI 写代码"的演示只给你看最终结果，而 awesome-autoresearch 的收录标准恰恰相反——每个案例都附带优化轨迹（trace），你能看到智能体尝试了什么、哪一步突破、哪一步失败。

Liquid 案例的价值在于：

• ⚡对象真实：不是玩具项目，而是每天承载海量真实流量的生产级引擎
• 📊指标可验证：解析+渲染耗时、分配次数都是硬指标，不存在"看起来变快了"
• 🔁轨迹公开：93 次提交的每一步都可追溯，方法本身被完整证明
• 🧩可复用：pi-autoresearch 把循环泛化为"任意优化目标"——测试速度、bundle 大小、构建时间、Lighthouse 分数都可以作为指标

从nanoGPT到Liquid：AutoResearch方法的迁移路径

原始 AutoResearch 只针对一个任务：训练一个 GPT 模型（Karpathy 的 nanoGPT 场景，一夜之间在手工精心调优的代码上找到 20 处改进）。但"编辑文件 → 固定评测 → 保留/回滚"这个骨架是可移植的。

发布数周后，社区已经把它搬到了各种场景，awesome-autoresearch 对代表性用例的收录如下：

可以看到，每个场景的program.md内容都不一样，但循环本身始终相同——这就是 awesome-autoresearch 收录方法论的核心洞察。

awesome-autoresearch新手上手指南：三步开始自动优化

awesome-autoresearch 是一个精选清单仓库，收录所有带完整优化轨迹的 AutoResearch 用例与开源实现。全部内容都在 README.md 中，按三大板块组织（仓库基于 LICENSE，CC0 1.0 协议）：

• Use Cases：真实用例，每条都附作者与优化轨迹链接
• Benchmarks & Evaluation：面向研究智能体策略的评测基准（如 FML-bench 对 18 个 ML 研究任务的受控研究）
• Implementations & Forks：从原版 autoresearch 到 pi-autoresearch、CORAL 多智能体协作等十余个实现

上手三步：

1. 读轨迹：挑一个与你领域相近的用例，看它的优化轨迹图，理解智能体"先试什么、后试什么"
2. 换指标：把你自己关心的可测量指标（耗时、得分、体积……）写进program.md
3. 跑循环：让编码智能体按"改动 → 评测 → commit / reset"循环工作，你只负责审阅最终结果

给新手的3个关键启示

1. 指标必须"可丢弃友好"：循环要求每次实验要么保留要么回滚，指标必须客观、可复现，智能体才不会"钻空子"。清单里就有反例——网球 XGBoost 预测用例中，作者发现并如实记录了 reward hacking（奖励作弊）现象
2. 看轨迹，别只看终点：awesome-autoresearch 收录的每条 trace 都展示智能体的完整搜索路径，这比任何最终报告都有学习价值
3. 从最小循环开始：一个文件、一个指标、一次 5 分钟评测，就能跑通整个方法——Shopify 案例证明，简单循环的复利效应惊人

AutoResearch 方法没有玄学：固定评测 + 自动保留/回滚 + 无限循环。Shopify CEO 亲自下场换来的 53% 提速说明，这套循环在真实、苛刻的工程场景中完全成立 🚀