實現 Karpathy 的神級腳本：讓Agent自我進化

喺日常開發入面，優化性能（無論係單元測試速度、Webpack 包大小，定係大模型嘅訓練 Loss）通常都係一個好折磨人嘅「玄學」過程：改一行 code、等 5 分鐘基準測試、將結果記喺筆記簿度，有效就 keep，退步就 git revert。呢種機械式嘅循環，而家俾一套全新嘅 AI Agent 工作流程完全改變咗。

故事要從 Andrej Karpathy 講起。2026 年 3 月，Karpathy 開源咗 autoresearch 項目，係基於佢嘅 nanochat（一個單 GPU 嘅輕量 LLM 訓練框架）。核心思路係：將 AI agent（Claude 或 Codex）放入代碼倉庫，等佢自己修改訓練代碼（模型架構、優化器、超參數），跑 5 分鐘訓練，睇嚇 val_loss 有冇降低，有效就 keep，退步就回滾。你瞓一覺，朝早起身睇實驗日誌就得。

Karpathy 總結嘅核心哲學：
“Try an idea, measure it, keep what works, discard what doesn't, repeat forever.”
（試一個諗法，量度佢，保留有效嘅部分，棄掉冇效嘅部分，永遠重複。）

autoresearch 嘅獨特之處在於：agent 唔係做傳統嘅超參數搜索（grid search），而係真正理解 code 邏輯之後提出創造性修改——例如調整注意力窗口模式、替換優化器、改變模型深度。每次改動之後經過固定 5 分鐘嘅訓練預算，用 val_bpb（驗證 bits per byte）作為統一量度，決定 commit 定係 revert。

但 autoresearch 嘅架構好原始：佢只係一份 Markdown 指令（program.md）加一個訓練腳本（train.py），你需要手動打開 Claude 或 Codex，將 agent 指向呢個倉庫。佢冇內置嘅實驗管理、狀態持久化、分支清理或者進度監控。如果 agent 嘅上下文窗口爆咗，之前嘅實驗記憶就會全部冇曬。呢個就係 PI-autoresearch 要解決嘅問題。

要俾 AI 接管呢個實驗循環，我哋需要一個可以喺終端運行、可以執行命令、可以管理 code 嘅工具。呢個就係 PI (pi.dev) 出場嘅原因。

市面上有好多重量級嘅 Agent 框架（例如 AutoGen、CrewAI），佢哋內置咗複雜嘅子代理（Sub-agents）、規劃模式（Plan Mode）同任務分解邏輯。但係 PI 嘅作者 Mario Zechner 行咗一條完全相反嘅極簡路線。PI 嘅核心設計理念係：Change the harness, not your workflow.（改變馬具，而唔係改變你嘅工作流程）。

PI 有好乾淨嘅 System Prompt，呢個俾開發者留低咗巨大嘅「上下文工程 (Context Engineering)」空間。正正係因為 PI 嘅呢種輕量化同高擴展性，開發者 davebcn87 成功將 Karpathy 嘅思想移植咗上 PI，開發出咗 PI-autoresearch 插件。

安裝 PI-autoresearch 之後，佢會喺終端上方注入一個儀錶板（Dashboard），同埋喺後台掛載三個核心工具：init_experiment、run_experiment 和 log_experiment。

圖：PI-autoresearch 核心閉環架構

成個工作流程可以分為三個階段：

階段一：任務初始化同基準確立

透過執行 /skill:autoresearch-create，你需要話俾 Agent 你嘅優化目標。例如：「優化單元測試運行時間，確保正確性」。

Agent 會即刻做三件事：創建一條新嘅 Git 分支；寫入 autoresearch.md（用嚟向 AI 說明目標同上下文）；運行一次基準命令，確立當前嘅「零點（Baseline）」。

階段二：Agent 自己狂奔 (The Loop)

呢個先至係最硬核嘅部分。Agent 開始咗無休止嘅 Ralph Wiggum Loop（即係：清空上下文，讀取狀態，執行一步，保存狀態，再清空上下文）：

為咗防止長文本溢出（Context Window Explosion），每次實驗嘅結果都會以單行 JSONL 嘅形式追加入 autoresearch.jsonl 檔案度。就算你熄咗終端聽日再開，Agent 都可以透過讀取呢個檔案，瞬間恢復所有嘅實驗記憶。

階段三：收割成果 (Finalize)

如果 Agent 跑咗一晚，做咗 50 次實驗，其中有 8 次有效，其餘全部係 Revert 同失敗。人手 Review 呢種 Git 歷史會令人崩潰。

PI-autoresearch 提供咗一個殺手級功能：/skill:autoresearch-finalize。Agent 會分析 autoresearch.jsonl，揾出所有被保留（Keep）嘅優化點，然後將佢哋拆解成多個互不衝突嘅獨立分支（從 merge-base 重新派生）。呢個意味住，你可以針對每一個優化點進行獨立嘅代碼審查（Code Review），乾淨利落地合併入主幹。

點解我哋唔俾 LLM 一次性將 code 全部改好，而係要等佢好似蠢材咁一次又一次試錯？

呢個觸及到當前大模型喺軟件工程上嘅核心痛點：誤差嘅指數級放大。如果 Agent 試圖進行 10 步嘅複雜推理同重構，只要其中第 3 步出現咗微小嘅邏輯錯誤，之後嘅 7 步都會建立在錯誤嘅根基上。呢個就係點解好多「一鍵生成複雜項目」嘅示範睇落好型，但真實落地時就不斷出問題。

呢種「微步快跑、遇錯即回」嘅模式，本質上係用算力（LLM API 嘅消耗）換取絕對嘅可靠性。對於 Lighthouse 跑分優化、模型超參數搜尋、Rust 編譯用時優化等「有明確衡量指標」嘅任務，呢種暴力美學展現出驚人嘅戰鬥力。

在日常開發中，優化性能（無論是單元測試速度、Webpack 包大小，還是大模型的訓練 Loss）往往是一個極其折磨人的“玄學”過程：改一行代碼、等 5 分鐘基準測試、把結果記在小本本上，有效就保留，退化就 git revert。這種機械的循環，正在被一套全新的 AI Agent 工作流顛覆。

故事要從 Andrej Karpathy 說起。2026 年 3 月，Karpathy 開源了 autoresearch 項目，基於他的 nanochat（一個單 GPU 的輕量 LLM 訓練框架）。核心思路是：把 AI agent（Claude 或 Codex）放進代碼倉庫，讓它自主修改訓練代碼（模型架構、優化器、超參數），跑 5 分鐘訓練，看 val_loss 有沒有降低，有效就保留，退化就回滾。你睡一覺，早上起來看實驗日誌就行。

Karpathy 總結的核心哲學：
“Try an idea, measure it, keep what works, discard what doesn't, repeat forever.”
（嘗試一個想法，測量它，保留有效的部分，丟棄無效的部分，永遠重複。）

autoresearch 的獨到之處在於：agent 不是在做傳統的超參數搜索（grid search），而是在真正理解代碼邏輯後提出創造性修改——比如調整注意力窗口模式、替換優化器、改變模型深度。每次改動後經過固定 5 分鐘的訓練預算，用 val_bpb（驗證 bits per byte）作為統一度量，決定 commit 還是 revert。

但 autoresearch 的架構非常原始：它只是一份 Markdown 指令（program.md）加一個訓練腳本（train.py），你需要手動打開 Claude 或 Codex，把 agent 指向這個倉庫。它沒有內置的實驗管理、狀態持久化、分支清理或進度監控。如果 agent 的上下文窗口溢出了，之前的實驗記憶就全丟了。這就是 PI-autoresearch 要解決的問題。

要讓 AI 接管這個實驗循環，我們需要一個能運行在終端、能執行命令、能管理代碼的工具。這就是 PI (pi.dev) 出場的原因。

市面上有很多重量級的 Agent 框架（如 AutoGen、CrewAI），它們內置了複雜的子代理（Sub-agents）、規劃模式（Plan Mode）和任務分解邏輯。但 PI 的作者 Mario Zechner 走了一條完全相反的極簡路線。PI 的核心設計理念是：Change the harness, not your workflow.（改變馬具，而不是改變你的工作流）。

PI 擁有極其乾淨的 System Prompt，這給開發者留下了巨大的“上下文工程 (Context Engineering)”空間。正是因為 PI 的這種輕量化和高擴展性，開發者 davebcn87 成功將 Karpathy 的思想移植到了 PI 上，開發出了 PI-autoresearch 插件。

安裝 PI-autoresearch 後，它會在終端上方注入一個儀表盤（Dashboard），並在後台掛載三個核心工具：init_experiment、run_experiment 和 log_experiment。

圖：PI-autoresearch 核心閉環架構

整個工作流可以分為三個階段：

階段一：任務初始化與基準確立

通過執行 /skill:autoresearch-create，你需要告訴 Agent 你的優化目標。例如：“優化單元測試運行時間，確保正確性”。

Agent 會立刻做三件事：創建一條新的 Git 分支；寫入 autoresearch.md（用於向 AI 說明目標和上下文）；運行一次基準命令，確立當前的“零點（Baseline）”。

階段二：Agent 自主狂奔 (The Loop)

這才是最硬核的部分。Agent 開始了無休止的 Ralph Wiggum Loop（即：清空上下文，讀取狀態，執行一步，保存狀態，再清空上下文）：

為了防止長文本溢出（Context Window Explosion），每次實驗的結果都會被單行 JSONL 的形式追加到 autoresearch.jsonl 文件中。即使你關掉終端明天再開，Agent 也能通過讀取這個文件，瞬間恢復所有的實驗記憶。

階段三：收割果實 (Finalize)

如果 Agent 跑了一晚上，做了 50 次實驗，其中 8 次有效，剩下的全是 Revert 和失敗。人工 Review 這種 Git 歷史會讓人崩潰。

PI-autoresearch 提供了一個殺手級功能：/skill:autoresearch-finalize。Agent 會分析 autoresearch.jsonl，找出所有被保留（Keep）的優化點，然後把它們拆解成多個互不衝突的獨立分支（從 merge-base 重新派生）。這意味着，你可以針對每一個優化點進行單獨的代碼審查（Code Review），乾淨利落地合併進主幹。

為什麼我們不讓 LLM 一次性把代碼全改好，而是要讓它像個笨蛋一樣一次次試錯？

這觸及了當前大模型在軟件工程上的核心痛點：誤差的指數級放大。如果 Agent 試圖進行 10 步的複雜推理和重構，只要其中第 3 步出了微小的邏輯錯誤，後續的 7 步都會建立在錯誤的地基上。這就是為什麼很多“一鍵生成複雜項目”的演示看起來很酷，但真實落地時卻頻頻翻車。

這種“微步快跑、遇錯即回”的模式，本質上是在用算力（LLM API 的消耗）換取絕對的可靠性。對於 Lighthouse 跑分優化、模型超參數搜尋、Rust 編譯耗時優化等“有明確衡量指標”的任務，這種暴力美學展現出了驚人的戰鬥力。