Harness 与自进化论文原文核验

核验日期：2026-10-08。本文件依据下载的全文 PDF、论文附录及作者官方仓库；没有执行第三方项目代码，也没有调用收费模型 API。页码是 PDF 印刷页码。下述“最小实验”为建议方案，不是已完成复现实验。百分比提升区分百分点（pp）与相对百分比。排行榜名次只描述论文当时报告，不能当作今天的排名。

1 Meta-Harness

• 完整题名：Meta-Harness: End-to-End Optimization of Model Harnesses。Yoonho Lee 等；arXiv:2603.28052v1，2026-03-30，26页。固定版原文；项目；作者代码。
• 问题与方法（§3，pp4–5）：固定执行模型，将提示、记忆、检索与编排视为可改写的 Python harness。外层 Claude Code/Opus-4.6 可查询所有历史候选源码、分数、原始轨迹，自选历史、诊断和改写，而非只读一个候选的压缩反馈。候选先通过接口检查，再独立运行评估；性能/上下文成本以 Pareto frontier 选取。关键是“完整可查询经历”，不是把全部日志一次塞入上下文。
• 具体发现（附录B，pp18–22）：分类 harness 用标签清单、每类相关例子与 query-anchored 对比样例；低成本变体先生成分类草稿，再检索5个支持例及5个反例。数学 harness 按词法路由到组合、几何、数论、其他，分别 BM25 检索、去重与难度重排。编码最佳变体主要是在首轮前收集 OS、目录、语言/包管理器、内存快照，增加约80行，并保留 Terminus-KIRA 主循环。
• 实验与结果：
  • 分类：GPT-OSS-120B；LawBench 215类、Symptom2Disease 22类、USPTO-50k 180类；20轮×2候选。表2 p6 独立测试平均48.6%，ACE40.9%、MCE40.0%、全量few-shot40.8%；额外上下文11.4K token，ACE50.8K，约4.46倍节省。+7.7pp不是7.7%相对提升。
  • 表3、4 p7 为搜索集：完整轨迹 median/best 50.0/56.7；仅分数34.6/41.3；分数+摘要34.9/38.7。GEPA32.6/40.2、Best-of-N34.0/44.2、OpenEvolve39.1/43.3、TTT-Discover34.1/45.6。不能把56.7当测试成绩。评估次数匹配，未证明总 token 或总美元成本匹配。
  • OOD分类：9个未见数据集，表5 p8 平均73.1%，ACE70.2%，32-shot69.6%。
  • 数学：250题搜索、40轮109候选；最终200题（100 IMO-AnswerBench、60 IMO-ProofBench、17+23 ArXivMath），每题3次采样平均 pass@1。表6 p8 五模型平均：无检索34.1、dense k5 38.1、BM25 37.5、Meta38.8。相对无检索+4.7pp，相对最强固定平均基线仅+0.7pp；不是所有模型/所有基线都赢。GPT-OSS-20B也用于搜索，因此“5个全为未见模型”措辞不严，真正新增模型是4个。数学语料535,356条，去重与0.8 Jaccard近似过滤（表10/11，p24）。
  • TerminalBench-2：表7 p9，Opus4.6 76.4% vs KIRA74.7%；Haiku4.5 37.6% vs Goose35.5%。论文明确搜索与最终评估都用同89题（§4.3），属于 benchmark-specific discovery。官方 artifact 说明89题×5次；其他框架多取官方排行榜，非全部同设施重跑。
• 局限与核验意见：作者承认仅强 proposer Claude Code 验证，其他 proposer 泛化未知（p10）。TB2没有独立搜索/测试划分；字串泄漏审计不能消除统计过拟合。数学搜索集正文250题与附录D实施建议“88 problems”不一致，复现须询问/查配置。表9的Ctx是字符，表2是token，不可直接混比。全文有经验性因果解释，但不等于严格因果实验。
• 复现资源：公开仓库是最终 TB2 agent artifact（agent.py、prompt-templates、Anthropic caching），不是分类/数学/完整外循环的完整一键发行。README要求 Harbor、Anthropic key、Runloop；原成绩依赖收费闭源模型及大量隔离执行。作者称几小时完成搜索，但无完整成本账单。开源120B执行模型并不意味着一般笔记本能原样复现。
• 无付费API最小实验（建议）：先独立实现20个纯文本分类小任务，搜索集10、验证5、锁定测试5；固定本地模型与token上限，比较“分数”“分数+摘要”“源码+可查询完整轨迹”，3种子、每组5轮×2候选。保护评测器与测试标签，仅允许改 harness；记录测试正确率、总输入/输出token、模型调用数和搜索开销。没有本地模型时只用预置候选验证日志索引/隔离/选择逻辑，称为机制测试，不能声称复现性能。建议普通CPU先做机制测试；7B级量化本地模型资源取决于部署，不能保证再现Opus proposer能力。

2 Agentic Harness Engineering

• 完整题名：Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses。Jiahang Lin 等；arXiv:2604.25850v4，2026-05-18（v1为4月28日），固定版；官方仓库。
• 方法（§3，pp4–5）：NexAU将系统prompt、工具说明、工具实现、中间件、skill、子agent配置、长期记忆显式文件化。Agent Debugger把约千万token轨迹做成总览→按任务报告→原轨迹的可下钻证据。Evolve Agent改组件时写manifest，声明失败证据、原因、预期修复与回归风险；下一轮任务级变化验证，文件粒度回滚。模型、评分器、原始记录只读。主张是“可观测且可证伪的工程改动”，并非权重训练。
• 实验（§4、附录A）：full 89-task TB2上单次10轮搜索，约32小时；GPT-5.4作为角色基础模型。正文概述high，但表4 p16明确 Code Agent high、Evolve/Explore xhigh，不能说角色推理预算完全相同。每题2 rollouts、最多300执行轮、200K上下文、每次生成32K、96并发E2B、每题1小时，debugger16并发/600秒。基础故障/超时计失败，token均值排除中止trial。
• 精确成绩：
  • 表1 p6：seed NexAU0 69.7%，AHE77.0（+7.3pp），ACE68.9、TF-GRPO72.3、Codex71.9、Terminus2 62.9、OpenCode47.2。Hard30题 AHE53.3低于Codex56.7，不可说全部难度最优。
  • 表2 p7，冻结harness直接迁移SWE-bench-verified500题：75.6% vs seed75.2%，只+0.4pp（约2题）；token/trial461K vs526K，约-12.4%。ACE74.6%/679K、TF-GRPO74.2%/582K。没有显著性检验，不能把“最高平均”扩写为稳定明显正确率提高。
  • 图3 p8：DeepSeek-v4-flash51.7→61.8（+10.1pp），Qwen3.6-plus56.2→62.5（+6.3pp），Gemini3.1-flash-lite36.5→41.6（+5.1pp）；GPT5.4 medium65.7→68.0、xhigh72.5→74.7（四舍五入差与文内+2.3一致按作者口径）。
  • 表3 p8：memory-only75.3、tool-only73.0、middleware71.9、prompt-only67.4 vs seed69.7。组件并非可加：3个正向单件合计+11.1pp，全件仅+7.3pp；Hard上memory-only63.3高于完整53.3。
  • 图4 p9：修复预测precision33.7%、recall51.4%；回归预测precision11.8%、recall11.1%。作者承认“能解释改善但看不见多数退化”，审计记录不等于可靠自知。
• 局限：同TB2搜索与评估；仅一个10轮campaign；泛化预算与GPT5.4-high超时/步数耦合。公开的组件消融支持工具/记忆价值，但不是三个observability支柱各自的完整因果消融。无成熟安全隔离保证；把“有manifest”直接当成生产自治安全是误读。
• 代码/资源：官方README明确 Agent Debugger 仅部分开源，受公司策略限制。Python≥3.13、uv、tmux、模型endpoint、E2B与Serper；可自托管E2B但不是开箱即用单机Docker。不要把仓库后来GPT5.5的84.7%混入本论文GPT5.4的77.0%。
• 无付费最小实验（建议）：自行做10个沙盒Python修复任务，每题2次，保持模型与硬超时固定；seed仅shell；3轮演化，组件限定prompt/tool/middleware/memory，manifest强制列“预计修复/预计退化”，次轮计算precision/recall并用5个锁定任务测泛化。本地模型可先仅产生结构化patch提案，人工审查后在无网络临时目录运行。若不用原Debugger与E2B，应称可观测演化机制复现，不能称原实验复现。保留只换memory、只换prompt两项消融比追大榜更值钱。

3 Continual Harness

• 完整题名：Continual Harness: Online Adaptation for Self-Improving Foundation Agents。Seth Karten 等；arXiv:2605.09998v1，2026-05-11，28页，PDF内日期5月12日。全文；项目；代码。
• 方法（§2–3，pp3–5）：在不重置的同一游戏episode中，actor行动，每F步（warmup W后）Refiner读轨迹，依次更新system prompt、子agent、技能、记忆；四者为外部状态，基础模型冻结。与EvoTest的episode间更新不同。第二层训练用256步在线rollout→PRM评分→frontier teacher重标低分窗口→soft SFT，在下一训练迭代接续同一模拟器存档。
• 输入不是纯视觉：屏幕、按钮之外还有由模拟器RAM生成的局部ASCII地图及get_party_hp等通用原语（附录A p14）。没有攻略/全局目标不等于没有人工环境接口。全文把Red/Crystal分辨率160×144、Emerald240×160，2倍放大，120帧/观察步。
• 必须分开三类证据：GPP先前完整通关Blue/Yellow Legacy/Crystal包含人类在环迭代；自动Continual Harness是Red/Emerald阶段性里程碑评估；模型+harness co-learning也是阶段性进展，不是全自动通关所有游戏。
• 实验：至少3种子，报告中位数与透明单种子；Hmin最小接口、Hexpert人写A*、类型表/伤害计算/目标；CH from-scratch、bootstrap-frozen、bootstrap-updating。图5 p7是Red11个里程碑子集与Emerald9个；图6 p8用Emerald31里程碑集合与24小时种子，不能混读为通关率。
• 结果（§4.4，p7；图6 p8）：Gemini Pro from-scratch 100%里程碑/$130中位数，Hmin98%/$215，约40%成本降低；Flash bootstrap-updating80%/$42 vs Hmin77%/$30，收益波动；Flash-Lite CH仅3–13%，低于Hmin20%且成本相同或更高。这是非常直接的能力门槛反例：弱模型不一定能使用自写工具。
• 机制证据：图8 p9导航skill路径成本相对Dijkstra缺口从接近50%降至个位数，但报告top10%技能，不能称整个技能库平均。附录图16 p22：Emerald phase1建99技能，仅17被调用、5至少成功一次；Red phase1建110，33被调用、3至少成功一次。说明“生成技能很多”不等于可用能力增长。
• Co-learning（pp25–27）：LoRA r=α=256、bf16、8K上下文、Unsloth/H200；SFT lr2e-5；offline GRPO G4、lr1e-6、KL0.04、batch8、590步；在线256步rollout、PRM stride8、soft SFT3epoch/lr5e-6，教师Gemini3.1pro。图7仅展示5条有进展运行（+2至+5里程碑），不是所有run总体均值。附录D.2称Red可用31B初始policy，D.4却称26B SFT，存在初始化描述不一致；Red canonical18里程碑与D.4出现24/30编号亦需配置解释，不能填补猜测。
• 局限：未独立拆开更多交互时间、teacher重标、权重更新、harness更新各自贡献；未与相同任务/预算reset训练正面对比；小模型共同担任教师/学生未成功；尚无收敛证明。附录案例也有1003轮卡住、工具schema脆弱和反馈盲区。
• 代码门槛：当前MIT仓库有最小/专家/CH scaffolds，Python3.10–3.11；Red用PyBoy、Emerald用mGBA；必须自备合法游戏ROM，ROM未附带；官方后端配置主要是收费API。CH需显式 --enable-prompt-optimization，否则只stub；README演示F=50。代码已历多次更新，需固定commit，不默认完全对应论文。
• 无付费最小实验（建议）：最现实先用自建10×10局部可见网格迷宫，不含商业ROM，固定步数和3种子；冻结本地文本模型，每20步允许仅修改记忆/导航函数；比较无更新、继承但冻结、继承并继续更新；记录有效率、实际被调用技能占比、path-cost、总推理token。此为reset-free机制缩小实验，不是Pokemon分数复现。真正Pokemon可先验证模拟器+存档+日志；原共同训练需要大显存与frontier teacher，无法“无API完全复现”原结果。

4 Autogenesis

• 完整题名：Autogenesis: A Self-Evolving Agent Protocol。Wentao Zhang 等；arXiv:2604.15034v5，2026-06-20，29页（v1 4月16日）。固定版；官方仓库。
• 方法（§3–4，pp3–6）：AGP协议分两层。RSPL把Prompt、Agent、Tool/MCP/Skill、Environment、Memory登记成有状态、生命周期和版本的被动资源；模型/版本/动态加载/轨迹管理为共用基础设施。SEPL把更新规约成Reflect→Select→Improve→Evaluate→Commit，受learnability mask限制，可回滚。AGS通过Agent Bus让规划者与并行子agent共享资源与结果。协议是接口/治理抽象，reflection是主要实验优化器；TextGrad/GRPO等兼容性不等于全部验证过。
• 科学数学（表1 p7）：GPQA-Diamond198题、AIME24/25各30题，无外部工具、至多3轮演化、exact match。GPT4.1 vanilla 65.15/23.34/20.00，joint67.67/40.00/33.33；GPT4o47.98/13.34/6.67→58.08/16.67/13.34；Gemini3-flash88.38/83.33/83.33→90.40/93.33/93.33。GPT4.1 AIME24 +16.66pp约+71.4%相对，不是+71.4pp。反例：GPT4.1 GPQA Prompt-Evo与Solution-Evo均68.68，比joint67.67高，正文“joint consistently outperforms”应视为概括过强。
• 通用agent（表2、图2 p7；§5.2 p8）：GAIA val165/test300题；Gemini3.1-pro-preview、top planner最多30步、specialists20步。Agent-Evo val89.70→93.33（+3.63pp），test79.07→89.04（+9.97pp、+12.61%相对）；HLE59.6%由o3-mini按官方协议judge。论文列系统是跨模型/设施排行榜，不能据此把差异因果归于协议。正文称“四个”specialists却枚举五类，配置需仓库核对。
• 代码题（表3 p8；§5.3 p9）：自建100道较新LeetCode，Gemini3flash +3轮Solution-Evo。通过数 Python79→87、C++84→99、Java84→98、Go82→95、Kotlin75→95；比较的是更多推理/执行反馈后的解题改进，非资源协议本身的独立消融。代码性能同样有代价：Python和Kotlin内存上升。
• 局限（§6 p9）：演化增加延迟/token，尚无严格budget匹配效率研究；Environment/Memory虽实现但未独立消融；版本/回滚提供可审计性，不构成对齐或真实世界安全的形式化保证。附录反射伪码（p25）的safe/non-degrading依赖Accept判定的正确性，不能由协议语法自动推出。
• 资源：开源当前框架已大幅发展，README安装脚本会装Python3.12/Node，整框架在Docker中、bind-mount源码，且挂Docker socket以启动sibling容器；这不是不可信自修改代码的强隔离。当前README有不需API的默认非integration pytest；真实任务需要模型key，GAIA/HLE还需网页、浏览器等外部资源。
• 无付费最小实验（建议）：先只测注册/版本/rollback：5种资源各建v0、允许修改1种、故意失败一次并确认原状态恢复；测试评测器不可写及并发访问一致性。第二阶段可用本地模型在10个字符串/算术小任务上对比固定prompt、prompt-only、solution-only、joint，固定3轮和相同总生成token。此能检验协议与迭代收益，不能声称重现GAIA。不要运行默认全权限Docker-socket架构处理敏感目录。

5 AEvo

• 完整题名：Harnessing Agentic Evolution。Jiayi Zhang 等；arXiv:2605.13821v1，2026-05-13。全文。官方占位仓库，另一官方仓库。核验时前者只有README/LICENSE，后者为空，不能写“已提供可运行开源代码”。
• 方法（§3–4，pp3–6）：把搜索过程本身看作环境。状态是累积候选/反馈/轨迹/失败/成本；meta-agent的动作修改下一段搜索机制（选择规则、变异/提示、memory、工具、停止策略），不是直接生成下一个解。Procedure variant改显式演化程序，Agent variant改内层coding agent运行context。独立harness维护轮数/记录并保护hidden evaluator，meta-agent分段介入。
• 设置（§5与附录B/C）：GPT5.4/Codex与Opus4.7/Claude Code作为优化接口；标准任务执行Gemini3Flash；temperature1、high、128K，标准任务20轮、开放任务100轮/25轮无改进早停。标准bench Avg@3，开放任务Best@3，不可混称“平均”。
• 表2 p7：Terminal-Bench ReAct28.6，DGM/AFlow44.3（最强baseline），AEvo53.8；ARC-AGI-2 ReAct21.8、ADAS36.0（最强baseline）、AEvo47.0。两者相对提升21.4%、30.6%，均值约26%；不是+26pp。正文明确每轮优化成本约procedure基线3倍，因此“相同轮数”不是“相同总算力/美元”。正文/附录未清楚披露这两套数据的版本、完整题数及search/test划分，报告不能擅自补成完整TB2/完整ARC test。
• 表1 p7：circle_packing_26 best sum radii2.6359，多方法同分；AC2 Opus Agent0.9459 vs Claude Code0.9438；模拟VLIW/SIMD kernel GPT5.4 Agent1138cycles vs Codex1667、ClaudeCode1615；100→200轮可1121（图3 p8）。这是模拟器cycle，不是实际GPU内核吞吐。GPT5.4 AEvo每轮成本$1.23；此是论文当时API口径，不是实时价格。
• 消融（表3 p13）：无meta-skill三run最优2379/1536/1407cycles且有提前停止；无harness三run之一1167有效，另外两run reward hack导致N/A。完整1138是主表最佳口径，消融样本很小；支持保护评测器重要，不证明一般攻击下安全。
• 局限：无完整代码/数据切分和成本匹配控制；Best@3强调可达上限而非稳定期望；更强优化推理与框架的贡献仍混合。作者建议更多环境、更低成本meta intervention与安全部署；不是“自修改机制已经无限递归加速”的证据。
• 无付费最小实验（建议）：不用缺失官方实现，从论文接口做透明复刻：仅优化简单字符串匹配算法或8圆packing；独立只读评分器；固定20候选预算，对比固定best-parent变异与每5轮允许meta-agent改选择/搜索温度。同一本地模型，总生成token与评估调用均匹配，3种子，记录best-so-far/无效候选/提前停止/篡改评分尝试。无模型可用时用预置调度策略测试治理边界，不能标为agent性能复现。

6 Huxley-Gödel Machine

• 完整题名：Huxley-Gödel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine。Wenyi Wang、Piotr Piękos等；arXiv:2510.21614v3，2025-10-29。固定版全文；官方代码。仓库说明ICLR2026 oral；论文版本日期与会议年份分开。
• 核心问题（§1–3，pp2–7）：当前agent解题强，不必然更会生成更好的子agent，称metaproductivity–performance mismatch。CMP衡量某祖先整个后代分支未来可达的优良结果；实际用clade所有已观察成功/失败聚合估计，Thompson sampling挑待扩展父节点。扩展与评估解耦，按单agent–task粒度评估，以类似无限臂bandit规则决定生成新agent或继续测旧agent，异步利用并发。基础模型不训练，搜索agent源码/工具/prompt。
• 理论边界（Assumption1/Theorem1，p5）：真CMP oracle足以模拟本文受限Gödel Machine接受机制，前提是只关心最终agent效用、可重复独立评估、证明不消耗预算、每次修改固定成本1。实际估计CMP不是真oracle；“有定理”不代表实际HGM保证全局最优，更不等于通用自我改进安全保证。
• 实验：SWE-Verified-60搜索GPT5扩展/GPT5-mini评估；Polyglot扩展Qwen3Coder480B-A35B（int4/int8混合）、评估30B-A3B。相同DGM祖先，最多800次task evaluation，HGM α0.6；表1 p8 weighted Pearson相关SWE0.778 vs DGM0.285/SICA0.444，Polyglot0.626 vs0.383/0.274。相关是完成树上的经验CMP，经去除目标分支处理；仍非对任意未来搜索分布的保证。
• 表2 p9：SWE60：初始40%，HGM56.7%、DGM53.3%、SICA50.0%；HGM517 allocated CPU-hours vs DGM1231（2.38倍），SICA360次后反复上下文错误。Polyglot：初始20.3%，HGM30.5/347 CPUh、DGM27.1/2385、SICA25.4/572。CPU-hour含分配资源与异步利用，不等于总LLM token、GPU-hour或实际墙钟同倍加速。
• Full SWE-Verified500题（§4.3.1 p9）：调整更强祖先53.2%，8000次评估后61.4%。这是在同benchmark优化的成绩，不应独立泛化解读。
• 真正去重迁移（表3/4 p10）：SWE-Lite300题与Verified重合93题，作者另报207题filtered。GPT5-mini HGM filtered40.1 vs祖先34.8、SWE-agent39.6；standard49.0 vs44.0/47.6。换GPT5后HGM filtered47.8 vs SWE-agent48.3；standard57.0 vs56.7。因此标题“Human-Level”指接近人写agent系统排行榜，不是与人类程序员同场实测，也非去重集明显胜出。
• 资源（附录C p18）：初步每次执行限1h，full阶段自修改/评估限5h；所有方法实验总支出约$5000。开源Apache2仓库含外循环、树、best_agent、Docker、SWE/Polyglot接口，Python3.10；主实验依赖GPT API或480B级模型。README明示运行不可信模型生成代码风险。
• 无付费最小实验（建议）：最先做纯CPU的固定合成树搜索，设置一些“当前差但后代好”分支，比较greedy、node-level Thompson、clade-level Thompson；同800次伯努利评估预算，至少30随机种子，报告最终最佳真成功率/置信区间。它直接检验选择策略，不需LLM也不执行第三方代码，但只验证算法机制。下一步再用本地模型在10个小代码题生成20个受限候选，锁定额外测试，证明源码自改时是否仍有收益；不能把合成树结果当SWE复现。

7 JIT-Agent

• 完整题名：JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution。Guibin Zhang等/JIT-Agent Team；arXiv:2608.25593v2，2026-09-03（v1 8月26日）。原文；代码；公开27B模型。与JITRL不是同一篇、也不是同一学习对象。
• 方法（§3–4，pp4–7）：把harness严格分为M记忆、P规划、A动作、F能力编排，运行依赖次序M→P→F→A。HarnessFactory统一重实现13种人工scaffold作为种子库。训练基于Qwen3.6-27B的生成器，收到任务、协议、工具注册表及近邻harness参考，直接输出可执行模块。
• 三阶段训练：I强教师生成/验证task-adapted harness，SFT+按reward/latency/cost优势加权DPO；II对失败harness及编译/接口/运行错误，模仿至多两轮成功repair；III Evo-GDPO比较组内候选与archive incumbent，独立归一化reward/延迟/费用通道，reward权重主导，PPO+KL到II检查点。部署时生成器权重冻结，static生成N个选1个执行，streaming将通过前沿条件的harness经验留入archive。因此“测试时自演化”主要是外部archive/生成产物变化，不能说每题在线更新生成器权重。
• 表2 p8的9基准分数都是0–100但语义不同（QA、约束满足、workspace成功等），平均是便于概览的宏均值。GLM5.2平均74.1→81.8（+7.7），DeepSeekV4Flash66.7→75.5（+8.8）；GLM Travel62.8→83.0（+20.2），DeepSeek Shop59.1→83.9（+24.8）。DeepSeek+JIT DSQA85.1 vs GPT5.6 76.0，Odyssey73.0 vs68.7，摘要比较的是这两个特定benchmark，不是全面超过GPT。
• 固定backbone更有解释力（表3 p8）：DeepSeek xBench JIT82.0/212K/$0.039 vs NanoBot78.0/527K/$0.075；DSQA JIT85.1/400K/$0.066 vs最强fixed NanoBot80.4/924K/$0.131。但DeepSeek AgentIF JIT63.8低于ClaudeCode66.9；Qwen3.6Flash DSQA JIT70.3低于NanoBot74.2。JIT在6设置里4个性能最高、6个token/费用最低，不是全面dominance。图4 p9另用DSQA100例、其他三基准各50例，不能混合为表2主测试规模。
• 复现缺口/推断：论文未充分给出训练数据规模、学习率/epoch、教师确切配置、GPU训练预算、主表多seed方差及完整数据切分；需要代码/作者配置补足。训练集来自既有agent benchmarks+合成任务，泛化声明需注意训练/测试污染控制资料不足。也要确认表中成本是否完整含候选生成、修复、选择及judge，不能仅按executor token推定端到端全部节省。
• 代码与权重状态：当前Python3.11仓库有harness_factory、jit、benchmark adapters、dataset、HTTP执行与judge接口；所有数据约1GB，模型服务需自备vLLM/SGLang。官方模型卡明确公开checkpoint是“Stage-I模型再蒸馏最终research checkpoint”的initial research release，并非原最终研究checkpoint。模型27.36B、BF16、建议163,840上下文、TP=4；权重本身理论约54.7GB（27.36B×2字节，推算），还未计KV/runtime，普通单卡直接full-context不现实。
• 无付费最小实验（建议）：先用固定seed harness跑5个离线文件/字符串任务，检查四模块protocol和最多2轮repair；再以已部署本地模型替代meta与executor，不用网页/Serper/Jina，候选N=1/3，固定同一批任务，记录编译通过率、repair成功率、最终正确率和包含所有角色的总token/时间。低资源可只评测已经生成的harness并用mock executor验证schema，称“协议与恢复烟测”。要检验论文JIT-27B能力应部署公开27B并承认它是蒸馏公开版；重训三阶段不适合作为首次本地项目。

8 EvoTest

• 完整题名：EvoTest: Evolutionary Test-Time Learning for Self-Improving Agentic Systems。Yufei He等；arXiv:2510.13220v2，2026-04-17，ICLR2026论文，37页。全文；ICLR poster；官方代码。不是仅会议海报摘要，已有全文。
• 方法（§3–4，pp4–6）：J-TTL在同一Jericho文字游戏重复K个episode，每次重置到相同初始状态。Actor完成一局后，Evolver读完整叙述轨迹，改policy prompt、成功/失败记忆、温度/探索等超参，以及Python状态抽取/记忆访问routine；用UCB从父配置和子配置选择下一局。基础actor无梯度更新，利用叙述反馈作语义归因。
• 设置：Detective、Library、Zork1、Zork3、Balances、Temple共6游戏；每局110步、50局。Actor Gemini2.5Flash或Claude4Sonnet，Evolver o3-2025-04-16；SFT/GRPO主比较用Qwen3-32B，不能说主表全方法同底座。主要指标AUC=各局累计得分/(K×游戏最大分)，是学习过程归一化平均分，不是ROC-AUC或成功率。
• 表1 p7：Gemini平均EvoTest0.47 vs最强prompt0.34、Reflexion0.32、GRPO0.30、Static0.11；Claude0.50 vsprompt0.36。摘要38%与57%分别是0.47相对0.34与0.30的比例。Detective/Library可获胜；其他游戏AUC仍低，例如Zork1 0.14/0.16，不是所有游戏已掌握。
• 消融与同模型控制：表3 p9 Detective完整0.94，去prompt0.52、去UCB0.68、去memory0.82、去超参0.89、去tool-use0.91。表5 p10通用“改好一点”mutation仅0.65，结构化多部分evolver prompt重要。表6 p10同Qwen3-32B actor：SFT平均0.24、GRPO0.31、Qwen3-32B evolver0.35、o3 evolver0.40，支持方法有效，也显示强优化模型额外贡献。
• 多seed：表8 p22 Gemini五种子完整平均0.48±0.01，Promptbreeder/EvoPrompt0.35±0.03、GRPO0.31±0.03。表8 Memory行Detective0.56但给的六游戏平均0.13，逐项算应约0.183，疑似表格笔误；不自行改原数，也不引用此行做精确结论。
• 成本（表2 p9、附录C p17）：每次更新EvoTest1模型调用约20–30秒 vs SFT/GRPO 4×H100上5–10分钟；这只是更新步骤时间，不含整个50×110步actor消耗，不能声称整轮仅几十秒或免费。
• 局限（附录A pp16–17，作者明确承认）：固定底座能力天花板、单任务策略性过拟合、挪动钥匙等细微变化可能失效、依赖强且可能昂贵evolver、简单1+m/UCB也可局部最优。这里只证明反复玩同游戏学得更好，不是任务分布迁移或无限持续学习。
• 代码：官方仓库有Jericho游戏目录、actor/evolver与若干memory/summary/RAG基线，默认通过OpenRouter，需检查论文全baseline和完整日志是否均可用，不把承诺等同已核实全量发行。运行状态extractor涉及模型生成Python，需隔离。Jericho引擎不需GPU；主实验o3/actor仍收费；同Qwen32B版本有论文证据可作为无API方向，但需要本地显存。
• 无付费最小实验（建议）：一个可合法使用的Detective/自建IF小环境，10局×50步，3种子；本地同一模型担任actor/evolver，对比Static、prompt-only、完整+UCB，记录每局score、AUC、调用/token和可执行状态抽取失败率。另将钥匙位置/门规则更换作小型迁移测试。达到更高AUC才是学习证据，简单“程序跑通”仅烟测；原50局110步六游戏结果需更大预算。

9 Cordis

• 完整题名：A Programming Paradigm for Spatiotemporal Composability。Yifan Shi、Wei Zhang、Tianyi Cui；arXiv:2608.25512v1，2026-08-26，92页。全文；论文仓库；实现。论文仓库现在只保留README并指向arXiv，不是找不到原文。核查重点为定义/关键定理前提、实现对应、案例与讨论；未对92页证明做机器形式验证。
• 类型区别：这是编程语言/运行时论文。它不训练模型，不报告agent pass@1，不存在可与Meta-Harness放同一个性能榜的“提升百分比”。agent self-evolution是应用动机之一。
• 核心（§3–4）：时间可组合性要求卸载组件后撤回其受管理副作用；空间可组合性要求依赖动态出现/消失时组件按声明自动启停。revertible effects把变更和inverse配对，runtime按LIFO组合；reactive coeffects把依赖变化归类为激活/失活/保持；统一Context中介访问，组件fiber管理生命周期、嵌套和provider/consumer顺序。以观察等价而非物理状态完全相同表达独立性。
• 正式证据：Theorem68 recovery exactness p46/Corollary69 p47说明退回组件贡献并保留其他合法交错；Theorem70 ordering p47在依赖存在时激活、consumer先于provider撤回；Theorem71 resolution coherence p48约束激活中绑定一致性。Theorem73 progress p49需要依赖关系无环、effect长度有界、出现fiber集合有限。Confluence是满足规定的终态一致性，不是任何外部事件序列可交换。
• 实现（§5，pp57–69）：TypeScript core的ctx.effect、get/set、isolate/intercept、use及loader；表2 p58是理论→实现映射，表1是语义规则，不是benchmark。loader支持配置reconcile、热模块替换、失败后恢复旧模块缓存；版本脚注p69明确论文讲Cordis v4，而Koishi案例使用v3。
• 工程案例（§5.3 pp69–70）：Koishi四年约4000+社区插件，服务端bot和浏览器console皆可用同范式；能独立卸载/热更组件而保留其他连接/状态。作者明确这是单生态、单语言、观察性“存在与采用”证据，未做对照的性能overhead/开发生产率评估。
• 必须保留的边界：p59逆操作是否真能还原、coeffect操作是否满足交换性，是组件作者义务，runtime不验证。§6.1 pp70–71界定可独占且可恢复才在系统边界内；已发送消息等外部emission不能撤销。§6.3 pp72–73：语言代理只是访问约束，不是恶意代码sandbox，仍需进程/容器等外部边界。循环依赖可能永久inactive；独立包接口漂移、版本兼容与key冲突仍是开放工程问题（pp74–75）。所以“随意改任意代码安全回滚”不是论文结论。
• 复现资源：MIT TypeScript实现，当前workspace用Yarn4.14.1、Vitest测试、TS5.9.3；无需模型、GPU或数据集。生产v3与研究v4须锁版本。研究项目的Node HMR可能使用engine internal接口，不能宣称任意JS runtime完全兼容。
• 无付费最小实验（最可行）：3组件A供logger、B依赖logger注册listener/timer、C独立计数；加载B但A缺失时B不激活；加载A后B激活；卸A须先清B，C不中断；重装A/热更B后重复100轮，断言listener/timer/注册数无增长、dispose幂等、终态与静态直接装配一致；再注入错误inverse，验证框架本身不能神奇修复作者错误。全部纯CPU。这是比任何模型跑分更贴切的论文复现。

10 SoL-Pi

• 完整论文题名：SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness。Haozhe Liu等；arXiv:2609.20519v1，2026-09-17，15页，PDF内日期2026-08-17。论文；项目；代码。项目标题为Scaling Auto-Research Loops for Efficient Agent Harnesses，与论文标题略异；视频说“尚无arXiv”已被当前发布状态更新。
• 研究设计（§2 pp2–5）：固定能力容忍门槛后探索效率改动；152个方向、535个开发环境（495真实issue–PR任务+40可执行合成verifier）、3000+run/60000+交互。独立实现/审查/验证的宽→深搜索保留4个机制；候选冻结后再独立验证，失败不把heldout反馈返给搜索。这里没有学模型权重，也没有已证明的搜索scaling law。
• 四机制：Action Fusion把edit/write与可预定的后续测试合成一个tool call；Online Context Compact在plan步骤完成时按剩余调用/上下文增长/cache重写成本决定压缩；ObservationPack对>10KiB大输出前2次完整发送，第3次起稳定handle+约1KiB头尾摘要，支持精确分页召回；Evidence-Preserving Reducer把≥4KiB指定build/test日志交小模型提取receipt，以schema/hash/exit status/逐字引文/大小验证，失败或疑似凭据则退回原文。原论文辅助模型GPT5.6Luna high。压缩cost gate不单独给摘要调用计价（§2.5）。
• 数据划分（p6）：EdgeBench51公开任务中11用于冻结候选单向acceptance，40用于最终泛化；主表给51的汇总。作者说隔离搜索，但11题用于接受决定不能等同从未接触的40题；应要求40题单独报告及容忍阈值配置以更严格评估。不可将51称完全未参与选择。
• 精确结果（表1 p6/表2 p7）：GPT5.6Sol上Pi44.833平均分/2.1538B token/$1339；完整SoL-Pi Efficiency42.003/1.0990B/$894，即token-49.0%、费用-33.2%，分数下降约6.3%。Opus5 Pi44.756/2.3697B/$1741→42.224/1.3101B/$1158，token-44.7%、费用-33.5%、分数约-5.7%。故“相近能力的效率权衡”准确，“无损省一半token”不准确。
• Performance配置不是完整四机制：表4 p9按模型挑最高分单组件，Sol选ObservationPack47.208（+5.3%相对），Opus选ActionFusion50.482（+12.8%）。它与Efficiency是两个operating points，不能把最高分和最大节省拼成同一次运行结果；按结果选最优单组件也存在winner-selection乐观偏差。
• 其他验证（表3 p7）：TB4仅63个CPU任务，Pi18题/$286.45，SoL15题/$211.12，便宜但少解3题；IMO2026六题Lean4验证，SoL3题/$62.69、Pi3题/$75.95、Codex5题/$114.47。不同题覆盖不能只比cost/pass宣称绝对更好。
• 群体（§3.3/图5 pp7–8）：每配置仅一次2h run；Codex coordinator+20 Luna worker SoL1127模拟cycles/$60.11，Pi swarm1366/$82.12，单Codex1333/$39.20。SoL swarm相对Pi更好，但不是比单agent更便宜；没有多seed方差。所有费用采用2026-08-17 API价格，不是当前报价；每小时节省只是该评估设置的折算。
• 局限（§5.1 p12）：只有单开发backend与一个额外backend迁移；完整搜索昂贵，未在固定budget下验证breadth/depth因果；把节省重新投入下一代搜索的“recursive efficient improvement”明确是长期愿景，未展示复利。机制效果会相互干扰、缓存收益取决于provider与任务结构，token traffic含cache重复流量不等于unique reasoning token。
• 开源资源：MIT Pi extension，Node≥22.19、npm、Pi coding-agent0.85.1；四机制默认关闭、opt-in；有源码检查/测试。原始轨迹会本地长期存档，no-session也会写临时archive；Reducer可能把日志发给其配置的模型，需敏感数据边界。代码开源不等于535环境/152方向完整研究过程都已完整发行。
• 无付费最小实验（优先推荐）：先只重放人工构造日志测试ObservationPack：前2次全量、第3次handle、精确分页取回、hash一致、边界字符/截断无丢失；测100次上下文发送总字节/token与召回正确率。ActionFusion用临时小repo的edit+本地unit test验证返回顺序/失败不掩盖。两项完全不额外调用模型。若已有本地agent，再做10–20题paired pilot比较baseline/两模块/full，记录正确率、端到端所有角色token/耗时与缓存；单次pilot不能复现paper置信结论。Reducer先mock回执与坏hash/伪引文拒绝测试，未经批准不把日志发远端。

综合判断与复现顺序

这些工作分属不同层级，不能用一个“自进化提升”名词混合：Cordis解决运行时生命周期，Autogenesis规定资源与更新接口，HGM优化搜索选择，Meta-Harness/AHE改执行harness，AEvo改搜索机制，JIT-Agent训练按题生成器，EvoTest跨重复episode改配置，Continual Harness同episode中改配置，SoL-Pi发现并发布效率机制。

低资源优先顺序（分析建议）：1. Cordis生命周期测试；2. SoL-Pi ObservationPack/ActionFusion的确定性测试；3. HGM合成树调度；4. Meta-Harness分类或EvoTest小IF的本地模型pilot；5. AHE小代码任务与manifest回归预测；6. Autogenesis最小协议；7. AEvo重实现；8. JIT-27B部署/Continual Harness共同训练。排序依据是能否在不付费、不依赖缺失代码/商业ROM、不购买大GPU条件下验证核心机制，不表示论文科学价值高低。

共用验收：源码/论文固定版本；外部评分器与测试集不可修改；区分机制测试、缩小复现、原论文数值复现；固定总评估次数之外还记录全部模型调用与token；报告失败/回归，不只best-of-N；保留独立测试和至少3种子（廉价仿真可30种子）；所有模型生成代码先隔离与审查，禁止自改评测器/权限/密钥/网络边界。

技能演化论文核读（7篇主批次）

核验日期：2026-10-08。只读论文、官方仓库和发布资产，没有执行第三方代码。各篇已读取正文、实验及相关附录，并核对最新版；页码按 PDF 从1开始。本文的“审稿判断”“本地方案”是分析，不是作者实验结论。新增四篇另见 skillforge_muse 文件。

1. SkillX: Automatically Constructing Skill Knowledge Bases for Agents

• 版本/原文：2604.04804v2，2026-04-19；全文可访问。
• 问题与方法：从强模型轨迹构建可跨模型复用的技能库。分规划、功能、原子三级；合并/过滤、最多3轮迭代，并用环境探索扩大覆盖。运行时先改写伪计划，再检索技能，不更新执行模型权重（§3–4）。
• 实证：表1，PDF p6：Qwen3-32B 的 BFCL-v3 Avg@4 53.67→63.67，AppWorld 27.68→35.12；前者是+10.00个百分点，后者+7.44，不能统称“全部提高10%”。同一 GLM-4.6 教师的 ExpeL 对照分别59.33、32.94。
• 数据/算力：BFCL 50训练/150测试；AppWorld训练90例；每训练任务4次轨迹。教师GLM-4.6、嵌入Qwen3-Embedding-8B（§5.1/附录A）。未找到完整 GPU 小时/总成本。
• 公开资产：官方仓库有抽取、过滤、推理代码及 appworld 技能库目录；README仍保留“计划发布”旧文案，不能据摘要断言尚未开源，也不能仅凭目录断言全部复现资产齐全。
• 审稿判断：§3.3式(8)及紧接文字明确按 Q_test 性能停止迭代，存在测试集选择偏差；应要求独立验证集。表1区分同模型抽取与强教师蒸馏，跨范式比较须控制教师、轨迹和预算。统一初始查询检索对原本动态记忆方法可能不利。论文未给出普遍跨环境零样本迁移的充分证据。
• 无付费本地方案：先复用已公开技能做“无技能/原始轨迹/三级技能”同执行器对照，再决定是否自采集。CPU-only适合结构、检索与评估器测试；16GB GPU用较小量化开放模型和小嵌入模型做机制复现。更换教师/嵌入后不是原表复现。原32B和8B嵌入同时运行、再加大教师，不应承诺16GB单卡可承载。

2. From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution

• 版本/原文：2604.15097v4，2026-09-17；全文可访问，beta technical report。
• 问题与方法：比较长篇技能包与紧凑控制对象。Gene用关键词、摘要、策略、AVOID与可选验证约束；GEP记录对象、执行证据和演化历史（§3/附录A）。
• 实证：表1，PDF p7：45科学编程场景、4590 retained trials，checkpoint平均分：无提示51.0、Skill49.9、Gene54.0。Pro单独60.1→59.9，Flash41.8→48.2；收益不是两模型都增加。表13的约230-token匹配片段仍低于Gene。Fig5另报 CritPt 17.7→27.14。
• 数据/算力：Gemini 3.1 Pro/Flash Lite，温度0.05、输出上限16384、代码120秒超时；两轮演化各约2天。v4附录D的$0.81仅可观测输入/输出，不含不可恢复的 reasoning token，不能解释为全成本。
• 公开资产：Evolver、skill2gep、70题CritPt提交与汇总。skill2gep官方说明自己是协议适配/验证器，不保证任意技能自动蒸馏质量；未核实45场景完整原始基准及全部trial日志已发布。
• 审稿判断：checkpoint平均分不等于整题成功率；仅45场景、两个同厂闭源模型，无通用技能无效的结论。Skill在实验中被整包注入，不等价于按需读取技能的完整harness。CritPt额外包含两天演化和外部论文知识，未做充分等预算/相同信息对照，不能把收益单归因Gene格式；测试重叠/演化顺序隔离不够明确。
• 无付费本地方案：对自己可确定评分的小型Python任务，用同一本地模型比较无指导、长文、等token摘要、Gene、Gene去AVOID；冻结测试任务和提示预算。CPU可做JSON/schema和已有日志审计；16GB GPU可做小模型机制试验。原Gemini数字不能离线精确重现；不要自动连接共享网络或运行其自改代码循环。

3. Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills

• 版本/原文：2603.25158v5，2026-06-04；全文可访问。
• 问题与方法：冻结模型；并行分析成功/失败轨迹，错误分析器可检查文件和验证修复，再层级合并补丁成一个可携带技能目录。无需推理时向量检索（§2）。
• 实证：表1，PDF p4：122B自深化+Combined，SpreadsheetBench-Vrf由48.33升至69.83；35B创建+Error迁给122B，在WikiTQ由23.73升至81.38（+57.65pp，相对弱Parametric基线）。表4中并行约3分钟、逐条约60分钟，但35B的Soft/Hard并非并行更好。
• 数据/算力：v5明确200进化/200留出，完整SpreadsheetBench剔除所有进化题；DocVQA改为50进化/5299评测。主要开放模型Qwen3.5-35B-A3B/122B-A10B，128并发；附录B1计时硬件为8×A100，而非旧版A800。
• 公开资产：官方代码提供400题Verified数据、已发布xlsx技能、评估和演化入口，明确支持localhost OpenAI兼容接口。发布范围主要是电子表格，不能默认为论文所有领域代码齐全。
• 审稿判断：最新版数据隔离显著优于旧版表述，应引用v5。+57.65是挑出的单方向最大增益，不是整体平均；跨模型有负迁移，agentic错误分析并非所有配置胜出（表12）。同样轨迹与harness的消融比整体系统排名更有因果解释力。3分钟是大节点墙钟时间，不是单卡资源消耗，亦非整个流程成本。
• 无付费本地方案（优先）：先用公开技能、官方评分器和10–20留出题验证工具链，再以同一本地小模型生成独立训练轨迹，比较无技能/人工技能/顺序编辑/并行合并。16GB GPU先用小量化模型而非强装35B，降低并发；明确标为缩小模型机制复现。CPU-only先跑数据隔离、补丁冲突和评分器测试，推理仅做极小样本，不报告速度对标。

4. SkillClaw: Let Skills Evolve Collectively with Agentic Evolver

• 版本/原文：2604.08377v2，2026-08-10；全文可访问。
• 问题与方法：跨用户收集会话，按技能归组；evolver选择refine/create/skip，经候选验证后同步共享库（§2）。
• 实证：表3，PDF p7：Qwen3-Max、8模拟用户、6轮，WildClawBench六类中仅报告四类。Social54.01→60.34；Search22.73→34.55；Creative11.57→21.80；Safety24→32，均是作者best-skill部署视图。
• 数据/算力：完整Linux工具环境、15–50步、外部API/模型下载；生成、演化和验证均用Qwen3-Max。没有充分公开总token、美元或硬件成本。
• 公开资产：官方实现、WildClawBench。现行代码有客户端代理、可选演化服务，支持本地文件存储；这不意味着原论文全部部署/数据已一键复现。
• 审稿判断：缺独立未见用户/未见任务留出说明。表5、7出现相同技能池重测后更高分成为best-so-far，单调曲线含选择效应。§2.3“只接受改进就不退化”仅对所测样本成立，不能保证真实分布。尤其不能把Safety类可靠性提升泛化成完整安全验证；集体会话还需隐私与技能注入隔离。
• 无付费本地方案：只使用合成、无敏感数据的两个模拟用户；本地存储和本地模型，先做旧技能/候选技能在相同种子、独立留出题上的配对比较。CPU适合证据归组与版本回退；16GB可做小模型演化；原Qwen3-Max与外部API任务只能改造，不能承诺原分数。

5. SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization

• 版本/原文：2604.02268v2，2026-05-15；全文可访问。
• 问题与方法：训练时给技能、按验证集helpfulness逐步撤出，以GRPO让策略参数承担技能；把技能/历史渲染为视觉上下文（§3）。不是“完全不训练”的上下文学习。
• 实证：表1，PDF p6：3B在ALFWorld87.9、Search-QA40.8，相对视觉AgentOCR78.2/34.2，+9.7/+6.6pp；每步上下文0.38k/0.18k。v2表2增加WebShop：3B成功率66.4。7B Search-QA44.4仍低于SkillRL47.1，不能称所有基线全面胜出。
• 数据/算力：Qwen2.5-VL 3B/7B；最多180训练步、4×H800；从训练集划验证，SkillBank来自SkillRL；检索QA需E5及知识索引（§4.1/附录E）。
• 公开资产：SkillZero官方仓库含训练脚本、skills、视觉渲染与环境代码；依赖vLLM/FlashAttention/VeRL，Search索引另外下载。未核实可直接下载的最终训练checkpoint。
• 审稿判断：视觉与文本骨干/上下文压缩构成混杂，最有说服力的是相同视觉基线AgentOCR。3B SkillRL明确省去cold start和skill evolution，不能把它当完整强对手。每步token较少不等于总计算/延迟较少，视觉编码及训练成本未计入。开放基准预训练污染仍无法由训练/测试划分排除。
• 无付费本地方案：CPU或16GB单卡优先验证SkillBank分组、渲染和推理阶段；完整4×H800 RL训练不属于轻量复现。单卡若缩小batch、rollout及模型甚至改LoRA，应标“算法机制试验”并先测显存，不能预承诺能训或能重现主表。

6. Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning

• 版本/原文：2605.06130v3，2026-05-12；全文可访问。
• 问题与方法：一个策略联合学检索查询/重排、技能执行、轨迹蒸馏；任务回报的EMA趋势给选择信用，当前回报减最高效用给蒸馏信用（§3）。
• 实证：表1，PDF p6：Qwen2.5-7B在ALFWorld97.5、RetroAgent94.9；WebShop成功82.9 vs82.3，仅+0.6pp。附录D的ALFWorld三种子97.5±0.6 vs94.9±0.9，Welch p=.021。表2无库80.9、无选择91.8、无蒸馏92.4。
• 数据/算力：官方环境train/test，库上限5000；8×H800-80GB、BF16 FSDP、vLLM TP4；约100–150步、ALFWorld约30小时（附录C）。
• 公开资产：官方Skill1已含VeRL、环境和训练脚本；环境数据来自ALFWorld/WebShop原项目，README未提供可直接验证的最终checkpoint。
• 审稿判断：除RetroAgent外，多数基线借自其他论文；同骨干不自动等于同harness/预算。附录同时写100–150 steps与“150 epochs”，复现应以脚本澄清。所有检索候选都更新同一回报，蒸馏奖励又是未来价值代理，不能当成无偏因果信用分配。仅两个文本环境，小幅WebShop收益未见同样显著性证明。
• 无付费本地方案：先复现技能效用EMA、选择/蒸馏奖励与库更新的单元测试；CPU可完成。16GB可做7B量化推理与小任务库对照，但不能等价复现8卡全参数RL。训练级比较待有多GPU或作者checkpoint；不调用付费API。

7. From Context to Skills: Can Language Models Learn from Context Skillfully?（Ctx2Skill）

• 版本/原文：2604.27660v4，2026-07-27；全文可访问。
• 问题与方法：从给定长上下文自行出题、作答、判分；Challenger/Reasoner的技能共同演化，Proposer诊断、Generator改写；跨时间回放选兼顾难易探针的技能集（§3）。
• 实证：CL-bench500上下文/1899任务，所有rubric通过才算解出。表1，PDF p7：GPT-4.1 11.1→16.5，GPT-5.1 21.1→25.8，GPT-5.2 18.2→21.4。表3最新轮14.7低于回放选择16.5。
• 数据/算力：每上下文5轮×5题，另有回放；核心实验闭源GPT系列，Judge GPT-5.1；附录B总API成本约$30K，含探索，不是单次使用成本。
• 公开资产：官方仓库、数据/日志、生成技能。代码有OpenAI兼容接口；数据网页预览出现类型转换错误，不等于底层文件不可下载。
• 审稿判断：v4表11换loop judge仍21.2（原21.4），缓解同judge偏好；表12约12500生成题的50/100-gram零重叠，只排除长字面抄袭，不能排除语义重合。技能和测试共享context是任务定义，不应直接指控泄漏。模型/任务生成成本明显超过单次Prompting，需等总预算对照；推理仍增加技能token，“无额外成本”应理解为无需重新演化，不是免费上下文。
• 无付费本地方案：先审计公开日志/技能；用合成规则文档和确定性答案校验器替代付费Judge，小模型完成1–2轮mini-loop，再测冻结未见问题。CPU可做评分与静态技能检查；16GB可做短上下文小模型自博弈。替换GPT/Judge后只能叫机制复现，无法核对原主表的闭源结果。

横向结论与建议（独立分析）

1. 不要把所有“自进化”合并成一种能力：SkillX是库构建/检索，Trace2Skill是技能文件归纳，SkillClaw是跨用户治理，Gene是表示与控制实验，Ctx2Skill是每个上下文的自博弈，SKILL0/Skill1真正改变模型权重。
2. 最常见误读是百分点与相对增长混用、最佳子项代替平均、checkpoint分数代替整题成功率、无权重训练代替无成本、最佳验证记录代替独立测试。
3. 小机器优先：公开资产与离线评分审计 → Trace2Skill的已发布技能对照 → Gene等token表示对照/简化Ctx2Skill → 有硬件再考虑RL。不应从8卡训练论文直接承诺16GB复现。
4. 统一公平协议：先按任务族划训练/验证/最终测试；技能生成只能读训练，选版本只能读验证；锁模型、工具、采样、token和总尝试预算；至少3种子并同时记录全部失败、整题成功率、token、时间、技能体积；最终测试只跑预注册配置。要宣称技能真正迁移，必须另设新模板/新文件/新任务族。
5. 16GB/CPU-only是计划档位，不是已确认用户硬件。小模型Q4权重尺寸只代表下界，还需要KV cache、视觉编码、运行时和并发余量。没有付费API仍有本地计算、电力与存储成本。
6. 当前仅完成文献/资产核验，未报告任何本地跑分。下载/安装依赖、运行生成的工具代码与修改用户机器都应在获准且环境就绪后再进行，使用隔离目录、无网络凭据及限时执行。

版本差异警告

• Trace2Skill v1与v5的DocVQA切分、性能、表格数据排除和硬件说明有实质变化。不要混引用“35B DocVQA下降6.2pp”的旧表与v5新结果。
• Ctx2Skill v4新增judge解耦、字面重叠和错配技能对照；批评必须保留这些补充证据。
• SkillX/Trace2Skill摘要或正文的“即将发布”可能落后于当前已可读仓库。发布状态按2026-10-08核验，代码存在不代表全部数据/checkpoint已公开。

本地证据归档

七篇最新版PDF及pdftotext文本已保存于同目录：skillx、genes、trace2skill、skillclaw、skillzero、skillone、ctx2skill。主结果表已逐张渲染并视觉核验，截图在 skills_figures/；版本、哈希与路径见 skills_source_manifest.json。PDF视觉核对优先于HTML解析结果。

四篇技能演化论文核查

核查时间：2026-10-08。基于完整原始 PDF，必要时交叉检查 arXiv HTML、作者官方代码与基准仓库；未执行第三方代码。页码为 PDF 页码；SAGE 同时给会议页码。下述“作者结果”均为论文报告，非独立复现。“判断/建议”是分析者推断。

1. MUSE-Autoskill

• 原文：arXiv v2；PDF；HTML。2026-07-03 修订；30 页；arXiv 标记 Under Review。必须使用 v2：v1 的 51 任务、87.94% 等数字已被修订。
• 问题与方法（§3，pp.5–9）：将技能作为持久资产管理：ReAct 内部生成 SKILL.md/可选代码与测试、登记与检索、失败后修补、每技能经验记录、长期记忆、两级上下文压缩。无需权重训练。文本技能可以只靠执行与轨迹反馈验证，并非每个技能都包含单测。
• 作者结果（Table 2，p.10；Table 4，p.11）：统一 GPT-5.5 后端，SkillsBench 可被四个运行时共同执行的 75 任务，各跑 5 次。MUSE 无技能 46.95%，人工技能 59.67%，自生成 53.42%；自生成对照 Codex 47.52%、Claude Code 44.27%。自生成覆盖 47/75，未覆盖计零。85.24% 对 81.17% 的“胜过人工技能”仅限这 47 个成功覆盖任务，不能替代全任务结论。独立 SkillLearnBench 的 100 实例各跑一次，MUSE 43/72/48%（无/人工/自生成）。
• 作者结果（Table 5，p.12）：转给 Hermes，MUSE 技能 51.90%，Hermes 无技能 37.24%、人工技能 48.02%；只验证了流入 Hermes 这个目标运行时。
• 作者结果（Table 7，p.14，已视觉核对）：50 个生成包覆盖 47 任务；90% 只有 SKILL.md，8% 带 scripts，8% 带 tests。不能把工程设计中的测试能力写成“全部生成技能通过单测”。
• 作者结果（Appendix F/Table 11，pp.26–27）：另设人类技能、两轮 verifier-feedback 实验；记忆系统关闭/开启第二轮 60/74%，第一轮 48/64%。开启时按任务顺序在实例间积累记忆；该协议不同于主表。判断：支持整个记忆系统在重复任务中的价值，不能单独证明每技能记忆这一组件、也不能与主表拼接比较。
• 成本（Table 6，p.13）：MUSE 覆盖子集的一次技能生成中位数约 364K tokens/156.3 秒；每次复用 499K/434.7 秒，人工技能 638K/755.7 秒。作者估计约三次复用摊平生成 token 成本。未披露可复现实验总美元价或本地 GPU 配置；token 日志跨运行时不完整，不能据此给出统一成本排名。表内 one-time generation 也不应被理解为整个发现与评测项目总成本。
• 公平性/泄漏边界：作者承认在同一任务成功轨迹上蒸馏，再在同一任务重跑可能高估收益（Limitations，p.17）；75/94 任务筛选排除了部分复杂容器任务；仅五次运行。作者人工审计未发现硬编码答案/读取真值，但部分技能保留固定路径、数值范围等特定假设（§4.6）；HVAC 有 80%→20% 退化个案（p.13）。判断：同后端排除了模型差异，但提示、工具、压缩、技能处理仍同时变化，主表不是各模块因果消融；成功覆盖子集选择效应明显。
• 开源核验：全文/摘要未给作者官方实现或生成技能库链接，检索未验证到官方仓库。Akshay2695/muse_autoskill 的 README 是 GPT-4o 工程实现，不能作为论文 GPT-5.5 系统的官方复现证据。SkillsBench 和 SkillLearnBench 基准公开；当前基准版本可能已改变，应锁版本与 75 任务清单。
• 无付费 API 本地复现判断：原数复现受闭源 GPT-5.5 和未验证官方实现阻碍；机制复现可行。用本地开放模型、5–10 个无需外部凭据的文件/表格任务，先比较无技能、成功轨迹蒸馏、蒸馏+记忆。必须另造同分布新实例与变更路径/数值的留出实例，避免只证明“同题再做”。固定模型、预算、提示；同时报告全任务成绩与覆盖率。此为建议方案，未运行。

2. SkillForge

• 原文：arXiv v2；PDF；HTML。2026-04-29 修订；下载 PDF 实为 19 页，摘要 comments 仍写 18 页/3 表；作者标明 SIGIR 2026 Industry Track accepted，关联 DOI 10.1145/3805712.3808466。
• 问题与方法（§2，pp.2–5；App. A/E）：云客服技能缺少业务依据，也缺少从失败定位技能缺陷的闭环。用历史工单挖掘流程/工具/知识，生成技能；四维 Failure Analyzer（知识、工具、澄清、风格）→聚合→Diagnostician 定位文件段落→Optimizer 最小增量修改并版本化。技能只有说明/参考资料与已验证工具 schema，不允许运行任意脚本；生产回答由客服人员审核。
• 作者结果（Table 1，p.5）：账户、域名、DNS、OSS、ECS 五场景，共 1,883 工单/3,737 单轮任务。v2 明确各场景按工单时间排序，四个各约 25% 分片：前三片依次供三轮演化，第四片留出评测，避免同工单轮次跨集合。评分是 LLM-judge 与历史专家答案/最终工单结局的一致性 CR，不是用户问题实际解决率。
• 作者结果（Table 2，p.6）：Domain vs Generic 的 Strict CR 五场景为 64.0/60.5/65.4/62.5/50.6%，Generic 为 58.0/57.9/63.0/59.1/43.4%，平均 +4.3pp；Lenient +3.6pp。每次离线评测重复三次报均值。
• 作者结果（Table 3，p.6）：三轮后，相对各自初始技能，manual/domain/generic 的 Strict CR 分别 +10.99/+9.23/+11.60pp；Lenient +12.21/+8.00/+4.90pp。§3.4（p.7）报告 v3 对 legacy 系统 +13.76pp Strict CR，但未提供该段完整绝对分数、区间或等预算表。
• 公平性判断：Generic creator 是 Claude Code+Claude-Sonnet-4.5，只得到挖掘的工具 schema，被禁止读领域知识与工单；Domain creator 是内部 Qwen3-Max，能读这些资料。因此初始 +4.3pp 混合了知识访问、模型和流程差异，不能视为领域生成算法的干净消融。主体执行用 Qwen3-Max，未固定可复现快照；没有去掉 Analyzer/Diagnostician/Optimizer 的组件消融。虽声明评测工单未用于演化，初始化知识与历史工单挖掘是否同样严格排除全部留出内容，文字尚不够明确，需作者确认，不能直接指控泄漏。
• 评分与外推限制：judge 接收整个工单最终结局作离线判分依据（App. D，pp.14–15）；允许合理替代方案，但还把风格、转人工、揭示 AI 身份等产品规则纳入评价。作者仅称与两专家共识 >90% 一致，未报样本数/混淆矩阵；不能当通用技术正确性指标。§3.3.2 承认知识失败在第一轮后平台化、历史专家回答矛盾及隐性经验缺失，不能推论无限自我提升。没有显著性区间。
• 开源/成本核验：全文、摘要和针对作者/阿里域的检索未验证到官方代码、脱敏工单或初始/演化技能集；不要把其他同名 SkillForge 仓库算作本论文开源。没有 token、美元、延迟或 GPU 总预算；内部 Qwen3-Max 与私有业务工具不可作为免费可复制依赖。
• 无付费 API 本地复现判断：只能方法级迁移，不能重现论文数值。以公开软件项目 FAQ/issue 构造可分享的支持问答，用本地模型承担 Creator/四维 Analyzer/Diagnostician/Optimizer；以固定文档快照、模拟只读工具和人工小样本验证评分。按工单/时间切分，在初始化前完成划分，另设“相同模型+相同领域资料”的 generic baseline，控制预算。重点验证三阶段诊断是否优于一次直接反思改写。

3. WikiSkill

• 原文：arXiv v1；PDF；HTML。2026-08-27；28 页，Google Research/Virginia Tech；未核验到正式录用记录。
• 方法（§3，pp.4–6）：把不可改写的执行轨迹、持续演化 wiki、可执行技能分成三层。Maintainer 汇总成功/失败模式；Proposer 每轮提出一个新增或修改技能的候选；验证集严格提升才接受，失败仅回滚技能，wiki 连失败提案/差分也保留。任务执行器只能得到技能，不能读 wiki；全部技能直接放进 prompt，实验不测试检索路由。附录给算法与角色 prompt。
• 作者结果（Table 1，p.8，已视觉核对）：五基准、五模型；每种方法完整演化重复三次，paired bootstrap 1,000 次。五基准等权平均，无技能→WikiSkill：Qwen3.5-4B 26.2→38.5%，9B 29.9→47.4%，Qwen3.6-27B 39.4→63.3%，Gemma4-31B 41.3→54.9%，Gemini3.5-Flash 49.5→68.1%。各模型的最佳其他技能演化 baseline 平均分分别 35.2/42.3/53.3/49.1/56.1%。这些是百分点提升，不是相对百分比。
• 作者结果（Table 3，p.11）：Gemini 四基准均值，Proposer 可读 wiki、执行器不读为 63.7%；无 wiki 与 Maintainer 为 48.7%；执行器也能读 wiki 则 60.9%。支持“将经验编译成技能”的隔离设计，但移除 wiki 时还同时移除 Maintainer，不是单一存储格式消融。
• 正反迁移（Table 2，p.10）：27B 技能给 9B 的表格任务 50.5%，高于 9B 自己技能 33.6%/无技能24.3%；但 4B 技能给 Gemini 的表格成绩 50.5→18.1%，表明模型专用补丁可有害。4B 本身 OfficeQA 30.2→28.5% 也退化；不能写“所有任务都提升”。
• 数据协议（Table 6/App. B，p.20）：train/val/test 数量：LiveMath 35/18/124；SealQA 16/10/85；SpreadsheetBench 80/40/280；OfficeQA 50/24/172；ALFWorld 39/18/134。OfficeQA 提供预解析 oracle 参考页，故不是从原始全集独立检索的完整难度；SealQA 使用 Google Search API（2026-07 数据）。
• 公平性/泄漏判断：有不交叉 train/val/test，强于同题蒸馏再测；但反复使用 10–40 条的小验证集有选择过拟合/噪声，作者已承认。全文未给足以独立确认所有基准近重复清理的材料；不能据此宣布完全无污染。优化器调用未等成本；4B/9B 属于 Qwen3.5，27B 为 Qwen3.6，“规模趋势”同时含模型代际差异。推理能否访问 wiki 的消融与主要结果协议需保持一致。
• 成本与局限（App. C/D，pp.21–23）：每轮 Maintainer 最多采样 8 条轨迹（5 失败/3 成功），各截 15K 字符；Proposer 约 10–20 步，full-batch 优化器每轮 11–21 次调用。所谓 O(1) 仅针对优化器调用数，不包括执行所有训练/验证任务的调用或 token 总成本。未披露总 GPU 小时、实测总 token/费用；开放模型用 vLLM。有限迭代（表5按0–7轮统计），无长期 wiki 剪枝，未验证几百步/数小时任务。
• 开源核验：全文与作者/Google 域检索未验证到作者官方代码、技能快照或精确 split 清单；kenhuangus/wikiskill 与 poweredbyGEN/wikiskill 明确自称独立实现，不能冒充官方。公开 ALFWorld 可作为本地任务环境。
• 无付费 API 本地复现判断：四篇中适合优先做轻量机制实验的一篇。用本地4B/9B、数学客观判分或少量离线表格任务，不选需要 Google Search 的 SealQA；按三个集合隔离，比较无技能/无wiki的技能改写/持久wiki/每轮清空wiki，并记录失败提案保留是否有帮助。精确权重、量化、上下文上限须依硬件验证；不承诺普通机器可完整重跑。缺官方实现时标注“独立机制复现”。

4. SAGE: Reinforcement Learning for Self-Improving Agent with Skill Library

• 原文：ACL 2026 正式页面；PDF。ACL 2026 long paper，pp.1529–1550（PDF 22页）；对应早期 arXiv 2512.17102，不应误列成与2026首发方法同一时间。
• 方法（§3，PDF pp.3–5/会议1531–1533）：技能是生成后立刻执行并保存的 Python 函数；两任务 Sequential Rollout，让前题产生的函数供后题复用。基于 GRPO，加上同时鼓励前题生成和后题成功调用的 skill-integrated reward；完整参数 RL，前置专家轨迹 SFT。区别于前三篇，不是纯推理时文本记忆。
• 作者结果（Table 1，PDF p.7/1535）：Qwen2.5-32B-Instruct。Test-Normal：GRPO TGC/SGC=69.2/51.8%，SAGE=72.0/60.7%；步骤16.4→12.1，输出tokens3613→1475。8.9 是 SGC 的百分点；26%/59% 是相对该 GRPO 的下降。Test-Challenge TGC/SGC=40.7/26.9→50.1/32.4%。三次评测同一训练后模型，并非三次独立RL训练。
• 关键消融（Tables 2/5/7，PDF pp.8–9）：SAGE有/无技能 SGC60.7/54.8%，TGC72.0/71.4%；技能主要改善连续场景全部完成及效率。只用 outcome reward SGC55.4，对照完整60.7。控制SFT后，SFT+GRPO TGC66.1/SGC51.2、tokens1284；SAGE更准，但tokens1475反而更多。因此“更准且少59%token”不适用于所有公平基线。
• 作者对检索/任务链的检验（Tables 3/4，PDF pp.8–9）：默认同场景标签检索理想化；N-gram检索SGC60.1接近60.7；相似度构造任务链SGC62.5接近/略高默认60.7。三题链比两题链更差（Table8，PDF p.14：SGC54.8 vs60.7），不能认定链越长越好。
• 数据与外推：AppWorld模拟9个app/457 API，750任务：Train105、Dev60、TestNormal168、TestChallenge417；TestChallenge含训练未见app API。默认同一场景的三道测试题顺序做，前题技能供后题复用，这是有意的在线适应协议，不是逐题冷启动独立泛化。技能无报错即保存不代表语义正确。作者承认只测AppWorld，跨环境迁移未知（Limitations，PDF p.10/1538）。
• 算力/成本（App. D–F，PDF pp.14–16/1542–1544）：论文训练采用4个8×H100节点，SFT亦32×H100；全参数训练。Claude3.5-Sonnet-V2拒绝采样产生1129条有效专家例子；上下文28048、每步输出最多1500、最多40交互步；SAGE每训练步384 rollouts，最佳checkpoint第75步。未报总GPU小时/美元。
• 代码核验：amazon-science/SAGE 为论文直接链接的官方实现；2026-07-10已归档只读，CC BY-NC 4.0。README当前要求RL至少2个8×H100节点，SFT至少4个8×H100，vLLM评估1个8×A100节点；这是运行说明最低配置，别与论文实际32×H100训练混淆。修改AppWorld/LLaMA-Factory的补丁及锁定commit可见；README第二个复制补丁示例似重复指向appworld，应先静态核对。未在README验证到训练好checkpoint或专家数据下载链接；不能直接说“权重已开源”。AppWorld官方仓库 数据/模拟环境公开。
• 无付费API本地复现判断：不是普通本地首选。完全重现需要大规模训练及论文闭源教师数据；没有已验证checkpoint/数据交付，不能许诺零API复现原分数。可在自建小型离线函数环境和小开放模型上仅验证两任务rollout+reward机制，或用自蒸馏/RL warm-up替代教师（Table6 SGC分别53.6/55.3 vs专家SFT60.7）；这些改变必须标为降配变体，不是原实验复现。

综合判断（分析者）

四篇共同支持“经验需经过结构化、评测、保留/回滚才可能成为有用技能”，不支持“自动生成技能必然提高能力”。机制级本地学习顺序建议 WikiSkill → MUSE 精简生命周期 → SkillForge 同资料对照 → SAGE 两任务RL小实验。若目标是精确复现论文结论，SAGE代码证据最清楚但算力最大；SkillForge私有数据阻碍最大；MUSE与WikiSkill要先承认官方实现/精确产物未验证。任何端到端复现都应额外报告生成成本、成功覆盖率、全任务分母、新实例泛化和负迁移。

未确认硬件时的降配建议（分析者估算，不是论文配置）

• CPU-only/16GB 系统内存：先做一个离线、短上下文的机制演示；选择机器能运行的1–4B量化开放模型，三个角色顺序复用同一个模型进程，避免并发、网络搜索和大容器。先以10余个合成客观题/小CSV变换检查原始轨迹→知识→技能→验证回滚是否跑通，然后才扩大数据。系统内存不等于显存，不能承诺论文的4B/9B整套长上下文评测能在16GB下顺畅运行。
• 原始权重容量的理论下界：4B参数×4bit约2GB，9B约4.5GB；这不含量化元数据、未量化层、KV缓存、运行时、操作系统、文件与容器。故仅看模型文件大小不能判定可运行性，需在取得具体CPU/GPU/RAM及本地服务状态后测峰值内存和每秒tokens。
• 首轮只核对无技能/持久wiki/清空wiki三组，固定任务、随机种子和推理预算；准确率无提升也应保留失败报告。CPU推理时间没有实测，不提供“几小时跑完”的承诺。SAGE完整RL不列入此档位；即使能做小模型强化学习，也已是新的降配实验。

提示优化、文本反馈与多智能体设计：原论文核查

核查日期：2026-10-08。范围为 5 项独立论文工作与 1 篇官方工程案例。TextGrad 的 arXiv 预印本与 Nature 正式发表是同一工作，不应重复计数。本文区分论文实测、研究者解释、我们建议的缩小实验；本次没有调用付费模型、执行第三方仓库代码或运行小模型实验。

共同概念：究竟在优化什么

• ProTeGi：优化某个任务的离散提示文字。
• TextGrad：在计算图中传播语言反馈，优化提示、答案、代码或其他文本化变量。
• FedTextGrad：把本地提示优化与跨客户端的提示聚合连接起来。
• SPRIG：优化跨任务共享的系统提示；其搜索代理还需训练奖励模型。
• MASS：交替优化代理提示和系统拓扑。
• Tax AI：用专家修正和生产追踪形成评测，再推动有边界的工程修改。

前三项的“文本梯度”不是对模型权重求导，也不意味着具有真实梯度的链式法则、下降保证或收敛定理。变量更新是模型根据语言批评生成新文本。SPRIG 的奖励模型训练则确实包含数值参数优化，不能把整篇工作归为“完全无需训练”。这些工作回答的层级不同，分数不宜横向排出统一排行榜。

1. ProTeGi / Automatic Prompt Optimization with “Gradient Descent” and Beam Search

来源与版本

• arXiv v2 全文，2023-10-19，12 页；v1 为 2023-05-04。正式发表于 EMNLP 2023。
• 官方代码与数据。论文 v2 使用 ProTeGi 名称，摘要页部分文字仍称 APO。
• 阅读覆盖：§2 算法、§3 全部实验、附录提示模板、定性失败例和方差实验。下列页码按 PDF 页计。

核心方法与实测锚点

算法把一批错例交给 LLM，生成对当前提示的批评，再改写提示；释义扩增候选，beam search 保留多条路线，bandit 分配评测预算。§3.2（p.5）：主实验为 gpt-3.5-turbo，4 个分类任务，每任务 150 条测试样本、3 次试验，指标为二分类 F1。表1（p.6）中 Jailbreak 的 beam / greedy / 不迭代为 0.85 / 0.82 / 0.80；Liar 为 0.67 / 0.63 / 0.63。表2（p.7），每提示 50 次查询时 Jailbreak 的 UCB / uniform 为 0.85 / 0.77。主要参照包括 MC/APE 式释义搜索、短语编辑 RL、AutoGPT。图4提示多任务约第3步后收益停止或回落。原文

分析：成立的结论与不能外推的结论

最有价值的对照是同预算搜索组件消融：语言反馈负责提出方向，beam 与 bandit 负责避免过早押注；它不是“批评一句就必然变好”。摘要的最高 31% 是特定实验中的最大改善描述，不能写成所有任务的平均提升，也不能直接解释成 31 个百分点。

主文写测试分数对最终 beam 做 maxpooling（§3.2）。独立复现应核查具体选择代码是否利用测试集择优，严格使用验证集选唯一提示，再一次性报告锁定测试集结果。论文附录表5另标 Accuracy，而主文称通篇 F1，因此不能将该附录数字无说明混进 F1 表。定性例还显示：错误反馈可能把 jailbreak 检测改成更窄的另一任务，或者产生标签语义翻转。应对新提示做任务定义与输出标签一致性检查。

可复现性与最小真实本地实验（建议，未执行）

可复现性：中等。算法与模板公开，但原版闭源 API、数据抽样和模型快照影响数值一致性。替换本地模型属于方法缩小复现，而非原成绩复现。

建议实验：用同一个固定的 3B–8B 指令模型分别承担分类、批评和改写，选择公开二分类数据；至少 64 条训练、32 条验证、100 条独立测试。做 3 轮，beam=2，每个父候选生成2条批评、每条1次改写，再加入等量释义候选。保留至少原提示、等预算随机释义、完整反馈搜索三个条件；分类温度固定，搜索随机种子至少3个。报告 F1、混淆矩阵、tokens、所有候选与选择日志。若只用人工写好的“梯度”或预先设定得分的假分类器，就只是机制演示。

2. TextGrad / Optimizing generative AI by backpropagating language model feedback

来源与阅读边界

• arXiv v1 全文：2024-06-11，41 页，题名 TextGrad: Automatic “Differentiation” via Text。
• Nature 正式记录：2025-03-19，Nature 639，609–616。
• Nature 官方补充材料：42 个 PDF 页，含 Supplementary Notes 1–10 与最终版表格。
• 代码，正式文章指定 v0.1.6 归档。
• 已读预印本方法、实验、附录，核对正式版补充方法/表1–3及公开主图4。Nature 主文入口为订阅预览，因此不能声称已逐页读取付费正式主文；结论以可取得的全文和明确标注版本的材料为准。

核心方法与实测锚点

TextGrad 保存变量的值、角色、前驱与语言反馈，沿计算图反向分配批评，再由文本优化器改写变量。预印本表2（p.10）：GPT-4o 的 GPQA Diamond accuracy 从 CoT 51.0% 到55.0%；这是测试时答案修订，非权重训练。正式补充表1（印刷p.17 / PDF p.18）：GPT-3.5 的 GSM8K 为 CoT 72.9%、OPRO 76.8%、DSPy 81.1%、TextGrad 指令加3示例82.4%。正式主图4e：ScienceQA-IMG，Chameleon 77.5%，TextGrad 三次优化85.2%。预印本；正式补表；正式图4

分析：框架贡献和证据边界

它把以往逐例反思推广成可组合的计算图接口。关键是给上游变量“带有下游上下文的反馈”，不只是叫模型再回答一次。对最终答案的测试时优化与训练集上的提示优化是两种不同的评测协议：前者每题都要额外成本，后者是一次优化后复用。

注意四个边界：第一，强模型提供的反馈是重要资源，不能把优化后的弱模型分数归功于弱模型独立自我学习。第二，自评也可能产生错误反馈，必须单列“原来答对却改错”的比例。第三，分子 docking/QED 与五个放疗计划上的数值指标不能证明药效、临床安全或治疗获益。第四，更多推理调用与改进算法应分开比较，至少有同 tokens 的多次采样/投票基线。

版本核查：预印本表1（p.8）的代码完成率为 zero-shot 0.26、Reflexion 0.31±0.012、TextGrad 0.36±0.018，但相邻正文写 zero-shot 0.23；其“20%相对提高”也不宜用四舍五入表值机械重述。报告这些数据时标明内文不一致。正式补充材料把 BBH 切分记为51/100/99，预印本记为50/100/100；复现实验必须固定所依据的版本。

可复现性与最小真实本地实验（建议，未执行）

可复现性：提示优化较高、整个跨领域结果中等。完整数值复现需要指定 API 快照、示例/题目索引、验证回滚与最终选择规则；代码任务还依赖隐藏测试集。正式补表2采用70B开放权重模型作反馈器，不是“3B独立优化已证实”。正式补表3也有迁移退化，例如 Llama-3.1-8B 的排序分数46.5%→45.5%。

最小实验从 object counting 入手：按所选版本固定训练/验证/测试切分，使用本地固定 7B–8B 指令模型作 forward、critic、optimizer，batch=3，运行12次候选更新，每轮验证决定是否接受；保存每条答案、反馈、提示和回滚。用确定性的最终整数解析评分，防止“LLM评委替LLM打分”掩盖误差。除原始提示外，加入“直接改写、不反传上下文”和同预算随机提示两个基线。

若要真正验证计算图贡献，再加一个两节点流水线，并比较只改最终答案与同时更新两个上游变量。只实现单节点反思，可称 TextGrad 风格小规模实验，不能覆盖任意图自动反传的主张。1B–3B 也能用于真实探索，但失败不能证明框架普遍无效，成功也不能替代70B反馈器的原设定。

3. FedTextGrad / Can Textual Gradient Work in Federated Learning?

来源与版本

• arXiv v1 全文，2025-02-27，22 页；论文页和首页均注明 ICLR 2025。
• 官方实现。已读正文§1–6与附录A–H，尤其异构、小模型迁移、动态聚合及surprisal分析。

核心方法与实测锚点

客户端用 TextGrad 更新本地提示；服务器收集提示，拼接、摘要或使用 UID 指引摘要，再广播。默认 Llama-3.1-8B、3客户端、batch=3、本地3步。§4.2（p.8）：多步算术的拼接/摘要 accuracy 为0.69/0.55。异构附录表4（p.21）：batch=3时摘要0.78(0.02)，UID摘要0.79(0.02)。表3（p.20）：11B优化提示迁移到3B，计数0.66→0.69，算术0.51→0.66，GSM8K 0.80→0.72。原文

分析：真正难点是合并什么

上传的是优化后的提示，不是数学意义的梯度向量；“联邦平均”在这里没有自然的加权平均运算。拼接可能保留细节却膨胀上下文，摘要可能删除对少数客户端重要的条件，因此聚合质量是独立于本地优化质量的第二层问题。

UID 的小幅提升值得作为假说研究，但不宜写成已经证明信息密度是因果机制。附录H给出的平均/最大 surprisal 接近，不能直接证明完整保留客户端信息，更不能替代任务级反事实消融。要用相同长度预算比较摘要、UID摘要与随机同义改写，避免把“写得更长/更明确”误当成特定理论的证据。

隐私是明显边界：不上传原始数据不等于隐私安全。提示可能复制训练例或罕见属性，使用远端反馈器还可能直接把本地样本交给 API。论文将隐私和恶意客户端鲁棒性列为后续方向；没有差分隐私预算、隐私攻击成功率或真实端侧部署证据。复杂推理附表2（p.20）也显示集中式优于联邦式的多个任务，因此不能说联邦化通常优于集中优化。

可复现性与最小真实本地实验（建议，未执行）

可复现性：中等。官方仓库提供集中、同构、异构入口及本地服务说明，但必须追查确切划分、全局轮数、随机种子、括号误差定义及服务器选择机制，不能从图中猜精确值。

建议同一台机器模拟3个逻辑客户端，各有独立训练/验证数据，所有模型调用都走本地固定7B–8B端点；客户端不交换题目，只输出实际生成的提示。至少比较本地独立优化、集中 TextGrad、拼接、普通摘要、UID摘要；控制每客户端样本量、总优化调用和聚合长度预算。先做同任务随机划分，再按任务或输入复杂度做 non-IID 划分。记录全局和每客户端 accuracy、最差客户端分数、提示长度、通信字节和更新轨迹，至少3个种子。

这可以是真实的“小规模联邦提示优化方法实验”，但它仍是单机模拟，不能称真实跨设备联邦部署。用手写字符串替代模型的本地反馈、用人工摘要替代服务器模型，或者只演示把三个提示拼起来，均只属于流程演示。

4. SPRIG / Improving Large Language Model Performance by System Prompt Optimization

来源与版本

• 用户给定 OpenReview 记录，ICLR 2026 Poster。
• ICLR 2026 正式全文，24页；arXiv v3为2026-04-04。v1/v2 是2024年旧稿，不能不标版本沿用旧结果。
• 论文指向的官方仓库。阅读覆盖方法、泛化、隐状态分析和附录全部实验设置；已目视核验附录表2。

核心方法与实测锚点

SPRIG用遗传编辑搜索跨任务系统提示，并训练 ModernBERT 奖励模型给候选排序；真实基准评分用于更新该代理。主模型为 Llama-3.1-8B、Mistral-Nemo-12B、Qwen2.5-7B，42个优化域任务与5个多语言外域基准。附录表2（p.18）的混合平均分：原提示0.5232、CoT 0.5972、SPRIG 0.6287、ProTeGi 0.6541、组合0.6714。组合相对ProTeGi的配对检验p=0.053。附录A.4（p.20）报告每模型约4张L40S 48GB、20小时优化。正式全文

分析：可复用系统提示不等于万能提示

研究设计最有启发的是把系统级与任务级指令分开，并验证先优化系统、再条件化优化任务的顺序。这里的平均分混合了accuracy、F1及开放问答评分，不能直接改称“总体准确率”。0.5232→0.6287的绝对增量是0.1055；它不是10.55%的相对增量。

组合的点估计最高，但p=0.053未跨过常用0.05门槛，不能宣称组合对task-only有明确统计显著提升。§5还说明跨模型收益会缩小；单独system/task提示迁移到更大模型的效果不显著。论文的泛化结论应理解为有限任务/模型集合上的证据，不是任意模型的无条件可迁移性。

PCA图可以说明不同提示对应不同隐藏状态分布，却不能单凭二维投影证明“系统提示移动到全局高性能区域，任务提示在局部优化”的因果机制。组件库、候选长度、评价任务及奖励模型可能共同决定结果。对安全、角色、情绪等提示还需另做行为与偏见测试，不能只优化一个平均分。

可复现性与最小真实本地实验（建议，未执行）

可复现性：资料较充足，资源门槛高。完整版不只是套遗传算法：它有9000组件、10000已评分提示、100000偏好对、奖励模型和25轮搜索。照原规模跑，不能称“轻量本地实验”。

最小迁移实验：无需重跑搜索，固定本地7B–8B模型，对同一套未见测试题比较空系统提示、CoT和作者公布的系统提示，并按至少4种任务分别报告差异。这验证提示转移，不验证SPRIG优化器。

最小优化器实验：用50–100个合法组件、种群20–50、5轮、3–4任务，每任务保留独立测试；真实小模型生成并评分，加入等预算随机搜索，保持相同提示长度预算。如果省略奖励模型而全部实测，应明确称“SPRIG遗传搜索简化变体”。若称缩小的完整SPRIG，至少要训练/更新一个真实的成对排序模型，并在未见候选上报告Spearman/NDCG，证明它比随机排序有用。只排列人工打分的模板属于机制演示。

5. MASS / Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies

来源与版本

• arXiv v2 全文，2026-01-31，ICLR 2026；v1为2025-02-04。
• 已读§2设计空间、§3算法、§4实验、附录限制、数据划分、成本、模型/优化器消融和提示模板；已目视核验主表1。
• 此次没有确认到论文作者维护的官方MASS实现入口。不能把同名第三方项目冒充论文代码；算法1与附录模板可用于独立实现。

核心方法与实测锚点

三阶段为局部提示优化、拓扑搜索、全系统提示再优化；实现使用MIPRO联合搜索指令与示例。主表1（p.8）：Gemini-1.5-Pro的8任务混合平均分，MASS 78.79、Debate 70.26、ADAS 69.72；MATH accuracy为84.67±0.47。Flash 的MASS平均74.30。开放权重补表5（p.21）：Mistral-Nemo-12B四任务平均55.9，CoT40.4、Debate46.9。主结果三次评估，测试集为原基准的抽样子集。原文

分析：先修代理，再决定怎么组队

设计贡献是承认弱提示会在串联中放大错误，因此先把单个模块做好，再搜索如何组装，最后修复模块间的交互。它不是任意代理图的无限搜索：存在预定义模块和编排顺序，拓扑搜索范围与预算很大程度决定最终结果。

平均分混合accuracy、F1和pass@1，必须保留指标名称与任务数。LiveCodeBench在这里是“测试输出预测”，不能冒称通用代码生成成绩。AFlow*还使用不同优化器模型，部分任务超时，所以该行不能解释成完全受控的所有方法排名。Flash的MuSiQue中MASS也低于ADAS，不能写“各任务全面最优”。

成本应同时算离线搜索和在线推理。表7（p.22）在其当时定价下列MASS搜索24M输入+11M输出tokens；这些是历史实验成本，不能用于今天的购买报价。相同代理数量并不代表相同tokens，建议重做严格token匹配。另有排版/统计一致性问题：附表6的最终逐任务分数与主表1相同，但其平均列写78.40，主表为78.79；根据该行八个数重算约78.79，应注明差异，不复制错误平均。

可复现性与最小真实本地实验（建议，未执行）

可复现性：中等偏低。详细算法和模板有助独立实现，但本次未确认官方代码，加上闭源主模型与小测试子集，原始成绩复核仍有限。

建议一个固定7B–12B本地模型顺序模拟多角色，无需每代理各占一份GPU权重。选择可用确定性评分的算术或短上下文问答；训练/验证/测试分离，优化单模型提示，再在单代理、3采样聚合、生成-批评-修订这3类拓扑中搜索，最后对最佳拓扑重做联合提示优化。至少做“只优化提示”“只优化拓扑”“完整三阶段”消融，锁定总候选/推理token预算，报告每阶段测试分数、tokens及延迟。若没有真实模型生成的模块输出和真实验证筛选，仅用固定字符串模拟多代理交互，就不构成MASS实验。删去阶段或用手工挑拓扑，要明确叫MASS-inspired。

6. 官方实践：用 Codex 构建可自我改进的税务智能体（非论文）

来源与可核查内容

OpenAI 官方工程文章，2026-05-27，作者包括Thrive Holdings与OpenAI团队。全文已读；文章不含论文式实验协议、随机化对照或可下载生产数据。

系统将专家字段修正、带来源的生产追踪与定向/回归评测连接，再由Codex提出候选修复PR，工程师负责上线、从业者审批申报。文章报告试点处理7000份申报、准备时间约减三分之一、吞吐量约增50%；达到75%正确字段完成率的申报占比六周从约25%升至86%。租赁场景达到90% precision/recall约需六周且有大量工程监督。官方原文

分析与可迁移的工程要求

这里的“自我改进”是评测驱动的软件迭代闭环。文章没有证明模型自己在后台持续更新权重，也没有证明无人监管报税。其“高达97%准确率”、字段完成阈值、特定场景precision/recall是不同口径，不能拼成统一成功率。客户/文档难度会随时间变化，且缺少对照、置信区间和完整评分定义，改善幅度应标为作者报告而非可独立复核的因果收益。

最值得迁移的是先固定证据链：源材料→提取字段及引用→映射结果→专家修改→修复评测→回归门禁。修复评分器也可能让分数表面变好，所以评分规则变更必须单独审计，测试证据应只读。

最小本地实验（建议，未执行）：用完全合成的发票/租赁字段材料，设计一类真实提取错误；本地小模型真实提取，人工提供一次明确修正，再把它变成锁定测试，尝试有范围的提示/映射规则修改，并在未见合成样本上回归。保存before/after、字段级precision/recall、来源定位与错误案例。它能验证工作流，不能复现真实税务产品97%的表现，更不应连接真实报税账号或使用私人税务数据。

统一实验门槛与优先级

以下为我们提出的研究计划，不是论文已证实的硬件承诺。

1. 最先做 TextGrad/ProTeGi 的单模型提示优化：任务小、评分可确定，最容易区分真实改进和文字表演。
2. 再做 FedTextGrad 的同机多客户端模拟：增加的核心变量是数据分布和聚合方法。
3. MASS 在单模型基础上增加三类流程及阶段消融，避免先堆十几个代理。
4. SPRIG先验证现成系统提示迁移，再决定是否承担奖励模型与搜索预算。
5. Tax AI仅复现合成数据下的证据、修正、回归闭环，不用真实性能数字包装演示。

共同最低记录：模型完整标识/权重哈希、量化与推理后端版本、提示模板、数据索引和哈希、随机种子、原始输出、候选接受/拒绝、调用次数、输入输出tokens、总时长、峰值内存、锁定测试分数及失败例。至少3个种子或配对bootstrap置信区间；小样本点估计可以报告，但不必强行宣称显著。

资源估算：7B权重仅4-bit理论存储约3.5GB，FP16约14GB；运行还需KV cache、临时张量和框架开销，不能把权重大小当成显存需求。以短上下文单并发量化推理设计，12–16GB级显存更有余量，具体必须实际测量。3B可以降低门槛，但批评/改写能力可能成为瓶颈。完全本地实验应同时让forward与feedback本地运行，不能暗中调用大模型API再标“小模型独立自改进”。

“可运行骨架”只证明代码路径能跑；“机制演示”证明流程可观察；“小规模方法实验”要求真实模型、独立测试和对照；“论文复现”还要求与原文模型、数据、预算和统计协议可比。报告应始终写清属于哪一层。

训练、迁移预测与模型路由：8篇一手论文核验

核验日期2026-10-08。已取得8篇全文：6个指定arXiv、MeRF对应arXiv:2506.18485v3、CoPE对应PMLR正式版。OpenReview的forum/PDF/API本次返回验证页或403，改用作者arXiv版本及正式会议出版物；没有依赖视频/二手解读的实验数字。仅阅读，没有运行第三方代码或产生API费用。

“复现建议”均为待硬件、已有环境、数据许可和执行授权确认后的分级方案；没有假定用户Windows已安装GPU、WSL、CUDA或大模型。机制演示、发布工件离线重放、缩小真实实验、完整论文结果复现是四种不同证据级别。

一览

| 论文 | 真正改变/预测的对象 | 关键条件 | 无付费API的起步点 | |---|---|---|---| | CoEvolve | RL训练分布与策略共同更新 | 可执行环境、奖励、强探索LLM | 先用已有轨迹核验三类弱点检测和验证器 | | EvolveR | 原则记忆+GRPO参数更新 | 检索库、奖励、冷启动SFT | 现成3B权重/记忆检索消融，免重新训练 | | TuneAhead | 预测完整微调后性能 | 历史完整训练元数据+100步探测 | 有发布特征表时CPU重做回归；不能零数据预测 | | Skill0.5 | 通用技能内化、专项技能调用 | 技能库、分层rollout、GRPO/JSD | 审计技能/任务划分；本地权重推理需另核可用性 | | MeRF | 训练prompt显式描述奖励规则 | 可验证奖励、真实RL更新 | 规则验证器/提示对照；后者不等于训练收益复现 | | STS | 预测跨域性能变化幅度 | 白盒激活、匹配SAE、示例 | 现成模型+SAE可做无新SFT预测；真值验证仍需训练 | | CoPE | 计划/执行的协调加权优化 | 多rollout、MCTS、LoRA DPO/KTO | 对固定轨迹复算协调分数 | | ACRouter | 跨模型路由状态在线更新 | 结果反馈、记忆、已训练小路由器 | 官方ID/OOD176离线重放，无需API或实时LLM |

1. CoEvolve

文献：Shidong Yang、Ziyu Ma、Tongwen Huang、Yiming Hu、Yong Wang、Xiangxiang Chu；CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution；2026-04-17，arXiv:2604.15840v1，ACL2026。 论文 / 全文

问题与方法。 固定任务集不能跟上策略的弱点变化。CoEvolve使用GRPO训练，并从rollout提取三种信号：曾成功现失败的遗忘；同一策略下成功/失败并存的边界；低频但出现过的稀有动作模式。LLM诊断失败后重新探索环境，把动作-观察片段抽象成新任务/解法，经过环境执行验证再加入训练。新颖点在“反馈→重新探索→验证任务→更新数据”，并非一种新的GRPO梯度公式。GRPO仍使用组内优势、裁剪importance ratio和KL惩罚。§3，pp.3–5

关键证据。

• 表1的五项指标均值（AppWorld TestN/TestC各TGC、SGC，加BFCL-v3 multi-turn）分别：Qwen2.5-7B 3.08→22.51（+19.43pp），Qwen3-4B 11.72→27.30（+15.58pp），Qwen3-30B-A3B 22.64→40.78（+18.14pp）。这不是相对提高19.43%，也不是一个统一任务成功率。表1，p.5
• 更直接的GRPO控制：7B在AppWorld TestN TGC为26.78→27.98、BFCL56.00→61.50；4B为28.57→35.71、58.00→63.00；30B-A3B为48.81→54.76、64.00→67.00。表2，p.6
• 去掉环境验证：4B的BFCL63.00→58.50、AppWorld35.71→27.38；同样Qwen3-4B作探索器，Synthesis Only53.00→CoEvolve56.50，强Qwen-Max探索器则58.00→63.00。表11–12，p.14

资源与复现。 veRL；7B/4B用8×H20，30B-A3B用16×H20；100个初始合成任务，120训练步，每10步补数据，GRPO组8、batch32、lr1e-6；探索LLM为Qwen3-Max。附录A.2，pp.12–13。论文代码链接本次重定向到StoneHanaMori/CoEvolve，当前根目录只有README、LICENSE、docs/img，不能说完整训练代码已可运行。

判断与边界。 相对zero-shot的巨额涨分主要还包含普通RL训练收益，算法增量应看表2；“没有人工示范”仍依赖环境任务结构、可验证奖励和强模型。BFCL在validation集评测，合成任务相似度分析也用了validation参照，后续复现应新增独立封存测试集并做任务模板去重。先从真实固定轨迹复现信号检测/任务可执行性，再考虑小模型动态数据对照；不要把仅生成新prompt的演示叫完整共同进化。

2. EvolveR

文献：Rong Wu等11位作者；EvolveR: Self-Evolving LLM Agents through an Experience-Driven Lifecycle；首发2025-10-17，核验v3（2026-05-16），ICML2026。论文 / 全文 / 官方代码，当前KnowledgeXLab

方法。 离线冻结策略，把成功/失败轨迹自蒸馏为自然语言原则+结构化三元组；相似检索后再作语义去重、合并、评分和淘汰。原则效用s(p)=(成功使用数+1)/(使用数+2)。在线动作包含检索经验、检索知识和回答；GRPO再更新策略。奖励为EM正确性+0.1×格式/思考/检索形状奖励。其“离线自蒸馏”主要生成外部原则文本，不是该阶段训练一个学生网络。§3，pp.3–6

证据。 NQ/HotpotQA训练域；TriviaQA、PopQA、2Wiki、Musique、Bamboogle评估泛化；主指标Exact Match。

• Qwen2.5-3B七项均值：Search-R1-instruct .325，EvolveR .382；7B为.385→.417。表1，p.8
• 3B保持同样训练、仅测试去掉经验检索：.382→.340；只原则+检索而不RL为.357；完整闭环.382。表3–4，p.10
• 0.5B用GPT-4o-mini教师蒸馏优于自蒸馏（.220 vs .150）；3B自蒸馏略高于教师（.382 vs .370）。不能概括成“自蒸馏总比强教师好”。表2，p.9

资源。 BGE-M3向量化，top3知识与top3原则，8192输入/1024输出；3B完整生命周期约39.4小时、8×A100-80GB。官方README提供3B模型、数据和本地Wikipedia检索路线。附录A.1，p.16、仓库

判断与最小复现。 适合检验“参数学习+外部经验互补”，但无检索后下降也说明知识未完全内化。七个QA集不等于开放环境的长期终身学习；原则成功统计是使用相关性而非因果贡献，易受检索偏好和难度混杂影响。免付费路线可从已发布3B模型、固定本地小知识库和封存测试题开始，比较原始轨迹记忆/去重原则/无记忆；这验证推理部分，不能替代重训GRPO所得增益。应确保原则库仅来自训练题，不能包含评测题答案。

3. TuneAhead

文献：Yuxiang Luo等9位作者；TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins；2026-06-16，v1，ICML2026 poster。论文 / 全文

方法。 把候选“数据集×LoRA超参数”编码成14个静态+10个动态特征，后者来自标准化100步训练探测；LightGBM拟合完整训练后分数，SHAP给出特征归因。静态包含长度、重复、语义多样性、参考困惑度；动态包含损失/梯度、曲率代理、激活稀疏度与小规模域外退化。目标是回归性能，阈值筛选只是后续部署策略。它不是零训练的预言器。§§3–4，pp.3–5

证据。 Qwen2.5-7B-Instruct，1300+完整LoRA运行，370测试运行，真值三seed平均。

• MMLU RMSE=1.47pp、R²=.99，95.1%预测误差≤3pp；ProxyLM2.11pp、85.8%，early-stop7.43pp、32.8%；仅静态3.50pp，仅动态3.38pp。表1，p.6
• Llama3-8B RMSE5.02pp、Qwen2-0.5B3.75pp；各目标模型重新训练预测器，不是同一预测器零样本跨模型迁移。表2，p.6；解释p.7
• 阈值55%时，36.1%候选被送去完整训练，论文估算净节省58.4%，保留94.5%真正达标运行。节省依赖候选池失败率、阈值和probe成本，不是普适节省常数。表4，p.7

资源与边界。 数据来自Alpaca/Dolly等及其子采样/噪声/域切分变体，500–25k样本；lr1e-5/2e-5/3e-5，batch8/16/32；100步probe平均7.76分钟为论文测量，不能套用于未知硬件。预先训练预测器需要大量带真值完整运行，其沉没成本不能忽略。附录A，pp.16–17

判断与最小复现。 本次一手论文未找到已验证官方代码/完整特征表入口，不能直接声称可复跑1300次实验。若取得真实特征与标签表，CPU即可复核LightGBM及bootstrap；否则先在已有小模型的既有训练日志上做留一数据源验证。论文按实验运行随机切分（seed36），需要额外检验同源数据变体跨split相似性；SHAP筛选明确不触碰测试集，这是正面设计，但并不自动解决数据源泄漏。SHAP是关联归因，不是“改这个数据属性必然提高模型”的因果证明。

4. Skill0.5

文献：Jiapeng Zhu、Jianxiang Yu、Yibo Zhao、Chengcheng Han、Qi Gu、Xunliang Cai、Xiang Li、Weining Qian；Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning；2026-05-27，v1。论文 / 全文 / 代码

方法。 通用认知原则放进权重，具体场景技能继续外部检索。第一阶段只给专项技能，采样8条轨迹估算通过率；全部失败为hard，低于最近窗口平均为medium，其余easy。

• hard：补充通用技能让同一模型生成成功教师轨迹，再以token级JSD蒸馏回不含通用技能的学生输入。
• medium：复用第一阶段轨迹做GRPO。
• easy：额外运行无技能诊断，计算有技能−无技能的通过率差，把该利用优势加到RL优势，减少对训练域捷径的依赖。

不是持续自动发明全部技能；依赖预先给定的分层skill bank。§3，pp.4–5

证据。 Qwen2.5-7B-Instruct：

• ALFWorld：ID/OOD成功率93.1/58.5；SkillRL90.8/45.3；GRPO80.5/43.4。表1，p.6
• WebShop：ID/OOD 40.4/40.6；SkillRL38.3/36.7；GRPO33.6/32.3。表3，p.14
• ALFWorld ID为Pick/Cool/Clean，OOD为Look/Heat/Pick2。测试OOD时会提供训练期间未见过的OOD专项技能；不是不给新知识的零样本泛化。WebShop也采用产品类别拆分并开放相应OOD技能。§2.3，p.3；§4.1，p.7

资源与最小复现。 4×H800，batch16，ALFWorld120步/WebShop150步；最长30/15环境步；Qwen3-Embedding-0.6B检索top3技能，窗口W=5，JSD取top64 token。附录D，p.13。先核验技能划分、固定轨迹上的tier路由与权重，再在已有本地模型做“相同技能信息”的推理对照；完整验证需三种损失的真实训练，不能用纯prompt结果代替。

判断。 最有价值的是“内化什么、保留什么”这个系统设计问题。局限为两个文本模拟环境、人工划分通用/专项技能；诊断pass-rate差带有rollout噪声，不能直接当作严格因果效应；还应测试过时/错误/互相冲突的新技能以及没有适用技能时的行为。

5. MeRF

文献：Junjie Zhang、Guozheng Ma、Shunyu Liu、Haoyu Wang、Jiaxing Huang、Ting-En Lin、Fei Huang、Yongbin Li、Dacheng Tao；A Simple “Motivation” Can Enhance Reinforcement Finetuning of Large Reasoning Models；arXiv首发2025-06-23，核验v3（2026-03-09），ICLR2026。指定OpenReview / 可访问一手全文

方法。 在训练rollout的system prompt加入实际可验证奖励函数的自然语言描述；外部打分与GRPO更新不变。K&K例子包括正确性与输出格式分，给分规则在生成前可见；不提供当前题正确答案。目的在引导探索，不是让模型获得人类心理意义的“动机”。§3，pp.3–5

证据。 K&K训练3–7人题4500个，评估2–8人每档100个；主表测试移除motivation。

• Qwen2.5-7B-Instruct：全部档均值RLVR .51→MeRF .63；ID .51→.65。
• 14B-Instruct：总均值.72→.83。DeepSeek-distill-Qwen1.5B .14→.17，仍然低，说明不能只靠提示把弱模型变强。表1，p.6
• 数学四基准平均pass@1 33.38→36.78、pass@8 50.45→54.95；AIME25 pass@2反而16.7→10.0，所以“所有格子都上涨”不成立。表2，p.7
• 某设置140步的pass@4/8超过普通RLVR280步终点；这是步数比较，不能据此宣称GPU时间减半。Fig.3，p.7

资源/边界。 veRL+Logic-RL，batch16、lr1e-6、1–2epoch、GRPO组8/clip.2/KL.001；未找到论文明确GPU型号、总GPU时或官方独立代码入口。附录p.15。规则完整性与正确性影响训练；反向规则实验中的恢复不能解释为普遍抵抗误导提示。基准主要是封闭可验证题，不是开放Agent的持续环境学习。

本地起步。 无费用可先建立K&K/CountDown验证器和固定奖励说明，对同一冻结小模型做有/无说明测试，验证格式与即时行为；但论文显示主要收益来自真正RL训练，因此这一步只检验提示机制。若后续有已可用的训练环境，再做同seed、同token预算、同GRPO设置的成对训练，并把答案正确率与格式奖励分开。

6. SAE as a Crystal Ball / STS

文献：Qi Zhang、Yifei Wang、Xiaohan Wang、Jiajun Chai、Guojun Yin、Wei Lin、Yisen Wang；SAE as a Crystal Ball: Interpretable Features Predict Cross-domain Transferability of LLMs without Training；2026-03-03，v1，ICLR2026。论文 / 全文 / 代码

方法。 用训练域少量ICL示例，引起冻结模型内部激活变化；用稀疏自编码器SAE分解激活并选top100变化维度。然后测不同下游域在这些维度的激活强度（STS_act）或加入该域示例后的变化（STS_ICL），把它作为训练后影响幅度的预测信号。假设是ICL与SFT改变相近可解释特征，而不是直接预测某个任务最终准确率。§§3–4，pp.4–6

证据与限定。 LIMO817条数学样本用于SFT验证；Llama3-8B、Qwen2.5-7B、Gemma2-9B；MMLU-Pro跨域。

• STS_ICL与变化幅度的Pearson分别.81±.01、.78±.01、.77±.01；STS_act为.71、.90、.60。Fig.3，p.7；表6，p.17
• 代码/健康训练域的相关为.77±.01/.71±.02，预测top100变化维度与实际重叠62/57。表1，p.7
• 原始激活/跨域表示相似度/训练后表示相似度/STS的相关分别.03/.11/.61/.79。表5，p.16
• 关键边界：作者附录明确预测变化大小，不预测正负。LIMO SFT后多数域下降；图3还依据真实SFT变化选择极端域展示。不能把“相关>.7”写成“无需训练就预测每个领域会提高还是降低、并给精确分数”。附录A，p.14

资源/复现。 需要白盒中间层和匹配模型/层的已训练SAE；本文SAE在OpenWebText激活上训练。预测本身不更新LLM，但SAE不是免费从空白产生。用于核验真值的SFT为4×H20、10epoch、FSDP fp32、batch256；ICL变化采样20k token，下游每域10k token。附录B，pp.15–16

判断。 是训练风险筛查/解释辅助工具，不是自动进化闭环本体。最小本地实证需先确认现有模型及匹配SAE；可重做前向特征与分数，但验证预测好坏还需要独立已微调checkpoint或真实训练。应预先固定全部目标域与示例、同时报告符号/幅度、加入留一训练域测试，避免只在已知退化的极端域上获得漂亮相关。

7. CoPE

文献：Huanxi Liu、Kun Hu、Qiang Wang、Yuanzhao Zhai、Feng Dawei、Bo Ding、Huaimin Wang；CoPE: A Framework for Optimizing Coordination between Planning and Execution in LLM-based Agents；ICML2026，PMLR306:76571–76601。指定OpenReview / 正式出版页 / 正式全文 / 代码

方法。 区分“计划不可执行”和“执行偏离计划”。Self-Refining MCTS在计划节点上运行多个执行轨迹，用环境得分估计划质量；失败轨迹用于改写计划。计划可执行性cp来自多轨迹动作序列的平均一致性（归一化Levenshtein）；执行遵循度cτ由语义/动作匹配加动态规划对齐得到。计划训练使用权重(cw−cl+1)/2的DPO；执行使用KTO加cτ加权SFT，并去除偏好轨迹共享前缀，聚焦真正分歧。§4，pp.4–6

证据。 主表五次独立运行均值，指标是Average Reward，不应把ScienceWorld分数当成功率。

• Qwen2.5-7B：ALFWorld seen/unseen 88.00/86.27，最强基线80.62/81.64；ScienceWorld64.67/65.76，最强基线58.22/58.18。
• Qwen3-32B：ALFWorld93.65/92.27，ScienceWorld80.84/81.30；相应轨迹更短。表1，p.7
• 作者主动给出负面边界：短程HotpotQA加入显式计划34.92→28.25，WebShop44.20→39.66；这些场景协调差距接近零。附录B.1，p.16

资源。 先SFT再多轮优化，LoRA rank64；7B一次优化迭代在4×A100上，ALFWorld数据收集60小时、协调评分30分钟、优化2小时；ScienceWorld分别75小时、40分钟、2小时。开销大头是搜索采样，不是DPO训练。表13，p.22

判断/最小复现。 应先复算固定计划-轨迹上的Levenshtein、语义对齐与加权损失；这属于组件复现。完整验证需训练计划和执行模型、环境多rollout，普通机器不能据此承诺短时间完成。应检验“不同但合理的执行路径”是否被一致性分数误罚，以及错误计划时是否允许合理偏离。协调是好任务结果的代理，不能取代环境成功验证。

8. Agent-as-a-Router / ACRouter

文献：Pengfei Zhou等11位作者；Agent-as-a-Router: Agentic Model Routing for Coding Tasks；首发2026-06-22，核验v3（2026-06-26）。论文 / v3全文 / 官方仓库

方法。 每任务做Context→Action→Feedback→Context循环。路由器综合任务元数据、维度先验、top10记忆邻居和已微调Qwen3.5-0.8B，经加权投票挑选后端；验证器执行代码/代理指标，记忆只吸收过去已选模型的得分、成本与执行痕迹。形式为contextual bandit，r=性能−0.1×成本；累计regret相对逐题oracle。它是“在线记忆适应+离线训练小路由器”，不是全部零训练。§3，pp.4–6

基准与证据。 CodeRouterBench约10k题、8个后端、15+来源，7,080 probing、2,919 ID、176 OOD agentic任务；7类执行评分，3类用代理/LLM judge。数据来源有复用公开代码基准，需看去重/时间范围。

| v3表3方法 | ID AvgPerf % | ID CumReg | OOD AvgPerf % | OOD CumReg | |---|---:|---:|---:|---:| | ACRouter | 49.98 | 205.5 | 62.50 | 17.0 | | DimensionBest | 47.50 | 277.4 | 不适用 | 不适用 | | LinUCB | 46.84 | 296.9 | 49.82 | 31.1 | | Qwen3.5-0.8B-Finetuned | 46.41 | 309.1 | 55.36 | 27.2 | | Always-Opus4.6 | 43.83 | 387.1 | 57.14 | 26.7 |

表3，p.9。同页新增说明：更新后的独立GPT-5.4后端在同OOD集75.00%，高于表中ACRouter62.50。 所以不能写“胜过所有单模型”。

最新仓库与论文不一致，必须分栏。 核验日README期望ID=50.14、CumReg202.0、成本$22.31；OOD176=73.30、CumReg15.9、成本$86.72。它明确说离线重放无需API/live模型；提供run_id.py、run_acrouter_ood176.py、run_baselines_ood176.py、真实矩阵和参考输出。当前发布工件数字不可倒填v3论文表。仓库复现说明

无付费复现优先级：本组最高。 先在获准环境中固定commit和数据哈希，审阅脚本，再运行官方ID/OOD重放，检查输出数量、路由选择、regret、成本合计；不需要新调用8个付费后端。它是真实发布工件的重放，不是端到端新解题实验；把所有模型真值同时给路由器会构成oracle泄漏，在线决策必须只见当前可用先验和过去反馈。

其他限制。 OOD只有176题且40步上限，不是标准250步；模型API和计费/缓存变化会影响成本。基准代理指标/LLM judge并不等于全部真实程序正确性；stream顺序、warm-start和检索相似度影响适应收益。适合验证低成本系统选择，但不直接证明被选择的大模型自身学会了新技能。

综合建议

1. 全文分析先纠正标签：预测器（TuneAhead/STS）、训练数据进化（CoEvolve）、记忆与权重共同学习（EvolveR/Skill0.5）、训练规则提示（MeRF）、计划执行协同（CoPE）、在线模型选择（ACRouter）解决的是不同环节。
2. 无付费实验优先采用ACRouter官方离线重放，再做JitRL清洁机制测试；有合适已有本地模型时才增加真正交互任务。
3. 任何实验都同时报告预算、任务划分、信息可见性、模型版本和失败结果；公开仓库结果不等于某一论文版本的原始实验记录。

附录：ACRouter发布工件的精确离线重放审计

A. 固定版本、许可与下载范围

核验的GitHub main为 e43839edb0d5d0a9feec2f7078019406ab4d64bd（2026-06-29），由公开commit页及git ls-remote双重确认。

• 固定commit
• 176题数据JSON，固定版本
• 数据文件SHA256：f0fe49db24cf2c1d5552a1dd512544676825e0e4f34e136f194fecd9c022c15a；约2.4MB。
• 官方OOD实现，仅作静态参考
• 常量定义
• 官方参考汇总JSON
• 官方逐题参考决策JSONL
• 代码许可证MIT。HF数据卡也标记MIT；原始第三方任务材料仍应保留来源与原许可，不把仓库许可自动外推到所有上游内容。

独立重写只需Python标准库（json、pathlib、hashlib、math/collections等）。无需PyTorch、GPU、模型权重、API key、pickle、joblib或执行仓库脚本。官方整套requirements包含NumPy/SciPy/sklearn1.8/joblib，以及若干模型工具，是完整基线工具链的依赖，不是该JSON重放所必需。

B. JSON结构与完整性检查

顶层键：ids、models、matrix、metadata、summary。

• ids：176个有序唯一任务ID。
• models：8个有序规范模型名。当前次序为Claude Opus、Claude Sonnet、GPT-5.4、GLM-5、Kimi-K2.5、MiniMax-M2.7、Qwen3-Max、Qwen3.5-Plus（具体字符串以JSON为准）。
• matrix[task_id][model]：该任务与后端的已记录结果，重要字段为resolved(bool)、apply_ok(bool)、in_tok、out_tok、cost_usd；另有graded、non_empty、calls、cost_source、source_split、source_model等。
• metadata：题目来源及文本；只按普通数据读取，不执行其中的代码或操作指令。
• summary：old112/new64组成、生成时间、原始与规范模型名的映射。

建议独立实现先断言：176个唯一ids、8个唯一models、全部176×8格存在、resolved/apply_ok类型正常、费用非负且有限、token数为非负整数。失败时明确报缺失，不静默把未知样本当0分。数据完整性测试不等于独立确认原始实验记录真实正确。

C. 当前OOD重放的精确算法

这是固定顺序、验证后升级的级联，不是调用新模型，也不重新训练路由器：

1. 对每个task_id，按MiniMax-M2.7 → kimi-k2.5 → gpt-5.4 → glm-5依次查矩阵。
2. 每次把model加入chain_run，累加cost_usd，累计廉价链中apply_ok为真的数量；把本次模型暂定为最终模型。若resolved为真，立即停止链。
3. 若四模型都未成功，且上述apply_ok数量≥k（默认k=2），追加claude-opus-4-6，累加成本，escalated=true。
4. 升级后只有在Opus成功时才把最终chosen_model/状态替换为Opus；若Opus仍失败，最终chosen_model保留glm-5，尽管cost与chain_run包括Opus。这一点影响rAcc，不能自行改成“最后调用者”。
5. 官方逐题总费用先round到6位，再汇总；n_steps=len(chain_run)。
6. 每题单模型reward oracle为max_m[1(resolved_i,m)−0.1×cost_i,m]；并列时按models数组先出现者选择。
7. 本级联每题reward=最终成功指示−0.1×所有尝试总费。CumReg是oracle reward减级联reward逐题相加。
8. AvgPerf=100×成功题数/176；Apply_ok为最终状态的比例；Perf/$=AvgPerf数值/总美元；rAcc是最终chosen_model等于reward oracle模型的比例；tokens按chain_run中所有调用求和。

无需读取参考汇总才能得出结果；应先生成独立结果，再与参考JSON/逐题JSONL比较，避免把引用数值抄成“复现”。无随机数，重放输入顺序不应改变聚合指标；这一性质也说明当前OOD脚本没有跨题学习状态。

D. 官方参考数值（尚非本报告执行结果）

| 指标 | 固定commit参考文件 | |---|---:| | n | 176 | | AvgPerf% | 73.30 | | CumReg | 15.9 | | $Total | 86.72 | | Perf/$ | 0.85 | | rAcc_reward_oracle | .3807 | | Apply_ok% | 85.80 | | AvgSteps | 2.66 | | Escalations | 29 | | TotInTok | 74,536,066 | | TotOutTok | 1,128,908 |

$86.72及token量是发布矩阵中原始后端运行的累计估算；本次只读取JSON不会发生这些模型调用或费用。当前文档未执行重放；独立运行结果应由执行环境另附日志、脚本哈希和逐题输出。

E. 必须披露的两个实现/数据边界

实现与论文概括不同。 当前ID源码默认policy=hierarchical：在train+val上按任务ID前缀、来源、dimension学习group→model映射，min_count=50、shrink=500，以均值性能选择；test执行静态分层回退。OOD则是上述固定级联。这些工件确实可重放，但不能将它们描述成重新运行了论文文字中的0.8B策略+kNN记忆在线投票全闭环。

new64规范名折叠了不同后端版本。 数据summary明确记录：gpt-5.4-medium→gpt-5.4，kimi-k2.6→kimi-k2.5，MiniMax-M2.5→MiniMax-M2.7，qwen3.6-plus→Qwen3-Max。这样便于表格统一，但不能据此声称176题全部由同一版本的每个模型运行。应保留原始source_model和别名映射，在研究报告中显式标注版本混合。

因此推荐最终实验名称为：“ACRouter公开OOD176结果矩阵的独立标准库重放与一致性审计”。它比合成玩具例子更接近真实论文工件，同时仍然不同于新执行176道代码任务、验证全部原始模型输出或重现原论文完整在线进化机制。

JitRL：非参数记忆驱动的测试时策略改进

核验日期：2026-10-08。依据 arXiv v4 全文（26 页）、官方仓库 README 和公开源文件静态阅读。没有运行作者代码，没有调用付费 API，也没有完成基准复现。下文明确区分论文结果、代码事实和本报告的审阅判断。

1. 文献信息与一句话结论

• 标题：Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates
• 作者：Yibo Li、Zijie Lin、Ailin Deng、Xuan Zhang、Yufei He、Shuo Ji、Tri Cao、Bryan Hooi；National University of Singapore。
• 版本：首发 2026-01-26；本文核验版本 v4，2026-09-27。论文首页标记 ICML 2026 / PMLR 306；官方 README 自述 Spotlight。
• 主链接：arXiv、v4 全文、v4 PDF、官方代码。
• 类别：测试时学习 / 跨回合经验记忆 / action-level policy adaptation；不更新基础模型权重，不训练价值网络。
• 结论：值得作为“Agent 自动进化不一定需要训练权重”的核心案例。证据支持低样本重复交互中的记忆收益；不支持“无条件胜过参数 RL”“已解决一般持续学习”或“任何笔记本都能复现原成绩”。

2. 问题与系统闭环

冻结模型反复执行任务时会重复犯错；整段历史塞进上下文既耗 token，也不保证模型遵循历史经验。JitRL 把经验转成可检索的局部动作价值，在决策时直接改候选动作分数。

闭环：执行一回合 → 评价每步贡献 → 算折扣回报 → 存储状态、动作、回报 → 遇到相似状态时检索 → 估值与重排 → 执行 → 继续积累。

这里的“进化对象”是外部经验库和由它诱导的动作分布。知识通常只在带着该记忆模块运行时生效；删除记忆不会留下权重内的技能更新。它更接近非参数强化学习/案例决策，而不是模型自我改写或自动发现新算法。论文 §§4.1–4.3，pp.3–4

3. 方法与公式解读

3.1 经验、状态和回报

记忆 M = {(s_i, a_i, G_i)}。回合结束后，LLM evaluator 根据完整轨迹提供每步奖励 r_t；G_t = Σ_{u=t}^T γ^(u−t) r_u。

• WebArena：规范化 URL，把具体 ID 替换成占位符，再加页面有效状态与局部操作历史；操作中的瞬时元素 ID 转成 accessibility tree 语义描述。
• Jericho：压缩成实体/动作摘要，维护目标、进度和去环路的位置历史；候选受游戏引擎提供的 valid-actions 限制。
• 检索：总体采用结构化文本/Jaccard；附录另述 Jericho 状态/历史双索引，权重 0.75/0.25。WebArena 先按页面类型筛选，再比较有效状态。

应保留这套工程细节：让“两个状态够相似”“旧动作能重新映射到当前 UI”成立，往往比最后的加法公式更难。附录 F，pp.15–16

3.2 价值估计

检索 k 个邻居 N(s)：

• V̂(s) = 邻域所有回报的均值。
• Q̂(s,a) = 邻域中执行动作 a 的回报均值。
• 没出现过的动作：概率 λ 取 V̂(s)+α/|N(s)|，否则取 0，以鼓励有限探索。
• Â(s,a)=Q̂(s,a)−V̂(s)。附录实际算法还使用 max-absolute 归一化。

候选集合包含 LLM 给出的动作与邻域中历史动作的并集。历史独有动作被赋予初始分数 0。因此它能找回模型本回合遗漏的旧动作；但仍不能凭空发现模型及历史从未产生过的动作。式3–7，pp.3–4；式23、25，pp.15–16

3.3 策略目标

max_{π′} E_{a~π′}[Â(s,a)] − (1/β) KL(π′ || π₀)

解为 π*(a|s) ∝ π₀(a|s) exp(βÂ)，即 z′=z+βÂ。

直观上：保留基础模型先验，再指数性增加高回报动作的概率。β 越大，越信经验；β 越小，越信基础模型。这里写出的实际目标是 KL 惩罚形式，而非直接给定硬 KL 上限的优化问题。

作者提供两种动作先验：读取索引 token 的 logprob；或让黑盒模型输出 0–100 的口述信心分数。后者需要人为定义从信心到先验的映射，不能直接等同于模型真实 token logits。§§4.3–4.4，pp.4–5；实现说明 p.5；附录 B，pp.11–12

3.4 理论适用边界（审阅判断）

闭式解本身是有限动作集合、给定优势下的 KL-正则重加权结果；不是“保证完整长程任务取得全局最优”的定理。进一步的一致性要求：状态/策略正则性、无偏有界噪声、覆盖、k→∞ 且 k/N→0、各动作样本数增长、记忆中的旧策略与当前策略差异趋零。实际 k=10、有限回合、自评奖励与长期旧经验并未直接满足这些渐近条件。

另外：未归一化时，V̂ 是对所有动作都相同的常数，在 softmax 中会抵消，故基线并非独立增加排序能力；关键是 Q̂、候选集合、探索与缩放。附录证明中的均值方差界也应额外检查时序相关经验所需的独立/弱相关条件。以上是技术审阅推断，不是作者已经验证的结论。附录 C–D，pp.12–13

4. 实验：一定同时标明协议和数值

4.1 WebArena 主表

同一任务连续执行 5 次；Avg 是所有尝试平均成功率，Final 是第五次尝试成功率，不是 pass@1，也不是五次任一次成功的 pass@5。训练免费组使用 Gemini-2.5-Flash。

| 方法 | Avg % | Final % | |---|---:|---:| | Static | 35.63 | 36.30 | | Memory | 41.36 | 43.00 | | Reflexion | 41.08 | 42.12 | | AWM | 39.37 | 40.32 | | EvoTest | 39.24 | 42.49 | | JitRL | 46.98 | 51.35 |

JitRL 相对 Static 的提升为 Avg +11.35、Final +15.05 个百分点；相对最好的 Memory 汇总指标为 +5.62、+8.35 个百分点。这些差值由表中数值计算。表1，p.6；协议 §5.2.1，pp.5–6

4.2 对参数更新方法：不能只挑最漂亮一行

| 比较设置 | JitRL | 对照 | 结论 | |---|---:|---:|---| | 主表 WebArena-Lite，Final | 60.00% | WebRL 46.06% | 骨干/适应条件不完全相同，不能单独归因于算法 | | Llama-3.1-8B，同任务 5 次在线适应 | 32.97% | WebRL 27.27% | 更支持小样本在线适应优势 | | Llama-3.1-70B，同训练任务、165 个 held-out Lite 任务、禁止测试集适应 | 40.88% | WebRL 46.06% | 严格离线对照中 JitRL 较低；SFT 为23.00% |

来源：表2，p.6、表12，p.21、表13，p.22，附录 J.1 的协议在p.20。SFT 的数值来自原论文，附录 E 说明没有可用 SFT checkpoint；WebRL 则重新评估了作者 checkpoint。正文对 SFT/checkpoint 的概括和附录说明不够一致，报告宜按附录的详细说明表述。

4.3 Jericho

Library、Zork1、Zork3，每个游戏50回合。表内顺序为 Avg / 第50回合分数：

| 方法 | Library | Zork1 | Zork3 | |---|---:|---:|---:| | Static | 10.0 / 10 | 8.5 / 10 | 0.2 / 0 | | EvoTest | 21.5 / 26 | 46.8 / 54 | 2.6 / 4 | | GRPO | 13.6 / 11 | 16.2 / 10 | 1.1 / 2 | | JitRL | 25.9 / 30 | 53.0 / 69 | 3.1 / 5 |

表3，p.6。Fig.3 标注游戏最高分分别30、350、7；因此 Zork1 最终69不等于通关。

同 Qwen3-32B 对照的 Avg：JitRL 20.8 / 42.1 / 2.3，GRPO 13.6 / 16.2 / 1.1。表14，p.22

更充分调参后，GRPO 的 Zork1 验证平均达到40.7、最大55，需要3,200条训练轨迹；默认GRPO为400条，JitRL为50条。注意附录 O.4 文字把53.0称为“同Qwen3-32B JitRL”，与表14的42.1不一致。应引用表14作为同骨干比较，不能复述这一处53.0。附录 O，p.23；表20，p.25

4.4 泛化和消融

• 仅可检索不相交任务记忆：Admin/GitLab/Map/Reddit/Shopping，JitRL 为48.37/38.73/35.78/55.04/36.98%，Static 为36.96/37.25/31.19/36.43/23.44%。支持同类网站内的程序知识转移，仍不是跨任意环境泛化。表5，p.7
• 同检索信息，Admin/Reddit 的 prompt-update 为48.35/54.57%，logit-update 为52.31/57.64%。表8，p.8
• GPT-5-mini、DeepSeek-V3.2 的 Admin/Reddit 也测过；DeepSeek Reddit Avg 54.42低于Reflexion55.04，所以不能写“每个指标都最好”。表4，p.7
• 检索扩展测试仅到约2,500条记忆，耗时15–47ms；不足以外推到百万记忆或长期多用户部署。表19，p.25

5. 计算、数据与 API

论文实际配置

• 候选动作3，检索k=10，温度0.8。
• Jericho：γ=.5、阈值.95、λ=.65、α=5，50回合、每回合60步。
• WebArena：γ=.1、阈值.8、λ=.05、α=5，任务相似度阈值.27，history/task权重.7/.3；附录表11写10步、50回合，但正文主实验明确为每任务5次，必须核实运行配置。
• 作者仓库使用 OpenRouter；需游戏ROM、Jericho依赖；WebArena还需站点环境和BrowserGym。仓库介绍含812个WebArena任务配置。表10–11，pp.20–21、README

成本的正确解释

表9给出 JitRL $290、Static $200、其他免训练方法$220–250，WebRL约$9,900。所谓“30倍便宜”来自这组特定 API 用量与训练成本估算，不是无成本，也不是实际端到端延迟快30倍。以该表计算，JitRL对Static反而增加45%费用。

WebRL预算按16×H200、154小时、两节点每小时$64估算约$9,856；含SFT、任务生成、rollout、reward labeling及优化。GRPO扫描使用4×H200。API定价、硬件租价、环境运行费是否纳入、调用token总数与任务范围都会影响比较；不是当前购买报价。表9，p.8；附录 P，pp.23–24

JitRL自身不用反传，所以能用本地推理模型；不等于原始Gemini实验可以纯本地等价复现。

6. 官方代码审计：论文公式与当前实现有实质差异

检查的是官方master，当时最新commit为 143d22185d95fbf633a0befe6861d5e8b732543b，提交日期2026-07-21；早于本文核验的v4。以下只能判断这个公开版本，不能反推作者所有实验实际用了什么私有版本。

1. 加到概率上，不是加到logprob上。 Jericho先对token logprob取exp，口述模式则confidence/100；后续用该normalized_prob加advantage。WebArena也这样做。Jericho L707–736、L375–387、WebArena L377–378。
2. 选最大分数，不是softmax采样。 Jericho L769–773、WebArena L1130–1131，对照论文p.26 Algorithm 1。
3. 归一化和探索还有差异。 有正优势时按最大正值归一化，不是max|A|；Jericho加上随回合1→1.5的权重，探索概率也由历史质量自适应计算。新增未见动作后还重算动作均值基线。L305–348
4. 默认设置不等于论文配置。 Jericho默认50步，而论文表10是60步；默认口述confidence。main.py
5. 原模型快照已退役。 README明确披露原Gemini成绩使用google/gemini-2.5-flash-preview-09-2025，现默认stable，数值可能变化。README复现说明

这不是单纯变量名问题。自行构造例子：p=(.9,.1)，bonus=(0,1)，概率加法得到(.9,1.1)，选择第二动作；log概率加法得到(log .9,log .1+1)，仍选择第一动作。因此公开代码的策略并不与论文闭式目标恒等。复现时应分列“作者代码原样”和“按论文公式实现”，不要静默修正后仍称精确复现。

7. 评测与泄漏风险清单

以下是本报告审阅判断：

• 允许测试时适应≠普通一次性测试。 同任务复试并把其经验留在记忆里是该任务定义的一部分，不能简单叫作违规泄漏；但必须把它与无测试适应的held-out结果分开。
• 同任务记忆与跨任务泛化要分离。 固定任务顺序、同模板近邻、任务ID/答案进入状态、轨迹中的成功状态都可能扩大收益。需公布任务清单、顺序、划分和检索来源。
• 自评奖励偏差。 evaluator可能误判或受轨迹文本影响；训练奖励与最终成功判定宜用独立信号。状态压缩可能混淆“看起来相似但隐藏状态不同”的场景。
• valid-actions是额外帮助。 Jericho引擎提供可执行命令候选，可能大幅缩小搜索空间。比较必须给所有方法相同候选信息。
• 模型预训练污染未知。 Zork等经典游戏可能存在在线攻略；论文没有证明基础模型完全未知这些内容。跨游戏/新生成场景可补充验证。
• **统计不足。**主表未提供多seed置信区间；表11指定seed0。单个最终回合分数不能代替稳健收敛证据。
• 不能把Final−Avg当作严格学习效率。 该差值受随机性与曲线形状影响，只有配合逐回合曲线、重复seed、样本成本才有解释力。
• 非平稳环境未充分验证。 持续记忆可能积累过时或错误动作；冻结权重避免参数遗忘，但不能保证系统行为没有“被坏记忆覆盖”的功能退化。
• 复现先解决文本内部不一致。 WebArena 5次/50次、Qwen Zork1 42.1/53.0、原始快照退役、公开实现与公式差异，均要记录而非自行猜测。

8. 无付费 API 的分级复现建议

用户Windows硬件、已有模型和本地工具尚未确认。本节是待环境检查后选择的方案，不要求现在安装，也不假定GPU、WSL或游戏ROM已可用。

A. 机制验证：最小且零API成本

纯标准库编写一个小型离散环境，手工指定基础动作概率，在线存储真实环境奖励，实现Jaccard/kNN、Q均值、探索、z+βA与softmax。检验：

1. β=0时回到原策略；空记忆安全回退，无除零。
2. 增大某动作经验回报时其概率增加；概率和为1。
3. 给所有优势加同一常数不改变softmax。
4. 加法logits与π₀·exp(βA)归一化数值等价。
5. 错误检索、奖励噪声、环境奖励反转后性能如何变化。

这只能称“公式/机制演示”，不是论文复现、不是LLM Agent实验；即便曲线变好，也不能当作WebArena或Jericho结果。

B. 最小真实缩小复现：本地冻结LM + 单个Jericho游戏

前提是已有或另行获准下载的本地instruction LM、可用推理后端、合法获得且可运行的ROM。优先复用现有环境。模型大小由实际硬件决定，不能在未检查前承诺7B/8B可流畅运行。

• 先1回合/短步数做联通性验证，再做50回合研究；没有计费服务、网络API调用或远程embedding依赖。
• 本地LM生成3个动作，另一步固定候选并读取单token索引logprob；不依赖从任意JSON倒数第二token猜索引。
• 状态、目标与历史摘要以及奖励评价均使用同一本地模型；可另设仅使用游戏真实分数增量的控制组。更换奖励方式必须单列为变体。
• 分别实现“论文公式”和“公开仓库重排”。初始先验统一、候选统一、step limit统一，比较Static、相同记忆的prompt基线及两种JitRL实现。
• 至少预注册多个seed、完整回合顺序、ROM/模型哈希；记录每步状态、候选、先验logprob、邻居来源、Q/A、最后动作、真实分数及耗时。
• 输出全部回合均值、末段均值和不确定性；最后一个回合也可报告，但不要只挑最大分数。

这属于“真实任务上的缩小复现/方法迁移验证”。换小模型会改变候选生成、判断和奖励质量；不能声称重现Gemini原表数值。

C. 完整论文复现：目前有明确缺口

需要WebArena站点基础设施及确定的任务划分；原模型快照无法访问，作者实验commit与配置不清；严格参数RL对照涉及70B/32B模型及大GPU。没有这些条件时不应启动昂贵训练。现阶段最有价值的顺序是：代码/公式一致性核对 → 纯机制测试 → 获准后本地真实单游戏 → 再决定是否投入完整WebArena。

9. 对Agent自动进化的价值与下一步研究

实用价值：可插入既有Agent决策层，记忆可审计、可删除；适合重复UI操作、有结构化状态、有反馈的窄域任务。不能把外部记忆优势理解成基础模型能力永久升级。

更值得追问的研究方向：

• 用可信环境奖励替换/校准LLM自评，测量奖励错误传播。
• 加时间衰减、版本化状态、反例记忆与环境变更检测。
• 将动作重排的收益与更好候选生成/摘要/valid-actions约束的收益彻底分离。
• 比较真实logprob、口述信心、概率加法与KL重加权的校准和收益。
• 在独立新任务上冻结记忆评测，再开放在线适应，分别报告泛化与适应。

推荐报告中的表述：JitRL显示，冻结LLM配合经验记忆与动作重加权，可以在特定重复交互任务中获得可测量的测试时改进，且不需要梯度更新；其成本优势与胜过参数RL的结果依赖具体模型、数据和评测协议。公开实现与论文数学算法的差异，是复现时优先处理的问题。

系统与 GUI 论文分析

核验日期：2026-10-08。以下明确区分论文报告值、资料质量问题和建议实验。本次研究没有执行基准复现、模型训练或基础设施实验。

29. SE-GA: Memory-Augmented Self-Evolution for GUI Agents

论文：https://arxiv.org/abs/2605.16883 全文：https://arxiv.org/html/2605.16883 代码：https://github.com/jinshilong-dev/SE-GA

已核验的方法与证据

TTME 结合近期动作转移、通用规则和成功轨迹摘要，按指令及截图相似度检索。MASE 先做记忆感知 SFT，再使用改造后的 GRPO。Hindsight Goal-Shifting 将失败轨迹中已验证成功的前缀重新标注为子目标样本。实验底座为 Qwen2.5-VL-7B，使用 4,007 条轨迹及四张 A800。主要报告值为：ScreenSpot 89.0，AndroidControl-High 75.8，GUIOdyssey 步成功率 83.9，AndroidWorld 任务成功率 39.0。部分基线引用已有论文结果，没有统一重跑。论文给出的 RL 配置包括 LoRA rank 32/alpha 64、ZeRO-3，以及 6,144/1,024 的提示/输出长度上限。

原文存在内部不一致：表 2 的 AndroidControl-High 为 75.8，表 4 和第 5.4 节却为 73.8；附录表 7 的列标签也与主表中相同数值所对应的列不一致。这些问题同样出现在 PDF 印刷页码 7、8、21，并非仅为 HTML 转换错误。因此，不能将各表消融值直接拼接为同一实验设置。记忆持续增长、任务覆盖有限也是边界；未核实完整训练耗时与金额。论文第 4–5 节及附录 A–C

代码与可复现性审查

官方仓库按 Grounding SFT → Planning SFT → RL 组织实际运行，比论文“两阶段”表述更细。仓库给出了 TTME 示例和分阶段训练入口，依赖 Python 3.11+、CUDA PyTorch、DeepSpeed、vLLM。官方仓库

当前默认配置不是论文精确复现配置：SFT 学习率为 1e-6，RL 为 3e-6，RL 训练/评估数据上限为 200/20，gpu_num 为 2；论文报告的对应学习率为 2e-6、2e-5，并使用四张 A800。LoRA rank/alpha 与论文一致。应固定代码提交并逐项记录修改，不能直接运行默认配置后称为“完整复现”。默认配置

建议的有限复现方案：尚未执行

首先在确定性的小型 GUI 轨迹集上独立验证检索。覆盖“相同指令、不同截图”“不同指令、相似截图”、陈旧上下文、干扰规则和失败前缀。固定 token 预算，对比仅近期历史、仅文本检索、文本与视觉混合检索。断言记忆中不含未来观察或留出任务答案，记录检索准确性与上下文长度。

确认数据和指标定义后，再评测小规模留出 Android 任务。严格区分定位准确率、步准确率、完整任务成功率；使用配对种子和 bootstrap 置信区间；固定模型、提示、步数限制与记忆容量。分别消融各记忆层和 Goal-Shifting。CPU 轨迹模拟只能展示机制，不能验证 7B 训练收益或论文分数。完整复现需要多 GPU 和 Android 模拟器；金额必须在实际试运行和当时报价确定后计算。

30. EvoC2F: Compiling Tool Orchestration for Efficient and Evolvable LLM Agents

正式出版页：https://proceedings.mlr.press/v306/wei26q.html 官方 PDF：https://raw.githubusercontent.com/mlresearch/v306/main/assets/wei26q/wei26q.pdf 视频原始链接：https://openreview.net/pdf?id=ZSGB91kMOG

已核验的方法与证据

Plan IR 显式声明数据依赖、效应、资源访问范围、重试策略和幂等键。语义编译器补充冲突顺序，使用改造后的 HEFT 调度，并结合限流及故障处理。成功轨迹生成候选技能，功能、契约和回归验证决定是否入库。正确并行的前提是效应和资源标注保守且有效。

五次运行的平均结果中，Claude-4-Sonnet 在 StableToolBench 上的 SoPR 为 72.2，ReAct 为 62.3；延迟为 5.5 秒与 16.9 秒。更接近的并行基线 LLMCompiler 为 67.0、6.1 秒。SoPR 对“Unsure”给半分，仅在 765 个可解问题上计算，因此不是普通二元成功率。ShortcutsBench 使用真实历史动作作为输入、缓存响应和模拟工具延迟。ToolSeq-500 中 356 个候选放行 134 个，成功率由 68.2 升至 75.0；取消验证门后回归率达 7.2%。跨域负迁移影响 12.3% 的任务。分布式扩展和 IR 开销仍有局限；本次未找到完整费用/训练预算或核实的官方实现。论文第 3–6 节、表 1–7、附录 H

建议的有限复现方案：尚未执行

三篇中，它最适合先做 CPU 机制实验。构造固定种子的模拟工具环境，包含读写资源、已知延迟、可重试错误和不可逆操作桩。对相同 DAG 比较串行、仅数据依赖并行、数据依赖加效应约束并行。将串行执行作为最终状态对照，检查无禁止的并发冲突、重试幂等、限流预算符合要求，并扫描并发度与资源竞争强度。标注不完整时应保守串行，不能伪造正确性保证。

候选宏技能使用独立留出验证器。故意加入过拟合、格式错误或改变副作用的候选，验证能否拒绝。同时记录入库后的收益与错误放行率。既与串行比较，也与最接近的并行基线比较。结果应标为“合成环境机制级复现”，不能声称复现了 72.2 SoPR、学习式规划或真实生产可靠性。完整复现还需要匹配模型/API 版本、基准缓存、评估器、数据划分、DPO/路由器配置和调用预算。理解伪代码不等于已经复现完整系统。

证据可用性

OpenReview 在云端要求浏览器验证，但正式 PMLR 页面提供的 PDF 可直接读取，已从 Download PDF 链接下载，无需解决验证。研究目录保存 evoc2f.pdf 与 evoc2f.txt。检索发现第三方玩具级复现，但本次没有核实官方源码仓库，也未将第三方结果用作论文有效性的证据。

40. DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale

论文：https://arxiv.org/abs/2609.22978 全文：https://arxiv.org/html/2609.22978 已公开存储组件：https://github.com/kvcache-ai/AgentENV/tree/main/storage/overlaybd

已核验的方法与证据

DSec 是执行基础设施，并非智能体学习算法。它统一 FnCall、容器、microVM 与完整 VM；拆分环境层，按需加载镜像，并管理资源回收、CPU QoS 和持久 rollout 状态。十节点评测中，8,192 个容器任务约 35 分钟完成，冷 Docker 拉取超过 60 分钟，磁盘写入约减少 57%。环境层挂载耗时为 45 分钟，tar 解包为 79 分钟。Virtio-pmem/DAX 将主机峰值内存减少 40.2%；在 50% 后台负载下，CPU QoS 将延迟增幅由 45.2% 限制到 17.3%。

生产规模数字与受控实验必须分开。评测明确不包括与 RL 框架集成，因此不能推导出任务智能或端到端训练质量提升。实验 CPU、内存和存储条件明显超出普通笔记本。论文公开部分存储组件，但未证明整套生产编排器全部开源。访问控制仅缓解部分奖励投机，不是对内核故障或破坏行为的通用防御。论文第 5–8 节

建议的有限复现方案：尚未执行

不建议在用户 Windows 电脑上模仿生产规模。无特权、可移植的模拟可以控制工作集比例和缓存复用，比较全量加载与按需加载的传输字节及物化工作量。模型应计入元数据、缓存未命中和写放大，并扫描镜像复用度与工作集比例。必须明确报告模拟量，不能包装为基础设施实测加速。

真实实验应放在授权的隔离 Linux 测试环境，固定内核、镜像、工具调用回放，区分冷/热缓存，分别测量启动延迟、获取字节、CPU 时间、内存积分与任务完成。性能测量旁必须保留正确性检查。安全策略、内核、网络和虚拟化变更需要单独授权。生产编排、容错和极高并发需要更大规模实验；单节点演示无法验证这些主张。硬件、存储和运行时间未确定前，无法可信估算费用。

补充论文：SkVM，位于合集之外

合集第 31 个视频在 06:15 明确引用 SkVM，链接为 https://www.bilibili.com/video/BV1qJZcBrE3p ，其简介给出 https://arxiv.org/pdf/2604.03088v3 。arXiv 记录确认标题为 SkVM: Revisiting Language VM for Skills across Heterogenous LLMs and Harnesses，作者为 Le Chen、Erhu Feng、Yubin Xia、Haibo Chen。它是补充下载文献，不是合集第 42 个视频。完整论文分析、官方代码审查和无付费复现方案见同目录 skvm_supplemental.md；没有运行实验。

跨论文判断

三篇优化层级不同：SE-GA 改变检索经验和学习策略；EvoC2F 改变可执行计划与入库技能；DSec 改变执行容量及状态生命周期，不能放在一个排行榜直接比较。

合理的组合系统应分别验证策略质量、动作语义正确性和基础设施正确性。某一层提速也可能放大另一层问题：更快并行会放大错误效应标注；更大经验库会增加泄漏风险；更多沙盒吞吐量也可能加快奖励漏洞利用。这些是值得验证的集成假设，并非三篇论文已经证明的结果。

补充论文全文分析：SkVM

核验日期：2026-10-08。本次没有安装软件、调用模型、运行基准或执行实验。

论文身份与范围

SkVM: Revisiting Language VM for Skills across Heterogenous LLMs and Harnesses。作者为上海交通大学 Le Chen、Erhu Feng、Yubin Xia、Haibo Chen。

• 阅读版本：https://arxiv.org/html/2604.03088v3
• PDF：https://arxiv.org/pdf/2604.03088v3
• 官方实现：https://github.com/SJTU-IPADS/SkVM
• 官方基准数据：https://github.com/SJTU-IPADS/SkVM-data
• 合集关联：第 31 个视频在 06:15 提及 SkVM，并链接 https://www.bilibili.com/video/BV1qJZcBrE3p ，后者简介指向上述 v3 PDF。它是补充文献，不增加核心合集的 41 个视频数量。

已核验的方法、证据与资源

SkVM 先测量模型与 harness 的能力，再执行能力适配、依赖绑定和并行机会提取。Compensation 降低能力要求，Substitution 更换实现路径。运行时根据执行记录触发重编译及回滚，或将稳定代码模板提升为无需模型生成的函数；失败时回退。

论文从技能语料归纳出 26 种能力原语，在 118 个任务、八种模型、三种 harness 上评估，每个任务生成五个输入实例。报告负迁移任务比例由 15% 降至 4.5%；某一组合 token 节省接近 40%；并行提速最高 3.2×；PDF 提取的代码固化提速 19–50×。演示中的天气预报任务始终未通过固化门。这些是不同实验的指标，不能合并成通用加速倍数。

实验执行主机为 Mac Mini M4/16GB，不等于八种大模型都在本机运行。devstral-small/Qwen3-30B 的目标画像测量分别耗时 7.3/31.1 分钟、花费 $0.033/$0.079；这是论文时期的 profiling 数字，不包含完整编译、优化和评测费用。编译仍调用 LLM，能力覆盖、不确定性和成本摊销均需考虑。论文第 3–7 节

分析与局限

我们的判断：它的关键价值是生成“针对目标的可执行技能工件”，而不是假设一份 Markdown 技能天然适用于所有模型。应拆开验证四个问题：能力适配是否提高正确率；依赖预装是否只是消除了安装失败；并行调度是否降低延迟；重复工作能否改用普通程序完成。综合分数不能单独解释每个机制。

模板多次匹配只证明结构重复，不能证明任意输入下参数抽取都保留原意。应补测未见边界输入、输出格式变化、依赖漂移和错误固化比例。运行时异常容易发现，静默语义错误却未必触发回退。并发也需要识别共享状态，不能仅靠输出文本之间没有显式依赖来判断。这些是建议验证的问题，不是本次发现的实现漏洞。

不要将大规模技能语料数量当成实际执行任务数。论文引言中的平均提升“15.3%”，在分母和计算方式未明确前，不应改写成“15.3 个百分点”。无技能、原始技能、Skill-Creator 三种基线回答的问题不同，报告中应分别保留。

官方代码与版本审查

SJTU-IPADS 官方仓库公开且采用 MIT 许可证，提供 profiling、AOT 编译、JIT 优化和基准工具，并回链论文。当前代码已超出四月 v3 版本：五月新增默认进程内 pi 优化驱动及 Claude Code 适配器。数据子模块 README 列出 108 个技能、216 个任务，与论文任务数量不同。只有目标模型及适配器完全匹配时，才能复用预计算画像，省去再次 profiling。合成优化默认只有两个训练任务、一个留出任务，适合冒烟检查，不足以支持强统计结论。官方仓库

当前使用文档支持 vLLM/Ollama 等本地 OpenAI-compatible 端点；区分只执行的 run 与带评分的 bench，可分别评测原始、AOT 和 JIT 条件。重要陷阱：real 模式若省略 --test-tasks，会将训练任务也用作测试任务；存在测试集时，收敛判断使用测试分数。因此，还需一个完全不参与选择的最终测试集。部分适配器因上游未保存用量而报告 $0，不能将其解释为真实零成本。使用文档

可行的无付费复现方案

以下仅为建议的有限实验，尚未完成，也不等同于论文完整复现。

A. 不调用模型的确定性机制验证

构造小型离线技能集：处理 CSV 批次、转换本地 JSON、从人工生成的测试文件提取已知文本。提供明确的能力画像和编译工件，以避免 LLM 调用。检查版本选择、依赖检查幂等性、DAG 输出绑定、资源受限调度、连续结构匹配后的固化、结构变化时拒绝固化，以及注入错误后的回退。加入异常参数，以独立确定性检查器核对结果。

必须注明：手工编译工件或测试替身只能验证运行时机制，不能验证自动理解技能的能力。

B. 条件具备后的本地模型小试验

若有合适硬件和已安装模型，使用一个本地编译模型及一个目标模型，两者可以相同，先用 bare-agent 适配器。禁用付费服务路由，排除依赖外部 API 的任务。选择与实际机器匹配的小任务，在相同种子、步数预算、隔离工作目录下比较无技能、原始技能、AOT、JIT。分别记录画像、编译、优化和任务执行的 token。

“无 API 费用”不代表没有电费和算力消耗。下载大模型权重、安装软件或改变系统设置前，仍需相应授权。

C. 评测设计与停止条件

采用训练、验证、最终测试三份划分。只用训练/验证选择技能版本，选定后冻结，再运行最终测试。分别评测完整依赖与缺失依赖，单独测并行及编译收益；固化函数还应与直接手写函数比较。

优先记录任务正确性，其次是延迟分布、生成 token、编译成本、错误固化和回滚次数。出现不安全文件访问、意外联网、错误输出或预算耗尽时停止。报告失败和负迁移，不能仅展示成功案例。

D. 成本与复现边界

摊销必须包含准备和优化：盈亏平衡调用次数 = 一次性画像、编译、优化成本 ÷ 每次调用的正向节省。如果每次节省为零或负数，就不存在盈亏平衡点。没有实际报价和已批准预算时，先报告本地实测秒数与 token，不虚构美元收益。

固定论文版本、源码提交、数据子模块提交、模型文件及量化方式、提示词和技能版本。不能悄悄将当前仓库便利默认值及扩展数据集替代论文设置。一种模型的小试验无法验证跨模型可移植性或论文最大收益。

与核心合集的联系

SkVM 为 Trace2Skill/WikiSkill 生成或演化的技能提供面向具体目标的适配。EvoC2F 关注具有效应约束的工具计划编译和宏技能验证；SkVM 关注技能可移植性、能力匹配和运行时专门化。DSec 提供隔离执行资源，SkVM 决定技能如何表示和调度。这些是架构比较，不是原文提供的同场基准对比结果。