谷歌在RSI领域取得了新突破,并将成果开源。
这个项目名为 Harness²,它能让大模型在运行过程中,自主修改外挂代码、系统提示词、工具链以及技能库。
没错,这正是Harness层面的递归自我改进(RSI)。
其效果相当显著。
GLM-5在接入Harness²后,在WorkBuddy-Bench办公基准测试中,综合得分直接跃升了11.5分。
瞬间超越了原生版本的Gemini 3.5 Flash。
整个过程无需更改模型权重,只需优化其外部的运行框架。
这是一种效果惊人的外挂手段,任何模型套用后,得分都能立刻飙升。
目前,该项目已完全开源,并已支持OpenCode和Codex。
为何“自我改进”总是失败
过去,业界为了让Agent变得更聪明,尝试过多种递归自我改进(RSI)方法。
思路听起来很理想:让AI自己写代码、修改提示词、优化系统。但一旦将其放入真实的开放环境,几乎都以失败告终。
原因何在?
主要卡在两个关键问题上:
缺乏标准答案。
在实验室刷题时有单元测试,有标准答案告诉你对错。但在真实工作场景中,撰写商业计划书、审核法律合同,线上根本无人为你评分。
AI自己修改了一版Prompt,它如何判断修改后是变得更聪明还是在胡编乱造?
过度拟合单一任务。
好不容易为了修复某个任务,对框架进行了魔改,结果下一个任务是编写爬虫,之前修改的规则全都成了负担。
直接将修改后的框架套用到下一个任务,系统很快就会陷入噪声螺旋,越改越差。
谷歌团队此次提出的Harness²,正是针对这两个关键问题开刀。
他们构建了一套双层递归架构。
双层递归:一边做实验,一边记笔记
Harness²名称中的“平方”,指的就是两层相互嵌套的递归循环:任务级递归和改进级递归。
第一层,任务级递归:在没有标准答案的情况下进行对照实验。
面对当前的新任务,系统先用初始框架运行出一个参考轨迹。这个结果正确与否暂且不论,核心是观察模型在执行过程中暴露了哪些缺陷。
随后,它会启动一套名为 Propose–Probe–Compose(提议-探测-合成) 的机制:
Propose(提议):
由专门的编辑角色,针对刚才的轨迹提出两套修改方案。
一套是“通用缺陷修补”,专门处理跨领域的常见问题,例如规划混乱、工具调用死循环、上下文溢出;
另一套是“领域专属修补”,专门针对当前业务的特定知识和约束。
Probe(探测):
将这两套修改后的候选框架,重新放回同一个任务中分别运行。
没有裁判也没关系,系统会抓取它们的执行轨迹与参考轨迹进行行为对比。观察改动是否解决了之前卡住的步骤,是否引发了新的逻辑退化。
Compose(合成):
合成器将所有执行证据汇总,挑选出那些被行为证据证明有效的改动,并将它们合并到最终的执行框架中。
这还没完。它还支持并行扩展,可以一次生成k组通用和领域候选方案,共2k个候选框架,并发探测后再进行k次独立合成,进一步扩大搜索范围。
第二层,改进级递归:将修改框架的经验沉淀为元能力。
当前任务完成、交付物交出后,许多系统的生命周期就结束了。
但Harness²真正厉害的地方在后面——
它将整个调试记录(包括参考轨迹、候选修改、对比证据、合成决策)交给反思模块。
反思模块复盘后,会编写一份EXPERIENCE.md文件,将这次为何这样修改、在什么条件下有效、带来了什么后果,清晰地存入持续改进经验库。
等到下一个新任务进来时:
执行端拿到的,依然是一个干净的基础框架。
但负责修改框架的“改进大脑”,手中已经掌握了厚厚的历史经验手册。在提议和合成阶段,它能直接检索过往相似场景下的有效组件和避坑指南。
改进的不仅是眼前的框架,更是未来改进框架的能力。
这就将单次任务的临时修补,转变成了终身学习的认知资产。
跑分实测
机制讲得再好,最终也要用真实战场的数据来说话。
团队直接选用了三个分量十足的硬核职业基准:
WorkBuddy-Bench:涵盖代码、网页、办公套件三大高难度办公工作流;
JobBench:长程端到端复杂专业岗位任务;
LAB:Harvey开源的最高级别法律智能体基准。
基础模型选用了Gemini 3.5 Flash和GLM-5,执行框架则选用了开源主流的OpenCode和Codex。
结果非常惊人。
在WorkBuddy-Bench测试中,仅进行单步Harness²改进:
GLM-5在OpenCode下综合得分从64.2飙升至75.7,暴涨11.5分;在Codex下也从64.4飙升至75.3。
Gemini 3.5 Flash在OpenCode下从72.4提升至77.5,在Codex下从74.5提升至77.5。
你看这个数据:
经过框架优化的GLM-5(75.7分 / 75.3分),直接击败了未优化框架的原版Gemini 3.5 Flash(72.4分 / 74.5分)。
在端到端岗位任务的JobBench上,单步改进同样带来了全面提升,Gemini 3.5 Flash上涨了4.5分,GLM-5上涨了3.6分;在法律基准LAB上,GLM-5的部分通过率直接提高了11.8个百分点。
如果将并行预算提升到k=5,性能还会进一步提升:WorkBuddy-Bench最高再涨3.9分,JobBench再涨4.2分,LAB通过率再涨6.7个百分点。
更令人惊叹的是经验库的跨领域迁移测试。
团队将在JobBench上积累的经验库迁移到WorkBuddy-Bench,在不增加额外探测预算的情况下,辅助单步Harness改进,最终让代码、网页、办公三项得分分别再提高0.6分、0.5分和2.9分。
过去两年,人们对AI的期待几乎全部押注在“基础模型Scaling”上,总觉得只要等下一代GPT出来,手头的应用问题就迎刃而解了。
但现实给所有从业者泼了一盆冷水:基础模型越来越昂贵,边际效益正在放缓,而落地场景中的长尾问题依然无穷无尽。
你给模型再大的上下文窗口,它在处理跨文件对账时依然会偷懒;你给它再高的跑分,它写完报告依然不会主动打开文件去校验格式。
这些东西,靠预训练参数是永远无法解决的。
它需要的是一套能在运行中自我感知、自我修补、持续进化的Runtime认知工程。
以前我们搭建框架,是工程师坐在电脑前一条一条手写Prompt、配置工具、修复管道,累得半死还到处漏风。
现在Harness²证明了一条新路:
将规则制定的权力,交还给Agent自己。
论文作者
最后,惯例介绍一下论文作者。
一共9位,而且华人比例极高,高达78%。
由于文章篇幅有限,这里按顺序介绍三位。
Ruiyao Xu,论文第一作者兼通讯作者。
美国西北大学统计与数据科学系博士生,导师为Kaize Ding。
主要研究方向包括大语言模型、图机器学习、异常检测及AI Agent系统。
这篇论文,正是他在谷歌实习期间的工作。
Yanfei Chen,Google Cloud AI Research资深研究工程师。
本科毕业于北京大学,主修电气工程与经济学,2018年获得美国匹兹堡大学工业工程博士学位。
此后曾在机器学习公司Qeexo担任研究工程师,2020年加入谷歌,参与过Vertex AI Search、Gemini Enterprise Deep Research等项目,主要研究大语言模型智能体、检索增强生成及工具学习。
Zhongying CuiZhu,也叫Zoey CuiZhu,Google Cloud AI Research研究工程师。
2019年获得斯坦福大学电气工程博士学位,主要研究通用智能体、可验证智能体及智能体质量评估。
参考链接:
[1] https://arxiv.org/html/2610.14224v1
本文来自微信公众号“量子位”,作者:Jay,36氪经授权发布。







在所有比较方法均针对移动端优化,支持碎片化场景高效使用。方面,开云体育网址提供贴心周到的支持。
开云体育网址专注开云彩票,为用户提供专业可靠的体验。