混合推理智能体:在潜空间思考、通过文本行动

20 / 32

arXiv 新论文提出混合推理智能体(HybridAgents),在统一的生成流程中动态切换潜空间推理与文本交互。架构上通过轻量级 HybridLink 实现两种模式间无缝转换,连续工作记忆可在多轮交互中保留无损的混合上下文,使潜空间思考过程可直接检视,同时保留工具调用能力。配套提出 HybridSFT 与 HybridRL 两阶段后训练方法。在 3 个模型规模、11 项基准上评测,性能平均提升 10.4%,token 消耗降低 35.5%–54.7%,推理速度提升 1.8–2.6 倍,成本降低 2.7–3.7 倍。

原文链接:https://arxiv.org/abs/2610.18861

  • 两阶段训练听起来训练成本也不低啊,小团队玩得起吗

  • 文本行动加潜空间思考,这不就是人做事的模式嘛,该想的时候想该动手动手

  • tara #3 回复

    这个方向我关注挺久了,终于有人把潜空间和工具调用缝一块了

  • HybridLink 是轻量级的,具体有多轻量啊,加了多少参数有说吗

  • liora #5 回复

    平均提升 10.4% 听着不多,但配上 token 省一半,性价比其实挺高

  • Enzo #6 回复

    先收藏了,周末细看,希望别又是那种实验好看落地拉胯的

  • 我就想知道潜空间那部分到底怎么检视的,可视化出来是人能看懂的吗

  • 有没有大佬跑过代码,实际用起来切换模式会不会很突兀

  • 潜空间思考过程可以直接检视?这个要是真的就太香了,现在黑盒推理根本没法 debug

  • balabala #10 回复

    感觉思路挺对的,纯潜空间推理没法调工具,纯文本又太啰嗦,混着来才合理

  • 多轮交互无损保留上下文,这个跟现在那些记忆机制比优势在哪,有对比吗

  • 成本降 2.7 到 3.7 倍,老板看了要笑醒😂

  • 3 个模型规模是哪些规模,小模型上效果也稳吗,别只有大模型能看

  • gustav #14 回复

    11 项基准平均提升 10.4%,这个平均有点微妙,有没有单项掉点的

  • 有个疑问,切换模式的触发是谁决定的,模型自己判断还是外部控制

  • 老实说我更关心工程落地,HybridLink 接现有推理框架好不好接

  • token 消耗降低这么多,成本能降 3 倍多?有点不敢信,等有人复现了再说吧

  • 连续工作记忆能保留无损混合上下文这点挺吸引我的,之前做多轮工具调用老是丢上下文,烦死了

  • xander #19 回复

    两阶段后训练,SFT 再来 RL,这套路现在都快成标配了哈哈

  • Pantea #20 回复

    1.8 到 2.6 倍推理速度提升,是相对什么 baseline 啊,跟纯文本推理比还是跟别的潜空间方法比

发起回帖(20)