4. Inference-Time Intervention (Steering 与 Rollback)
模型生成到一半被发现越狱了, 或者被发现在编事实。这一刻你能做什么?
这份笔记把"检测之后的动作"整理成八类, 梳理 steering 和 rollback 两条主线的谱系、当前 SOTA 和还没被解决的问题。文献覆盖 2023.06 – 2026.08, 约 60 篇。
分类学是我为回答这个问题归纳的, 不是文献里的既有共识。要写进 related work 的话, 建议把 A1/A2 合并成 “continuous intervention”, A4/A5/A6 合并成 “generative rollback”, 更接近现有说法。
1. 先把术语对齐
这两个词在文献里各有好几个名字, 而且它们不是并列关系, 是同一个闭环里的两种不同动作。
Steering 的正式说法主要有三个:
- activation steering / activation addition: 往残差流里加一个方向向量
- representation engineering (RepE): 把这件事当成一个研究纲领
- inference-time intervention (ITI): 特指在选中的 attention head 上做位移
它们共享同一个假设: 高层概念在激活空间里近似是线性方向, 所以"诚实一点""少说有害内容"可以写成一个向量加法。它是连续的、不丢 token 的干预。
Rollback 的正式说法更散: backtracking, rewind, backspace, [RESET] token, self-backtracking, revision。共同点是离散的、要丢弃已生成 token 的干预: 承认前面那几个 token 走错了, 把它们扔掉, 从某个点重新解码。
关键的一点: 这两个词描述的是 action, 不是完整方案。 任何能上线的系统都是 detect -> decide -> act 三段。绝大多数论文只在其中一段做创新, 然后把另外两段固定成最简单的形式, 这导致文献看起来很碎。按这三段重新摆一遍, 地图就清楚了。
2. 统一框架: 三个问题
读任何一篇这个方向的论文, 只问三件事, 就能定位它在地图上的坐标。
2.1 在生成的哪个时刻介入
从早到晚: 输入侧 (prompt 分类器) -> prefill 完成时 (读第一批 hidden state) -> 每个 decode step (逐 token 探针) -> 句子/chunk 边界 (验证一句再放行) -> 完整输出之后 (post-hoc 重写) -> agent 提交动作之前 (发邮件、合 PR、转账那一刻的 gate)。
越早介入越便宜, 越晚介入信息越全。这条轴决定了你付多少延迟。
2.2 用什么信号判定"出事了"
- 输出分布类: token 熵、logit gap、semantic entropy (Farquhar 等, Nature 2024, 把语义等价的回答聚类后再算熵), semantic entropy probes
- 内部表征类: 线性探针读 hidden state。目前最主流也最便宜 —— refusal 方向 (Arditi 等 2024, 拒答由一个低维子空间中介), 逐 token 幻觉探针 (Obeso, Arditi, Ferrando, Nanda 等 2025, 把幻觉标注到实体级从而对齐到 token, 可流式跑, 扩到 70B)
- 注意力类: Lookback Lens (EMNLP 2024) 只用 attention map, 算"看上下文 vs 看自己刚生成的内容"的比值, 线性分类器就能测出上下文幻觉, 探针能从 7B 直接迁到 13B
- 外部裁判类: Llama Guard 这类 moderation 模型, Anthropic 的 constitutional classifiers, 检索验证, 或者让模型自评
- 轨迹类 (2026 年新趋势): 不看单点, 看 hidden state 在时间上的走向。TrajGuard 发现 decode 阶段的 hidden state 会逐步逼近潜空间里的高风险区域, 滑窗聚合比看输入 prompt 稳得多
2.3 判定之后做什么
这才是核心。同一个检测信号, 在同一个时刻触发, 三种动作对 token 流做的事完全不同, 而且它们对"检测延迟"的容忍度完全不同。这一点在文献里几乎没被摆到台面上讲, 但它决定了系统能不能落地。
1 | 越界发生 探针告警 |
[ ] 正常 token, [x] 越界 token, [~] 被丢弃, [S]/[R] 干预后重新产出。
注意最左边那段 detection delay d: 它对 steering 是永久损失, 对 rollback 只是重算开销, 对 block 则决定了流式输出必须缓冲多深。
3. 动作空间: 八类 action
按介入成本从低到高排。族系标记: [S] 连续干预 / [R] 离散回退 / [X] 终止与结构性。
A1 [S] Steer - 激活空间干预
在残差流或某几个 attention head 上加一个方向向量, 不动权重, 不丢 token。
- ITI (Li 等 2023): 在探针精度高的 head 上沿"真实性方向"位移
- CAA (Rimsky 等 2023): 用正负样本的激活均值差直接构造向量
- RepE (Zou 等 2023): 把这套做法系统化
优点是延迟几乎为零, 可微调强度。缺点是越界的那 d 个 token 追不回来, 而且 (见 §4) 它比大家以为的脆弱得多。
A2 [S] Reweight - 解码分布重加权
不碰激活, 只改 next-token 分布。
- SafeDecoding (ACL 2024): 训一个"安全专家"模型, 把安全免责声明类 token 的概率放大、把越狱目标 token 压下去
- DoLa: 用早晚层 logit 对比放大事实性
- TruthX: 在"真实空间"里编辑表征
- ShieldHead: 直接在输出层挂一个 token 级安全头做剪枝
和 A1 的区别是干预点: A1 改的是算出 logit 的过程, A2 改的是算完之后的分布。工程上 A2 更好挂, 因为只要一个 logits processor。
A3 [S] Selective steer - 只在必要时干预
A1/A2 的通病是无差别干预: 本来就安全的回答也被改坏了。这一族专门解决它。
- CAST (条件激活干预): 按上下文开关
- AlphaSteer (ICLR 2026): 把变换矩阵约束在良性激活的零空间里, 良性输入上向量近似为零, 恶意输入上才回归出拒答方向
- Value-Filtered Decoding (Gal, Romano 等 2026): 给"误干预概率"一个显式上界, 一个阈值超参就能调 safety 和 helpfulness 的交换率
这条线是目前最健康的方向: 它承认了 over-intervention 是真实成本, 而不是只报 ASR 下降。
A4 [R] Rollback - token 级回退重生成
核心动作。三个代表:
- RAIN (ICLR 2024): 完全 training-free, 在前向生成和后向 rewind 之间来回切, 中间插一次自评。LLaMA-30B 无害率 82% -> 97%
- Backtracking (Zhang 等, ICLR 2025): 训练模型自己吐一个
[RESET]token, 之后重新生成, 返回给用户时把 RESET 之前的全丢掉。但那段不安全前缀留在 context 里帮模型知道该避开什么。Llama-3-8B 攻击成功率 6.1% -> 1.5% - FASB (NeurIPS 2025): 把 A3 和 A4 缝在一起, 检测到偏离就退回几个 token, 再带着自适应强度的 steering 重新生成
这一族最关键的洞察来自 FASB 那句话: 检测到偏离之后才干预往往已经太晚 —— 所以必须能撤回。
A5 [R] Verify-and-revise - 句子/chunk 级验证重写
不逐 token, 而是生成一句 (或一个 chunk) 就验一次, 不合格就重写这一句再续。
- EVER: 对付"雪球效应" —— 早期的一个小错会在后文被不断放大, 所以必须当场纠正而不是等全文写完
- Lookback Lens Guided Decoding: 采样多个 chunk 候选, 用注意力探针打分选最不像幻觉的那个。XSum 上把上下文幻觉降了 9.6%
- ABack (ACL 2026 Findings): 在 RAG 里做企业隐私保护, 边生成边前瞻几个 token, 判断马上要泄露就回退改写意图
相比 A4, 语义边界更自然 (人类也是按句改), 但延迟抖动更大。
A6 [R] Search / resample - 树搜索与重采样
把回退推广成搜索。
- Self-Backtracking (2025): 让模型学会"何时、何处"回退, 再用基于回退能力的树搜索在推理时探索备选解。Llama3.2-1B 上提了约 40%
- Thought Anchors (ICLR 2026): 反过来用重采样做归因 —— 从某一句重新采样多条轨迹, 看最终答案分布变化多大, 从而找出真正扛事的推理步
- RLVR 相关工作: 证明 RL 比 SFT 更容易学到"高效回退"
警告: To Backtrack or Not to Backtrack (2025) 发现顺序搜索有时反而限制推理表现。回退不是免费的。
A7 Escalate - 换一条信息通路
判定"我不知道"之后, 不是自己硬编, 而是去拿证据。
- FLARE: 监控 token 置信度, 低了就把不确定的部分 mask 掉当查询去检索
- Self-RAG: 训练模型吐
[Retrieve]/[IsSupported]这类反思 token 自己决定要不要检索 - CRAG: 挂一个轻量检索评估器, 检索质量不够就触发 web search 兜底
往上还有: 调工具、升级到更强的模型、转人工。这一族在幻觉场景比在越狱场景重要得多, 因为幻觉的根因常常就是缺信息。
A8 [X] Halt / Abstain / 结构性修复
三个层次。
停: Anthropic 的 constitutional classifiers 用流式输出分类器, 每个 token 都能判整段输出的潜在危害, 检测到就立刻中断。3000+ 小时红队没找到通用越狱, 代价是过拒率 +0.38%、推理开销 +23.7%。TrajGuard (2026) 的滑窗轨迹检测器把这个开销压到 5.2 ms/token, 误报率 < 1.5%。
弃权: 直接说不知道, 或者显式表达不确定性。
结构性修复: 不在推理期解决, 而是改权重。Circuit Breakers (Zou 等, NeurIPS 2024) 用 LoRA 把有害表征重路由到与原表征正交的空间; persona vectors (Anthropic 2025) 更狠, 在微调的每一步注入抑制向量做预防性 steering, 从源头挡住人格漂移。
A8 是唯一能给出硬保证的一族, 也是唯一必然牺牲可用性的一族。
一句话记住这张表
A1–A3 改的是"接下来怎么说", A4–A6 改的是"刚才说过的话", A7 改的是"我凭什么说", A8 改的是"要不要说 / 还能不能说"。
真实系统一般是 A3 + A4 + A8 的组合: 便宜的连续干预兜住大部分, 回退处理漏网的, 分类器做最后一道硬闸。
4. Steering 谱系, 以及它比你想的脆
4.1 四代方法
| 代际 | 做法 | 代表 | 解决的问题 |
|---|---|---|---|
| G1 静态 | 正负样本激活均值差, 固定强度全程加 | ITI, CAA, RepE | 证明"概念是线性方向"可用 |
| G2 条件 | 按输入/上下文决定开不开、加多强 | CAST, SADI, 动态 steering vector | 无差别干预伤害良性输入 |
| G3 学习 | 把 steering 当成有约束的学习问题 | AlphaSteer (零空间约束), Value-Filtered Decoding (误干预上界) | 安全和效用的交换率没有理论保证 |
| G4 稀疏 | 在 SAE 特征空间而非稠密激活空间干预 | CC-Delta, REINS, GSAE | 稠密方向纠缠了太多无关概念 |
两条正交支线:
- 时机维度: persona vectors 做的是训练期预防性 steering, 不是推理期
- 控制维度: COMPASS (2025) 干脆把注意力调制写成一个 PID 控制器; Chain of Risk (2026) 给每条安全原则学一个 unsafe->safe 方向, 只激活当前隐状态更靠近 unsafe 质心的那几个
控制论的语言正在渗进来。
4.2 四个已证实的失效模式
1. 随机方向就能越狱。 The Rogue Scalpel (2025) 发现往随机方向 steer 能把有害顺从率从 0% 推到 2–27%; 从 SAE 里取的 1000 个良性特征里有 817 个具备越狱能力; 把 20 个能攻破单条 prompt 的随机向量组合起来就成了对未见请求也有效的通用攻击。作者结论很尖锐: 对模型内部的精确控制, 并不等于对模型行为的精确控制。
2. 干预可以被"恢复"。 SAE Interventions are Unreliable (2026) 把这件事形式化成一个残差空间优化问题: 从干预后的状态出发, 在保持被 clamp 特征取值不变的前提下扰动残差, 就能把被压住的行为找回来。在拒答 steering 这个安全关键场景上, 恢复成功率 95.8%。clamp 挡住的只是"一条可见的路", 不是行为本身。
3. 探针可以被绕过。 Obfuscated Activations (ICLR 2026) 对着 harmfulness 探针优化, 把 monitor 的 recall 从 100% 打到 0%, 同时保持 90% 的越狱成功率, SAE、表征探针、潜空间 OOD 检测全中招。唯一好消息是有"混淆税": 在写 SQL 这种复杂任务上, 躲监控会让模型变笨; 而且基于生成过程的探针比基于输入的探针更难骗。
4. 副作用普遍存在但可以提前预测。 SAE steering 的副作用可以沿两个轴刻画 —— 效果稳定性 (跨上下文一致吗) 和附带扩散 (扰动了多少无关特征)。2026 年的工作显示这些副作用能从干预前的特征统计量预测出来, 但预测得准的那个轴随模型而变, 还不是能直接用的工程结论。
5. Rollback 谱系, 以及没人算过的账
5.1 按粒度和触发方式分
| 粒度 | 怎么触发 | 代表 | 典型收益 |
|---|---|---|---|
| 整段重启 | 模型自己发 [RESET] (需训练) |
Backtracking, ICLR 2025 | ASR 6.1% -> 1.5% |
| token 组 | 自评打分后 rewind (training-free) | RAIN, ICLR 2024 | 无害率 82% -> 97% |
| k 个 token | 逐 token 探针检测到偏离 | FASB, NeurIPS 2025 | TruthfulQA 超基线 |
| 句子 | 生成一句就验证一句 | EVER | 抑制雪球效应 |
| chunk | 采样多候选, 探针选优 | Lookback Lens | XSum 幻觉 -9.6% |
| 实体前瞻 | 命中敏感实体后前瞻几步 | ABack, ACL 2026 | 综合分 +15% |
| 推理步 | 学到的 backtrack token + 树搜索 | Self-Backtracking | 1B 模型 +40% |
5.2 训练 vs 免训练, 是这一族的主要分岔
免训练路线 (RAIN, EVER, ABack, Lookback Lens) 的好处是能套在任何 checkpoint 上, 坏处是要么依赖模型自评 —— 而自评本身是不可靠的 —— 要么依赖外部验证器, 延迟不可控。
Huang 等 (ICLR 2024) 那篇经典结果值得反复引用: 在没有 oracle 反馈的条件下, GPT-3.5 只改对了 7.6% 的错误回答, 同时把 8.8% 本来对的改错了。净负。
所以任何把 A4/A5 建在"让模型自己检查一遍"上的方案, 都要先证明它的检测器比模型的自我判断强。
训练路线 ([RESET] token, self-backtracking) 把回退变成模型的原生能力, 检测和动作合一, 延迟最低。代价是要重新训, 而且回退能力会不会被后续微调洗掉, 目前没人系统研究过。
5.3 被系统性忽略的一笔账: 回退到底多贵
几乎所有 rollback 论文报的都是 accuracy / ASR, 没有一篇报 TTFT 退化或吞吐损失。
但从 serving 角度看, 回退 k 个 token 意味着: 截断 KV cache 的尾部 (这一步本身便宜), 但如果回退点跨了 chunk 边界或触发了重新 prefill, 成本就跳一个量级; 而在连续批处理的调度器里, 一个请求的回退会挤掉别人的 slot。已有的抢占研究说明这类"丢弃已生成 token 再重算"的开销是实打实的。
这是 safety 社区和 systems 社区之间一条没人走的桥。
6. Jailbreak 和 Hallucination: 看起来同构, 其实不是
它们共享同一套 detect-decide-act 骨架, 但底下的假设差别很大, 直接照搬方案会踩坑。
| Safety / jailbreak | Hallucination | |
|---|---|---|
| 对手模型 | 有主动对抗方, 会针对你的探针优化 | 无对手, 是模型的能力/知识边界问题 |
| ground truth | 相对清晰 (策略 + 红队标注) | 昂贵且常常不可判定, 要靠检索或人工核对 |
| 最好用的信号 | hidden state / refusal 方向, decode 轨迹 | 语义熵、注意力回看比、实体级探针 |
| 主导动作 | A8 停 + A3 选择性 steer | A5 验证重写 + A7 检索 + 弃权 |
| 误报的代价 | 过度拒答, 用户体验受损但可接受 | 不必要地打断/重写, 直接伤害流畅性和风格 |
| 漏报的代价 | 可能是灾难性且不可逆的 | 通常可通过后续澄清补救 |
| 因此的取舍 | 宁可多拦 (但见下面的反例) | 宁可少打断, 干预必须"选择性" |
反直觉的一点: 在 agent 场景里, "宁可多拦"这个直觉是错的。
SteerBench-Work (2026, 106 个源自真实事故的场景, 30 个模型配置) 测的是 agent 提交动作前的 gate 决策, 结果几乎单向: 模型错误拦下已被证据澄清的合法工作占 28.1%, 而错误放行不安全动作只占 1.0%。最难的恰恰是"风险已被签名证据解除"的提交。
更有意思的是, 模型在著名事故本身上得分 98.5%, 但在证据被反转的镜像版本上只有 63.8% —— 说明它在认模式而不是读证据。
7. 前沿在哪 (2025 下半 – 2026)
如果只跟五条线, 跟这五条。
1. 从"要不要干预"到"干预多少, 且误干预概率有上界"
AlphaSteer 用零空间约束保证良性输入上的干预近似为零; Value-Filtered Decoding 给出显式的 false-intervention 概率界。这是这个领域第一次有可证明的取舍旋钮, 而不是调超参看曲线。
2. 从"点检测"到"轨迹检测", 以及延迟被正式当成指标
TrajGuard 把 decode 期的 hidden state 序列当轨迹看, 滑窗累积风险, 12 种攻击平均防御率 95%, 5.2 ms/token。
更根本的一步是 Quickest Detection of Hallucination Onset (2026): 它指出 token 级检测器一直被当分类器用 AUC 评, 但流式监控真正的指标是反应延迟 —— 从幻觉开始到告警之间漏出去多少个 token。这篇把它形式化成变点检测, 给出 Lorden 下界约 1.3 个 token (误报率 0.01), 而现实中最好的学习型检测器要 11–13 个 token, 线性逐 token 基线要 31 个。
这个数量级的 gap 就是 §2.3 那张图里的 d。
3. 干预的对偶性: 防御方的工具就是攻击方的工具
Rogue Scalpel、Obfuscated Activations、SAE 恢复攻击这三篇放在一起看, 讲的是同一件事: 这套动作空间是双向的。任何"我能在推理期改变模型行为"的能力, 都同时是攻击面。2026 年开始有人正面研究这个对偶性 (包括"检测自己是否正在被 steer"这种题目), 但还很早期。
4. 推理模型改变了时间轴
Chain of Risk (2026) 在 41K prompt × 15 个开源/API 推理模型上发现两类高危分阶段失效: leak (推理过程不安全但最终答案看起来安全) 和 escape (推理看起来良性但最终答案不安全)。只看最终答案是不够的。
但在 thinking 段做干预有两个新代价: 一是可能伤推理能力 (顺序搜索有时反而更差), 二是会破坏 CoT 的可监控性 —— 而 CoT monitorability 本身被认为是一个"新的且脆弱的"安全机会。
5. 干预层从 token 上移到 agent 的动作边界
AgentSpec 这类工作把运行时约束形式化成可定制的策略; AgentTrust 在工具调用边界做 allow/warn/block 裁决并把 block 反馈回去让 agent 改计划; 也有工作开始讨论 AI 组件的生命周期兼容性检查与回滚。这一层的动作语义和 token 层完全不同, 见 G6。
8. 缺口
按我的判断排序, 上面的更值得做。
G1 没有人研究"动作选择"本身
现在的范式是: 一篇论文挑一个动作 (steer / rollback / block), 然后在自己的 benchmark 上打榜。但真实系统面对的问题是 —— 给定检测器的置信度、剩余延迟预算、已输出的 token 数、任务类型, 应该选哪个动作?
这是一个成本敏感的策略问题, 目前完全空白。没有统一的 action cost model, 没有 action-selection policy, 甚至没有一个把多个动作放在同一坐标系里比较的框架。这是我认为最大也最容易切入的口子。
G2 检测器的 OOD 泛化是整条链的天花板, 但被严重高估
representation-based 的幻觉检测器在 RAGTruth 上的 SOTA 表现主要由一个和数据的伪相关驱动; 控制掉这个效应之后, 它们并不比一个有监督线性探针强, 而所有方法的 OOD 表现都接近随机 (Samsung AI Warsaw, 2025)。
同时 obfuscated activations 说明面对主动对抗时探针可以被打到 recall 0。所有 action 都建在 detect 上, 而 detect 的鲁棒性评估几乎全是 in-distribution 的。
G3 延迟这个维度刚刚才有人认真对待
Quickest-detection 那篇把它形式化了, 但只是一篇单作者预印本, 而且只覆盖幻觉。整个领域仍然用 AUC / ASR 报结果, 没有标准做法去报"从越界到动作生效漏了多少 token"。
而这个数字恰恰决定了哪些动作可用: d 大的时候 steering 基本没意义, 只能用 rollback 或缓冲式 block。
G4 回退的系统开销没有被建模
没有一篇 rollback 论文报 KV cache 截断成本、重新 prefill 的概率、连续批处理下的调度影响, 或者端到端 TTFT/TPOT 退化。Safety 社区在 HuggingFace generate() 里做实验, systems 社区在 vLLM/SGLang 里做实验, 两边没有交集。
做一个 rollback-aware 的推理引擎, 或者哪怕只是把现有 rollback 方法在真实 serving stack 上量一遍, 就是一篇扎实的 MLSys 论文。
G5 过度干预是主导失效模式, 却按次要指标处理
SteerBench 的 28.1% vs 1.0% 说明在 agent 场景里, 假阳性比假阴性高一个数量级还多。但绝大多数论文的主指标仍是 ASR 下降, over-refusal 顶多在附录里放个 XSTest 数字。Value-Filtered Decoding 那种"给误干预概率上界"的思路应该成为标配而不是亮点。
G6 Agent 层的"回滚"根本没有语义
Token 级回滚的语义是干净的: 丢 KV, 重算。但 agent 已经把邮件发出去、把 PR 合了、把钱转了之后, "回滚"意味着补偿事务, 而不是撤销。
分布式系统里这套东西 (saga, compensating transaction, 幂等键) 已经很成熟了, 但没人把它和 LLM 的 backtracking 接起来。现在的 agent guardrail 全是 pre-commit 的 gate, 因为 post-commit 根本无法处理。
G7 评测碎片化到无法横向比较
没有任何一个 benchmark 同时测: 检测质量 + 动作质量 + 延迟 + 过度干预率 + 计算开销。结果是 steering 的论文和 rollback 的论文根本不在同一张表上出现过, 尽管它们解决的是同一个问题。
9. 映射回 DMI 的 Action 层
DMI 现在是 HookPoint + Ring² 的异步观测底座, 性能红利来自 decoupling, 下一步要做干预层。这份文献直接给出一个约束条件, 值得在动手之前就定下来。
核心张力: 异步换来了性能, 但也换掉了"及时行动"的能力。当 ring buffer 的消费端看到风险信号时, 前向计算已经往前跑了 d 个 token。而 §2.3 那张图说明, d > 0 对三类动作的杀伤力完全不同。
| 动作族 | 对 d 的容忍度 | 异步底座能不能支持 |
|---|---|---|
| A1–A3 steer | 几乎为零, 必须和前向同步 | 不能。要支持就得在 HookPoint 里放同步旁路, 那正好抵消掉 decoupling 的收益 |
| A4–A6 rollback | 高。只要还没交付, d 大只是多丢几个 token | 天然契合。异步检测 + 回退是这套架构的自然落点 |
| A8 halt | 取决于输出缓冲深度 | 能, 但需要输出侧缓冲 k >= d 个 token (constitutional classifiers 的流式输出分类器就是这么做的) |
所以如果我来设计 DMI 的 action 层, 顺序会是: 先做 A8 (带 k-token 输出缓冲的 halt), 再做 A4 (rollback), 最后才考虑要不要为 A3 开一条同步通道。理由是前两个能吃到 Ring² 的架构红利, 第三个会和它打架。
另外有一个现成的、可以直接拿来当卖点的指标: 把 quickest-detection 那套 CUSUM 框架搬到 ring buffer 消费端, 就能把 d 变成一个可测量、可优化的系统指标, 而不是一个隐藏假设。目前没有任何一个观测框架报这个数。这既是 DMI 的差异化, 也正好命中 G3 和 G4。
10. 读法建议
只读 5 篇 (半天)
| 论文 | 为什么读 |
|---|---|
| ITI (2306.03341) | steering 的原型, 读它建立直觉 |
| Backtracking Improves Generation Safety (2409.14586) | rollback 最干净的一篇 |
| FASB (2508.17621) | 唯一把两者缝在一起的, 也是这个问题的直接答案 |
| The Rogue Scalpel (2509.22067) | 读完会对 steering 保持清醒 |
| Quickest Detection of Hallucination Onset (2606.12476) | 把延迟这个维度立起来 |
再加 6 篇补齐版图
- RAIN (2309.07124) 免训练回退
- Lookback Lens (2407.07071) 注意力探针 + chunk 重采样
- AlphaSteer (2506.07022) 有约束的 steering
- Obfuscated Activations (2412.09565) 探针被绕过
- Constitutional Classifiers (2501.18837) 生产级流式拦截
- LLMs Cannot Self-Correct Reasoning Yet (2310.01798) 自评不可靠
综述类底座
- Representation Engineering 两篇 survey: 2502.17601, 2502.19649 —— 覆盖 steering 侧
- Training-free alignment survey (EMNLP 2025 Findings) —— 按 pre-decoding / in-decoding / post-decoding 分类, 和本文框架可互相印证
- 幻觉侧 lifecycle-based survey: 2608.26168
覆盖到 2026 年 8 月的公开预印本。2026 年的论文大多尚未同行评议, 数字按原文引用, 未独立复现。
