Imperfect World Models are Exploitable

Paper: arXiv:2605.15960v1 Code: 代码搜索未找到开源实现 Code reference: N/A（无公开仓库 commit anchor）

1. Motivation (研究动机)

这篇论文研究的是 model-based RL / world model planning 中一个比“预测误差”更直接的安全问题：如果智能体在一个近似转移模型 (\mathcal{T}’) 里规划，(\mathcal{T}’) 是否会把某个策略排在另一个策略前面，而真实环境转移模型 (\mathcal{T}) 恰好给出相反排序。论文把这种“策略偏好反转”定义为 model exploitation，它关心的是 world model 诱导的 policy ordering 是否可靠，而不是单步 next-state 预测是否足够准。

现有 model-based RL 理论通常把重点放在 value approximation、simulation lemma、value equivalence 或规划性能界上：只要近似模型能给出足够好的价值估计，策略性能就可控。但作者指出，对安全规划而言，“整体性能可控”不等于“不会被优化器利用”。一个 learned world model 即使整体误差小，也可能在策略空间某个方向上把本应变差的策略预测为变好，优化过程就会沿着这个方向选择在模型里更优、在真实环境里更差的策略。这与 reward hacking 的结构相似：reward hacking 是两个奖励函数 (\mathcal{R},\mathcal{R}’) 对策略排序相反；

model exploitation 则把奖励函数固定，换成两个转移模型 (\mathcal{T},\mathcal{T}’) 对策略排序相反。论文的动机不是提出一个新的 world model 训练算法，而是给出一个 ordinal safety criterion：world model 是否保留策略之间“谁更好”的排序。

问题值得研究的原因在于，许多高效规划系统必须依赖近似模型：真实环境交互昂贵，精确模型不可得，长 horizon rollout 会放大模型误差。如果“非平凡且非等价”的 world model 在大策略集上几乎不可避免地可被 exploit，那么仅靠更强的 optimizer 或更长的 imagined rollout 可能会系统性放大安全风险；相反，论文给出的 (\varepsilon)-exploitation 与 safe horizon 可以转化成“在给定模型 TV 距离与可容忍 value inversion 下，最多能安全规划多远”的设计约束。

2. Idea (核心思想)

核心洞察：reward hacking 和 model exploitation 本质上都是 value inversion。只要两个 value function 在同一策略集上诱导出相反的策略偏好，就存在可被优化器利用的方向；区别只在于 value function 的差异来源是 reward function 还是 transition model。论文的关键创新是把问题从“奖励函数几何”和“转移模型几何”中抽象出来，先证明一个关于非平凡、非等价 value functions 的一般定理：如果策略集包含 open subset，则必然存在 value inversion。

然后把 model exploitation、reward hacking 都作为该定理的 corollary。这样既绕开了 reward hacking 证明中依赖 visit-count linearity 的部分，也解释了为什么 reward hacking 的有限策略集结论不能直接搬到 transition model 上。与 Skalse et al. (2022) 的 reward hacking 结果相比，本文的根本差异是：reward hacking 中 (J) 对奖励向量是线性的，而 model exploitation 中 (J) 对策略和转移模型是有理函数 / 非线性结构。

作者因此先证明 finite MDP 下 (J(\pi)) 对策略 (\pi) 是 rational 且在 (\Pi^+) 上 real-analytic，再用梯度方向、局部反转和全局等价性建立统一理论。

3. Method (方法)

3.1 基本设定与符号

论文考虑有限 MDP： [ \mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{T},d_0,\mathcal{R},\gamma), ] 其中 (\mathcal{T}:\mathcal{S}\times\mathcal{A}\to\Delta(\mathcal{S}))，(d_0\in\Delta(\mathcal{S}))，(\mathcal{R}:\mathcal{S}\times\mathcal{A}\to\mathbb{R})，(\gamma\in[0,1))。

stationary policy 为 (\pi:\mathcal{S}\to\Delta(\mathcal{A}))，non-stationary policy 为 (\pi=(\pi_0,\pi_1,\ldots))。

policy value 写作 [ J(\pi)=\mathbb{E}{\tau\sim\pi}\left[\sum{t=0}^{\infty}\gamma^t r_t\right] =\langle \mathcal{R},\mathcal{F}^{\pi}{\mathcal{T}}\rangle, ] 其中 (\mathcal{F}^{\pi}{\mathcal{T}}(s,a)=\mathbb{E}{\tau\sim\pi}\left[\sum{t=0}^{\infty}\gamma^t\mathbf{1}(s_t=s,a_t=a)\right]) 是 discounted visit counts。

Notation	Meaning	Definition
(\mathcal{S})	State space
(\mathcal{A})	Action space
(\mathcal{T})	Transition model	(\mathcal{T}:\mathcal{S}\times\mathcal{A}\to\Delta(\mathcal{S}))
(d_0)	Initial state distribution	(d_0\in\Delta(\mathcal{S}))
(\mathcal{R})	Reward function	(\mathcal{R}:\mathcal{S}\times\mathcal{A}\to\mathbb{R})
(\gamma)	Discount factor	(\gamma\in[0,1))
(\mathcal{M})	Markov decision process	((\mathcal{S},\mathcal{A},\mathcal{T},d_0,\mathcal{R},\gamma))
(\mathcal{M}\setminus\mathcal{R})	Environment (MDP without reward)	((\mathcal{S},\mathcal{A},\mathcal{T},d_0,_,\gamma))
(\mathcal{M}\setminus\mathcal{T})	Task (MDP without transitions)	((\mathcal{S},\mathcal{A},_,d_0,\mathcal{R},\gamma))
(\pi)	Stationary policy	(\pi:\mathcal{S}\to\Delta(\mathcal{A}))
(\Pi)	Policy set
(\Pi^+)	Interior of all stationary policies	({\pi\in\Delta(\mathcal{A})^{
(\hat{\Pi})	Finite policy set
(\mathcal{F}^{\pi}_{\mathcal{T}}(s,a))	Discounted visit counts	(\sum_{t=0}^{\infty}\gamma^t\mathbf{1}(s_t=s,a_t=a))
(J(\pi))	Policy value	(\langle\mathcal{R},\mathcal{F}^{\pi}_{\mathcal{T}}\rangle)
(J_{\mathcal{T}}(\pi))	Value under transition model (\mathcal{T})	(\langle\mathcal{R},\mathcal{F}^{\pi}_{\mathcal{T}}\rangle)
(J_{\mathcal{R}}(\pi))	Value under reward function (\mathcal{R})	(\langle\mathcal{R},\mathcal{F}^{\pi}\rangle)
(J_i(\pi))	Value under (\mathcal{R}_i) or (\mathcal{T}_i)	context determines index
(V^{\pi}(s))	State-value function	(\mathbb{E}_{\tau\sim\pi}[G(\tau)\mid s_0=s])
(r^{\pi}(s))	Per-state expected reward	(\sum_a\pi(a
((\mathcal{R},\mathcal{R}’)) hackable	Reward hacking	(\exists_{\pi,\pi’\in\Pi}\ J_{\mathcal{R}}(\pi)>J_{\mathcal{R}}(\pi’)) and (J_{\mathcal{R}’}(\pi’)>J_{\mathcal{R}’}(\pi))
((\mathcal{T},\mathcal{T}’)) exploitable	Model exploitation	(\exists_{\pi,\pi’\in\Pi}\ J_{\mathcal{T}}(\pi)>J_{\mathcal{T}}(\pi’)) and (J_{\mathcal{T}’}(\pi’)>J_{\mathcal{T}’}(\pi))
Equivalent	Same policy ordering	(\forall_{\pi,\pi’\in\Pi}\ J_1(\pi)\ge J_1(\pi’)\Leftrightarrow J_2(\pi)\ge J_2(\pi’))
Trivial	Constant value	(\forall_{\pi,\pi’\in\Pi}\ J(\pi)=J(\pi’))

3.2 Model exploitation 与 reward hacking 的定义

Model exploitation 的定义是：固定 task ((\mathcal{S},\mathcal{A},_,d_0,\mathcal{R},\gamma)) 与策略集 (\Pi)，两个 transition functions (\mathcal{T},\mathcal{T}’) 若存在 (\pi,\pi’\in\Pi) 使得 [ J_{\mathcal{T}}(\pi)>J_{\mathcal{T}}(\pi’)\quad\text{and}\quad J_{\mathcal{T}’}(\pi’)>J_{\mathcal{T}’}(\pi), ] 则称它们 relative to (\Pi) and the task 是 exploitable；

否则是 unexploitable。直观上，一个模型认为 (\pi) 更好，另一个模型认为 (\pi’) 更好，优化器只要相信错误模型就可能选择真实环境中更差的策略。

Reward hacking 的对应定义是：固定 environment ((\mathcal{S},\mathcal{A},\mathcal{T},d_0,_,\gamma))，两个 reward functions (\mathcal{R},\mathcal{R}’) 若存在 (\pi,\pi’\in\Pi) 使得 [ J_{\mathcal{R}}(\pi)>J_{\mathcal{R}}(\pi’)\quad\text{and}\quad J_{\mathcal{R}’}(\pi’)>J_{\mathcal{R}’}(\pi), ] 则称它们 hackable。

二者统一为 value inversion：两个 value functions (J_1,J_2) 在 (\Pi) 上若存在策略对排序相反，即存在 (\pi,\pi’) 使 (J_1(\pi)>J_1(\pi’)) 且 (J_2(\pi’)>J_2(\pi))，则有 inversion。

Figure 1 解读：图 1 用一个 3-state MDP 展示 transition model 关系的 taxonomy。所有 panel 共享同一个 (\mathcal{T}_1)，但使用不同 (\mathcal{T}2)。策略由 (\pi\theta(a_0\mid s)=\theta) 参数化。(a) 中 (\mathcal{T}_2) trivial，(J_2) 为常数；(b) 中 (\mathcal{T}_1,\mathcal{T}_2) 虽数值不同但诱导相同排序；(c,d) 中两条 value curve 产生交叉式排序反转，虚线标出满足 exploitability 定义的 ((\pi,\pi’))。

3.3 为什么 reward hacking 结论不能直接迁移

论文先在所有 non-stationary policies (\Pi^{NS}) 上证明负面结论：任何 non-trivial、non-equivalent 的 transition model pair 都 exploitable。这说明在最大策略类中不存在有意义的 unexploitability。但对较小策略集，reward hacking 与 model exploitation 的几何不同。Reward hacking 中 (J_{\mathcal{R}}(\pi)=\langle\mathcal{R},\mathcal{F}^{\pi}\rangle) 对 reward vector 线性；

model exploitation 改变的是 (\mathcal{T})，它同时改变 visit counts，(J_{\mathcal{T}}(\pi)) 对 (\pi) 和 (\mathcal{T}) 的依赖是非线性的。因此 Skalse et al.关于有限策略集 unhackability 的条件不能直接保证 unexploitability。作者给出两个区分性结果。第一，Skalse et al.的有限策略集 theorem 还需要 non-collinearity：若 policy set 的 visit counts 共线，则任何 non-trivial、non-equivalent reward pair 都 hackable。

第二，存在一个满足 (\gamma>0)、reward 非平凡且 state-action-dependent、visit counts 非共线的 finite policy set，但任意 transition model pair 在该 policy set 上都 equivalent，因此无法得到 non-trivial、non-equivalent、unexploitable pair。这说明 model exploitation 的有限策略集刻画比 reward hacking 更难。

3.4 统一理论：rational value functions、局部反转与全局等价

关键技术步骤是证明 finite (\mathcal{S},\mathcal{A}) 下 policy value (J(\pi)) 是 (\pi) 的 rational function，且在 (\Pi^+) 上 real-analytic。证明思路来自 Bellman equation：令 [ \mathcal{R}^{\pi}(s)=\sum_a\pi(a|s)\mathcal{R}(s,a),\qquad P^{\pi}(s’|s)=\sum_a\pi(a|s)\mathcal{T}(s’|s,a), ] [ A=I-\gamma P^{\pi},\qquad A V^{\pi}=\mathcal{R}^{\pi}. ] 由于 (A^{-1}) 的每个元素可由 determinant / adjugate 表示，(V^{\pi}) 与 (J(\pi)=\sum_s d_0(s)V^{\pi}(s)) 都是 rational functions。 在此基础上，论文用两个互补 lemma 覆盖 policy space 中梯度关系的可能性。Local inversion lemma：若在某点 (\pi) 存在方向 (v)，使 [ \nabla_v J_2(\pi)<0<\nabla_v J_1(\pi), ]

则小步长构造 (\pi^{\pm}=\pi\pm\varepsilon v)，并由 Taylor expansion 得到 [ J_1(\pi^+)-J_1(\pi^-)=2\varepsilon\langle\nabla J_1(\pi),v\rangle+O(\varepsilon^2), ] [ J_2(\pi^-)-J_2(\pi^+)=-2\varepsilon\langle\nabla J_2(\pi),v\rangle+O(\varepsilon^2), ] 从而产生 value inversion。Global equivalence lemma：若在 open subset 上，两个 non-trivial value functions 的非零梯度处处正比例，则它们在整个 (\Pi) 上 equivalent；直觉是所有提高 (J_1) 的方向也提高 (J_2)，因此二者不能反转排序。

Figure 2 解读：图 2 把图 1 中 value curves 的梯度关系显式画出。(a) 中 (\nabla J_2) 消失，对应 trivial；(b) 中两个梯度同号，正比例梯度迫使策略排序一致；(c,d) 中梯度方向相反，在这些区域中沿某个 policy direction 前进会提升一个模型下的价值、降低另一个模型下的价值，从而构造 exploitability。

由此得到主定理：若 (J_1,J_2) 是 non-trivial、non-equivalent value functions，且 policy set 包含 open subset，则它们必然 admit a value inversion。直接 corollary 是：任何 policy set 只要包含 open subset，每一对 non-trivial、non-equivalent transition models 都 exploitable。该结论进一步覆盖三类常见策略集：(i) all stationary policies，(ii) (\varepsilon)-suboptimal policies with (\varepsilon>0)，(iii) (\delta)-deterministic policies with (\delta<1)。

3.5 (\varepsilon)-exploitation 与 safe horizon

二元 exploitability 太严格：非常小、罕见的排序反转未必有安全意义。论文因此定义 (\varepsilon)-exploitation：若存在 (\pi,\pi’\in\Pi) 使 [ J_{\mathcal{T}}(\pi)-J_{\mathcal{T}}(\pi’)>\varepsilon \quad\text{and}\quad J_{\mathcal{T}’}(\pi’)-J_{\mathcal{T}’}(\pi)>\varepsilon, ] 则 transition pair 是 (\varepsilon)-exploitable；否则是 (\varepsilon)-unexploitable。

令 reward bounded：(\mathcal{R}:\mathcal{S}\times\mathcal{A}\to[0,1])，并令两个 distinct transition models 的最大 total variation distance 为 [ \delta=\frac{1}{2}\max_{s,a}\lVert\mathcal{T}(\cdot\mid s,a)-\mathcal{T}’(\cdot\mid s,a)\rVert_1. ] 论文基于 tight simulation lemma 给出 safe horizon：对任意 (\varepsilon>0)，定义

[ H(\varepsilon,\delta)=\frac{(1+\varepsilon)+\sqrt{(1-\varepsilon)^2+4\varepsilon/\delta}}{2}. ] 若有效 horizon 满足 [ \frac{1}{1-\gamma}\le H(\varepsilon,\delta), ] 则任意 ((\mathcal{T},\mathcal{T}’)) 在任意 policy set (\Pi) 上都是 (\varepsilon)-unexploitable，且该界是 tight。推导中设 (h=1/(1-\gamma))，tight simulation lemma 给出对任意 (\pi)：

[ |J_1(\pi)-J_2(\pi)|\le B, \qquad B=h-\frac{h}{1-(1-h)\delta}. ]

若存在 (\varepsilon)-exploitation，则两条 defining inequalities 相加得到 [ \underbrace{(J_1(\pi)-J_2(\pi))}{\le B}+ \underbrace{(J_2(\pi’)-J_1(\pi’))}{\le B}>2\varepsilon, ] 因此 (B>\varepsilon)。反过来说，(B\le\varepsilon) 就能保证 (\varepsilon)-unexploitability。更易记的 sufficient condition 是 square-root heuristic：若 [ \frac{1}{1-\gamma}<\sqrt{\varepsilon/\delta}, ] 则 ((\mathcal{T},\mathcal{T}’)) 是 (\varepsilon)-unexploitable。

Figure 3 解读：图 3 把 (\varepsilon)-exploitation 与 safe horizon 具体化。(a,b) 复用图 1(c,d) 的 exploitable transition pairs，并标出 exploiting policies；(a) 是 (0.3)-exploitable，(b) 是 (2)-exploitable。(c) 是 (H(\varepsilon,\delta)) 的 contour plot：给定容忍反转幅度 (\varepsilon) 和转移模型 TV 距离 (\delta)，等高线给出仍能保证 (\varepsilon)-unexploitability 的最大有效 horizon (1/(1-\gamma))。

3.6 Method/code area

代码搜索未找到开源实现。检索了论文 HTML / arXiv source、精确标题 GitHub 搜索、作者与方法名组合搜索；未发现 public GitHub repo 或 project page。arXiv source package 里包含 anc/quad.py、anc/trio.py 作为作图 / ancillary 脚本，但不是论文方法的 released implementation，因此没有可记录的 github_ref 或 code-to-paper mapping commit anchor。

概念性伪代码如下，仅用于把论文定义转成可检查的逻辑，不对应公开实现：

import torch
 
 
def is_model_exploitable(values_T, values_T_prime, eps=0.0):
    """values_*: tensors of shape [num_policies]."""
    diff_true = values_T[:, None] - values_T[None, :]
    diff_model = values_T_prime[None, :] - values_T_prime[:, None]
    witness = (diff_true > eps) & (diff_model > eps)
    return bool(witness.any()), torch.nonzero(witness, as_tuple=False)
 
 
def safe_horizon(epsilon, delta):
    epsilon = torch.as_tensor(epsilon, dtype=torch.float64)
    delta = torch.as_tensor(delta, dtype=torch.float64)
    return ((1 + epsilon) + torch.sqrt((1 - epsilon) ** 2 + 4 * epsilon / delta)) / 2
 
 
def epsilon_unexploitable_guaranteed(gamma, epsilon, delta):
    effective_horizon = 1.0 / (1.0 - gamma)
    return effective_horizon <= safe_horizon(epsilon, delta)

4. Experimental Setup (实验设置)

这是一篇理论论文，没有训练数据集、神经网络训练、硬件配置或 learned model benchmark。实验性材料主要是用于说明 theorem geometry 的 toy MDP、随机搜索出的 transition matrices、以及 appendix 中对 safe-horizon bound 的数值对比。 数据 / 环境设置：主图使用一个 3-state MDP，(\mathcal{S}={s_0,s_1,s_2})，(\mathcal{A}={a_0,a_1})，(\mathcal{R}(s,a)=\mathbf{1}{s=s_0})，(\gamma=0.9)，(d_0=(1/3,1/3,1/3))。策略由单参数 (\pi_\theta(a_0\mid s)=\theta) for all (s\in\mathcal{S}) 表示。共享的 (\mathcal{T}1) 为 [ P{a_0}^{(1)}=\begin{pmatrix} 0.7&0.2&0.1\ 0.5&0.3&0.2\ 0.4&0.3&0.3 \end{pmatrix},\qquad P_{a_1}^{(1)}=\begin{pmatrix} 0.1&0.3&0.6\ 0.1&0.2&0.7\ 0.1&0.1&0.8 \end{pmatrix}. ]

Figure 1(a) 的 trivial (\mathcal{T}_2) 使两个 action 具有相同 transition：

[ P_{a_0}^{(2a)}=P_{a_1}^{(2a)}=\begin{pmatrix} 0.4&0.3&0.3\ 0.2&0.5&0.3\ 0.3&0.3&0.4 \end{pmatrix}. ]

Figure 1(b) 的 equivalent (\mathcal{T}_2) 由 (\mathcal{T}_1) 与 uniform kernel 以 mixing weight (\alpha=0.3) 混合得到，即 (\mathcal{T}_2(s’\mid s,a)=0.7\mathcal{T}_1(s’\mid s,a)+0.3/|\mathcal{S}|)：

[ P_{a_0}^{(2b)}=\begin{pmatrix} 0.59&0.24&0.17\ 0.45&0.31&0.24\ 0.38&0.31&0.31 \end{pmatrix},\qquad P_{a_1}^{(2b)}=\begin{pmatrix} 0.17&0.31&0.52\ 0.17&0.24&0.59\ 0.17&0.17&0.66 \end{pmatrix}. ] 比较对象 / baselines：论文主要对比并扩展 Skalse et al. (2022) 的 reward hacking 定义与 theorem；

safe horizon 部分使用 Kearns and Singh (2002) 的 simulation lemma 以及 Lobel and Parr (2024) 的 tight form。评价指标：核心指标不是 accuracy，而是 ordinal / value-based quantity：是否存在 value inversion、是否 (\varepsilon)-exploitable、transition-pair 的最大 TV distance (\delta)、actual exploitation gap、safe-horizon tight bound 与 square-root heuristic bound。训练配置：不适用。

文中 Figure 1(c,d) 的 exploitable (\mathcal{T}_2) 是通过对 Dirichlet-distributed random transition matrices 的 computational search 找到；arXiv source 中保留了 anc/quad.py 与 anc/trio.py 作图相关脚本。

5. Experimental Results (实验结果)

主要理论结果可以按强度分为三层。第一，在所有 non-stationary policies 上，任何 non-trivial、non-equivalent transition model pair 都 exploitable。这是最强策略类上的不可能性结果。第二，在任何包含 open subset 的 policy set 上，任何 non-trivial、non-equivalent value functions 都存在 value inversion；

因此 imperfect world models 在 all stationary policies、(\varepsilon)-suboptimal policies、(\delta)-deterministic policies 上都不可避免地 exploitable。第三，若把二元 exploitability 放宽为 (\varepsilon)-exploitation，则可通过模型 TV 距离 (\delta) 和有效 horizon (1/(1-\gamma)) 得到充分且 tight 的安全规划界。

论文最重要的结论是 Corollary 1：在任何包含 open subset 的 policy set 上，每一对 non-trivial、non-equivalent transition models 都 exploitable。这个结果排除了一个常见希望：只要限制到“合理策略”就能避免 exploitation。作者进一步说明，(\varepsilon)-suboptimal policies 与 (\delta)-deterministic policies 也落入该结论覆盖范围，因此即便排除高熵随机策略或明显糟糕策略，排序反转仍不可避免。

Appendix 的数值表给出了图中四类 transition relationships 的 exploitation gaps 与 bound 对比，在 (\gamma=0.9) 下：

Panel	Relationship	(\delta)	Actual gap	Safe-horizon bound (tight)	Square-root bound (loose)
(a)	Trivial	0.40	0	7.83	40
(b)	Equivalent	0.14	0	5.58	14
(c)	Exploitable	0.81	0.66	8.79	81
(d)	Exploitable	0.64	4.35	8.52	64

表格解读：actual gap 是该 transition pair 最大的 (\varepsilon)-exploitation 幅度；safe-horizon bound 与 square-root bound 给出高于哪个 (\varepsilon) 时可保证 (\varepsilon)-unexploitability。两者都 conservative，但 tight bound 明显比 square-root heuristic 更不松。消融 / 反例式发现主要集中在有限策略集。

论文指出，reward hacking 的某些 finite-policy unhackability 条件不能保证 model exploitation 的 analogous result；即使排除了 (\gamma=0)、reward 退化、visit-count collinearity 等问题，也存在有限策略集上所有 transition model pairs 都 equivalent 的构造。这不是数值 ablation，而是说明“model exploitation 的有限策略集刻画尚未有简单必要充分条件”。局限性有三点。第一，结果沿用有限 state/action MDP 设定，连续空间与 POMDP 仍待扩展。

第二，binary exploitation 定义较严格，小而罕见的 value inversion 未必构成实际安全风险；(\varepsilon)-exploitation 是初步缓解，但还可以引入更细粒度的 exploitability measure。第三，目前没有 known closed-form necessary and sufficient conditions 来保证 finite policy sets 上的 unexploitability，后续可能从 special finite policy sets 或 linear MDP 中寻找可刻画情形。