VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models

Paper: arXiv:2505.23656 Code: aHapBean/VideoREPA Code reference: main @ 8d581dc3 (2026-03-06)

1. Motivation (研究动机)

VideoREPA 的核心问题不是“视频是否清晰”，而是“视频是否像真实世界那样运动和相互作用”。现有 Text-to-Video diffusion models（例如 CogVideoX、HunyuanVideo、VideoCrafter2）已经能生成高保真、语义上较一致的视频，但在物理常识上仍然常出错：物体会无支撑悬浮、刚体运动不连续、接触关系突然消失、流体/固体交互不符合直觉，或者物体形状在运动中发生非物理变形。论文把这种问题定位为 T2V 模型内部的 physics understanding gap：生成模型虽然见过海量视频，却不一定在中间表示里学到了足够可靠的物理关系。

Figure 1 解读：左侧展示 CogVideoX、直接加 REPA 的 CogVideoX、VideoREPA 的定性差别，红框标出违反物理常识的局部现象；右侧用 Physion 的 Object Contact Prediction (OCP) 任务衡量表示里的物理理解能力。关键信息是：小得多的 self-supervised VideoMAEv2 在 OCP 上比大型 T2V 模型 CogVideoX 更懂物理，而 VideoREPA 通过对齐 VDM 的中间表示与 VideoMAEv2 表示，缩小了这个理解差距。

这篇论文的出发点可以分成三层。第一，物理合理性是把视频生成模型推进到 world simulator 的必要条件；如果模型不能稳定表达接触、支撑、轨迹、流体扩散、刚体滚动等关系，它就很难服务于机器人、自动驾驶、具身仿真和交互式内容生成。第二，现有 physics-aware video generation 方法往往依赖显式物理标签、专门采集的物理现象数据或 prompt 分解。例如 WISA 使用 WISA-32K 这类显式物理数据并按物理类别组织专家模块，但这会带来物理类别边界难定义、开放域数据泛化困难、数据扩展成本高等问题。第三，self-supervised video foundation models（VFMs）在物理理解任务上已经表现出较强能力，说明“把理解模型中的物理关系蒸馏到生成模型”是一条比人工规则或显式仿真更可扩展的路线。

论文要解决的具体目标是：在不重训整个 T2V 模型、不引入推理时外部视频输入、不依赖物理显式数据集的前提下，把 VFM 中学到的 spatio-temporal physics knowledge 注入到预训练 VDM（文中主要是 CogVideoX-2B/5B）中，使生成视频在 VideoPhy、VideoPhy2 等物理常识评测上更好，同时尽量不破坏原模型的语义遵循和视觉质量。这个问题值得研究，是因为它连接了两个原本分离的能力：VideoMAEv2/V-JEPA 等理解模型擅长从视频中抽取动态关系，CogVideoX 等生成模型擅长从文本生成视频；VideoREPA 试图证明“理解帮助生成”不仅能用于 image editing 或 image-conditioned video generation，也能用于开放域 T2V 的物理常识提升。

一个重要动机是：直接使用 VFM 作为推理时模块并不自然。T2V 生成时输入是文本 prompt，而 VFM 需要视频输入；生成过程中尚未有最终视频可供 VFM 判断，因此很难像 text encoder 那样直接把更强的理解模型插到 pipeline 里。VideoREPA 选择在 finetuning 阶段使用 VFM 作为 teacher，把 teacher 对真实训练视频的 token relation 传给 VDM 的中间隐藏状态；推理时则只保留 finetuned VDM，不额外调用 VFM。这使它更接近知识蒸馏/表示对齐，而不是 classifier guidance 或 reward reranking。

2. Idea (核心思想)

VideoREPA 的核心洞察是：物理常识不只存在于单个 token 的绝对 feature value 中，更体现在 token 与 token 之间的关系结构里；因此不要强迫 VDM 的 token feature 逐点等于 VFM feature，而要让它们的 pairwise token similarities 在空间和时间维度上相似。换句话说，VideoREPA 蒸馏的是“同一帧内部哪些区域应该保持形状/接触关系、不同帧之间哪些 token 应该形成连续运动关系”，而不是蒸馏某个孤立 feature 向量。

这篇论文的关键创新是 Token Relation Distillation (TRD) loss。它从 frozen video foundation model（默认 VideoMAEv2）中提取训练视频的 spatio-temporal token 表示，同时从 CogVideoX denoising transformer 的指定层取出中间隐藏状态；经过维度对齐后，分别计算同帧 token 的空间相似度与跨帧 token 的时间相似度，并用 relation-level L1 / margin loss 对齐两者。由于 TRD 对齐的是关系矩阵，它比传统 REPA 的 hard feature alignment 更“软”，更适合在预训练 VDM 上 finetune，而不容易把原本已经学好的语义/视觉空间拉坏。

它与现有方法的根本区别在于对齐对象和训练目标不同。标准 REPA 主要面向 image diffusion transformer 的从头训练或加速收敛，常用 DINOv2 等 image encoder 做直接 feature cosine alignment，关注空间语义而非视频物理动态。VideoREPA 面向已经预训练好的 T2V diffusion transformer 的物理知识注入，teacher 是 video SSL model，student 是 VDM 的中间层，目标是 token relation 而不是 token value，并显式包含 temporal relations。与 WISA 相比，VideoREPA 不需要把 prompt 拆成物理类别，也不需要只在物理显式数据上训练；论文用 OpenVid 这种开放域数据做 finetuning，仍在 VideoPhy 上超过 WISA 在 Koala 数据上的结果。

3. Method (方法)

3.1 Overall framework：用 VFM 关系结构监督 CogVideoX 中间表示

VideoREPA 以 CogVideoX 为 base VDM。训练时，真实视频 $V$ 先经 CogVideoX 的 3D VAE 编码成 latent $z$ ，加噪得到 $z_{t}$ ，denoising transformer $f_{θ}$ 预测噪声并提供中间 hidden state $h_{t}$ ；同一个真实视频也输入 frozen VFM encoder $E_{v}$ 得到 teacher features $y_{v}$ 。VideoREPA 在 denoising transformer 的某一层（默认第 18 层）接一个 MLP projector $h_{ϕ}$ ，把 VDM hidden state 投影到 VFM feature dimension $D = 768$ ，再计算二者的 token relation matrices。

Figure 2 解读：图中左侧是 CogVideoX 的常规 diffusion training path，包括 VAE encoder、MM-DiT blocks、diffusion loss；右侧是 frozen pre-trained video encoder 作为 teacher。VideoREPA 在中间 MM-DiT block 取 hidden states，经 Dimension Alignment 后，与 VFM features 计算 Spatial Relation 和 Temporal Relation，再通过 TRD loss 监督 student。图的重点是 relation alignment：同一表示内部 token 之间先形成关系矩阵，再对齐两个关系矩阵，而不是直接让 VDM token 与 VFM token 做一一 feature regression。

直觉上，物理合理性需要同时满足两个约束：同一帧里物体局部结构要稳定，例如球、砖块、液体边界不能无故变形；跨帧之间运动关系要连续，例如滚动方向、接触状态、重力下落趋势不能突然跳变。直接对齐 feature 值会要求 VDM 表示落入 VFM 的 feature space，但这两个模型的训练目标和 latent geometry 差别很大，尤其 VDM hidden state 同时承担去噪和文本条件生成任务。如果强行硬对齐，可能损害语义遵循。TRD 的“关系对齐”让 VDM 保留自己的 feature basis，只要求 pairwise similarities 接近 VFM 中的物理关系结构，因此更适合 finetuning。

3.2 Preliminary：diffusion loss 与标准 REPA 为什么不够

CogVideoX 的 latent diffusion objective 仍然是预测噪声的 MSE： $L_{diff} = E_{t, z_{0}, ϵ} [∥ ϵ - ϵ_{θ} (z_{t}, t, c) ∥_{2}^{2}] .$ 其中 $c$ 是文本条件， $z_{t}$ 是加噪 latent。这个目标能训练模型还原数据分布，但它没有显式要求中间表示具有可迁移的物理理解能力。论文用 Physion OCP 表明，CogVideoX 的中间表示在预测未来接触上明显弱于 VideoMAEv2，这说明单靠 $L_{diff}$ 不能充分形成物理关系理解。

标准 REPA 的做法可以概括为把 diffusion transformer 的 hidden state 投影后与 foundation encoder 的 token feature 做直接 cosine alignment。VideoREPA 认为这在视频 finetuning 上有四个关键问题：第一，image-style REPA 主要处理 spatial semantics，不覆盖跨帧动态；第二，预训练 VDM 的 feature space 已经服务于去噪，hard feature matching 可能破坏原有生成能力；第三，VDM 通过 3D VAE 产生的 latent temporal/spatial resolution 与 VFM patch/token resolution 不一致；第四，REPA 的目标是训练加速，而 VideoREPA 的目标是定向注入 physics knowledge。论文 Figure 4 和 README 中的表格都显示，直接用 REPA loss 会让 SA 明显下降，例如 README 报告 CogVideoX-5B 的 SA/PC 为 70.0/32.3，REPA+DINOv2 为 62.5/33.7，REPA+VideoMAEv2 为 59.3/35.5，而 TRD+VideoMAEv2 达到 72.1/40.1。

3.3 Token Relation Distillation：空间关系与时间关系

设 VFM encoder $E_{v}$ 处理视频 $V \in R^{F \times C \times H \times W}$ ，输出 $y_{v} = E_{v} (V) \in R^{N \times D}$ ，其中 $N = f \times h \times w$ 是 token 数， $D$ 是 feature dimension。VDM 侧，3D VAE 把 $V$ 压缩为 latent $z$ ，denoising transformer 从 $z_{t}$ 产生 hidden state $h_{t} = f_{θ} (z_{t})$ ，再由 trainable MLP $h_{ϕ}$ 对齐到 $R^{f \times h \times w \times D}$ 。

空间关系先把 $y_{v}$ reshape 为 $R^{f \times (h w) \times D}$ ，在每个 frame $d$ 内计算 token $i, j$ 的 cosine similarity： $ y_{\text{spatial}}^{d,i,j}

\frac{\mathbf{y_v}^{d,i}\cdot \mathbf{y_v}^{d,j}} {|\mathbf{y_v}^{d,i}||\mathbf{y_v}^{d,j}|}. $这里$ i,j\in[1,hw] $表示同一帧中的空间位置。它得到每帧一个$ hw\times hw $的关系矩阵，聚合后是$ \mathbf{y}_{\text{spatial}}\in\mathbb{R}^{f\times hw\times hw}$。这个矩阵不关心某个 token 的绝对 feature 坐标，而关心“这个 token 与同帧其它 token 的相对关系”，因此更适合表达形状、接触、局部结构和同帧物体布局。

时间关系计算 frame $d$ 中 token $i$ 与其它 frame $e \neq = d$ 中 token $j$ 的 cosine similarity： $ y_{\text{temp}}^{d,i,j,e}

\frac{\mathbf{y_v}^{d,i}\cdot \mathbf{y_v}^{e,j}} {|\mathbf{y_v}^{d,i}||\mathbf{y_v}^{e,j}|}, \quad \forall e\in[1,f]\setminus{d},\ j\in[1,hw]. $它得到$ \mathbf{y}{\text{temp}}\in\mathbb{R}^{f\times hw\times hw\times(f-1)} $。 V D M s i d e 用$ h\phi(\mathbf{h_t}) $以相同方式得到$ \mathbf{h}{\text{spatial}} $和$ \mathbf{h}{\text{temp}} $。最终 TR D l oss 是对应空间 / 时间关系的平均 L 1 距离：$ \mathcal{L}_{\text{TRD}}

\underbrace{ \frac{1}{f(hw)^2} \sum_{d=1}^{f}\sum_{i,j=1}^{hw} \left| \mathbf{h}_{\text{spatial}}^{d,i,j}

\mathbf{y}{\text{spatial}}^{d,i,j} \right| }{\text{Spatial component}} + \underbrace{ \frac{1}{f(hw)^2(f-1)} \sum_{\substack{d,e=1\ e\neq d}}^{f} \sum_{i,j=1}^{hw} \left| \mathbf{h}_{\text{temp}}^{d,i,j,e}

\mathbf{y}{\text{temp}}^{d,i,j,e} \right| }{\text{Temporal component}}. $总目标写作：$ \mathcal{L}

\mathcal{L}{\text{diff}} + \lambda\mathcal{L}{\text{TRD}}. $论文把$ \lambda$ 作为超参数；released code 中对应 --proj_coeff 0.5，训练 loop 实际组合为 loss_diffusion + proj_coeff * loss_TRD，若使用标准 REPA 分支则会把 REPA loss 和 TRD loss 分开组合。

3.4 Dimension alignment 与 VFM input trade-off

实际实现中最棘手的是 VDM 与 VFM 的 feature grid 不同。CogVideoX 这类 VDM 使用 3D VAE，时间压缩可能是 4x 或 8x；VideoMAEv2/V-JEPA 这类 VFM 的 temporal compression 更低，空间 patch grid 也不同。因此 VideoREPA 不是简单 reshape，而是采用“把 VDM latent/intermediate representation 插值到 VFM feature dimensions”的原则。论文 appendix 的 ablation 显示，当 Spatial/Temporal target 都使用 VFM dimension 时，SA/PC 为 64.2/29.7，高于 VDM/VDM 的 63.6/26.2 和 VFM/VDM 的 63.1/28.5。

另一个实现问题是 VFM 的 full attention 计算开销。CogVideoX 输出 49 frames、480×720 分辨率，直接把所有高分辨率帧送进 VFM 会非常耗显存。作者比较三种策略：全部帧低分辨率、分组高分辨率帧、少量高分辨率帧。结果显示 index 1（全部帧低分辨率）取得 SA 64.2、PC 29.7，是论文采用的默认方案；index 3 虽有更高 PC 32.0，但 SA 掉到 54.7，说明过度牺牲全局 representation 完整性会损害语义一致性。

released code 进一步体现了这些设计：finetune/models/cogvideox_t2v_align/lora_trainer.py 中 VFM target 对 VideoMAEv2 输入的 raw frames 形状注释为 B, 3, 48, 160, 240，输出 reshape 成 B, D, 24, 10, 15；VDM hidden states 先 reshape 成 B, 13, 30, 45, C，对 VideoMAEv2 等 video encoders 会移除第一个 latent frame，再做 temporal upsample 12 -> 24，空间上通过 downsampler_cogvideo_output 从 30×45 变到 10×15。这和论文 appendix 中“第一帧 latent 主要维护语义信息，因此排除它以聚焦动态内容”的描述一致。

论文公式与 released code 实现差异：论文主文把 $L_{TRD}$ 写成空间项与时间项两部分的 L1 平均；released code 的主分支 token_relation_distillation 在归一化后用一次 torch.bmm 计算 BF, HW, C @ BF, C, FHW -> BF, HW, FHW 的 unified relation matrix，然后用 relu(abs(align_sim - align_target_sim) - margin).mean()。这等价于把同帧与跨帧关系放到一个更紧凑的 Gram-style 矩阵里，并加入 margin threshold；appendix 也说明小于 margin 的 TRD values 会被置 0。另一个实现细节是 ablation-only 分支引用了 self.args.margin_matrix，而 finetune/schemas/args.py 中公开参数是 --margin，因此正式训练应以主分支 --loss token_relation_distillation 为准。

3.5 代码对应的伪代码

Code reference: main @ 8d581dc3 (2026-03-06) — pseudocode and mapping based on this commit

VFM target encoding（对应 lora_trainer.py 的 VideoMAEv2 分支）：

def encode_vfm_targets(vision_encoder, repa_raw_frames):
    # repa_raw_frames: [B, 3, F, H, W], e.g. [B, 3, 48, 160, 240]
    with torch.no_grad():
        target = vision_encoder(repa_raw_frames)  # [B, 24*10*15, D]
        B, C, F, H, W = repa_raw_frames.shape
        target = target.transpose(1, 2).reshape(
            B,
            -1,
            F // vision_encoder.tubelet_size,
            H // vision_encoder.patch_size,
            W // vision_encoder.patch_size,
        )
        target = target.flatten(2).transpose(1, 2)  # [B, F*H*W, D]
    return target

VDM intermediate alignment extraction（对应 CogVideoXTransformer3DModelAlign）：

class CogVideoXTransformer3DModelAlign(nn.Module):
    def forward(self, hidden_states, encoder_hidden_states, timestep, image_rotary_emb):
        aligns = []
        for i, block in enumerate(self.transformer_blocks):
            hidden_states, encoder_hidden_states = block(
                hidden_states=hidden_states,
                encoder_hidden_states=encoder_hidden_states,
                temb=timestep,
                image_rotary_emb=image_rotary_emb,
            )
            if (i + 1) == self.align_layer:
                for projector in self.projectors:
                    aligns.append(projector(hidden_states).flatten(0, 1))
        predicted_noise = self.final_projection(hidden_states)
        return predicted_noise, aligns

TRD main branch（对应 released code 的 unified relation implementation）：

def token_relation_distillation(align, align_target, downsampler, margin=0.1):
    # align: [B, 12, 30, 45, C] after first latent frame removal
    align = align.permute(0, 4, 1, 2, 3)                     # [B, C, F, H, W]
    align = F.interpolate(align, scale_factor=(2.0, 1.0, 1.0), mode="trilinear")
    B, C, F_frames, H, W = align.shape
    align = align.permute(0, 2, 1, 3, 4).reshape(B * F_frames, C, H, W)
    align = downsampler(align.to(torch.bfloat16))             # 30x45 -> 10x15
    align = align.reshape(B, F_frames, C, H // 3, W // 3)
    align = align.permute(0, 1, 3, 4, 2).flatten(2, 3)         # [B, F, HW, C]
    align_target = align_target.reshape(B, F_frames, 10 * 15, -1)
 
    align = F.normalize(align, dim=-1)
    align_target = F.normalize(align_target, dim=-1)
    sim = torch.bmm(
        align.flatten(0, 1),
        align.flatten(1, 2).unsqueeze(1).expand(-1, F_frames, -1, -1)
        .flatten(0, 1)
        .transpose(1, 2),
    )
    target_sim = torch.bmm(
        align_target.flatten(0, 1),
        align_target.flatten(1, 2).unsqueeze(1).expand(-1, F_frames, -1, -1)
        .flatten(0, 1)
        .transpose(1, 2),
    )
    return F.relu((sim - target_sim).abs() - margin).mean()

Training step loss combination（对应 finetune/trainer.py）：

def train_step(batch, transformer, optimizer, args):
    loss_diffusion, loss_repa, loss_trd = compute_loss(batch)
    if loss_repa is not None:
        loss = loss_diffusion + args.proj_coeff * (loss_repa + loss_trd)
    else:
        loss = loss_diffusion + args.proj_coeff * loss_trd
    loss.backward()
    optimizer.step()
    optimizer.zero_grad(set_to_none=True)
    return loss

3.6 Code-to-paper mapping

Code reference: main @ 8d581dc3 (2026-03-06) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
CogVideoX finetuning entrypoint	`finetune/train.py`, `finetune/trainer.py`	`Trainer.fit`, `Trainer.train`, `compute_loss` dispatch
VFM initialization and freezing	`finetune/models/cogvideox_t2v_align/lora_trainer.py`	`CogVideoXT2VAlignLoraTrainer.initialize_vision_encoder`
VideoMAEv2 / V-JEPA / DINOv2 target encoding	`finetune/models/cogvideox_t2v_align/lora_trainer.py`	`compute_loss` 中 `align_models` 分支
Transformer intermediate feature export	`finetune/models/cogvideox_t2v_align/models/cogvideox_align.py`	`CogVideoXTransformer3DModelAlign.forward`, `build_mlp`
TRD loss main branch	`finetune/models/cogvideox_t2v_align/lora_trainer.py`	`loss == "token_relation_distillation"`
REPA baseline / cosine alignment	`finetune/models/cogvideox_t2v_align/lora_trainer.py`	`loss == "cosine_similarity"`
2B full-parameter training config	`finetune/scripts/multigpu_VideoREPA_2B_sft.sh`	`training_type="sft"`, `openvid_3w2.csv`, `learning_rate=2e-6`
5B LoRA training config	`finetune/scripts/multigpu_VideoREPA_5B_lora.sh`	`training_type="lora"`, `openvid_6w4.csv`, `rank=128`, `lora_alpha=64`
VideoPhy / VideoPhy2 evaluation code	`evaluation/videophy/`, `evaluation/VIDEOPHY2/`	`eval_pipeline.sh`, `calculate_mean.py`, `inference.py`
Inference with released weights	`inference/generate.py`, `inference/models/cogvideox_align.py`	LoRA loading/fusing, aligned CogVideoX pipeline

4. Experimental Setup (实验设置)

Datasets. Finetuning 使用 OpenVid，一个包含超过 1 million in-the-wild videos 且带 expressive captions 的开放域视频数据集。VideoREPA-2B 使用 finetune/openvid/openvid_3w2.csv，论文称为 32k OpenVid videos，训练 4,000 steps；VideoREPA-5B 使用 finetune/openvid/openvid_6w4.csv，论文称为 64k OpenVid videos，训练 2,000 steps，并使用 LoRA。所有视频中心裁剪并 resize 到 480×720，生成视频为 49 frames。评测使用 VideoPhy、VideoPhy2 和 Physion：VideoPhy 按 Solid-Solid、Solid-Fluid、Fluid-Fluid 三类交互评估视频语义与物理常识；VideoPhy2 是 action-centric benchmark，包含 590 detailed testing prompts 覆盖 200 diverse actions，并用 VideoPhy2-AutoEval 自动评估；Physion 用 Object Contact Prediction 评估 representation 的物理理解。

Baselines. VideoPhy 主表比较 VideoCrafter2、DreamMachine、LaVIE、Cosmos-Diffusion-7B、HunyuanVideo、PhyT2V、WISA、CogVideoX-2B、CogVideoX-5B 以及 VideoREPA-2B/5B。方法分析中还比较 CogVideoX + REPA loss + DINOv2、CogVideoX + REPA loss + VideoMAEv2，用于证明直接 REPA 对预训练 VDM finetuning 不稳定。VFM ablation 比较 VideoMAE、V-JEPA、OminiMAE、VideoMAEv2。

Metrics. Semantic Adherence (SA) 衡量视频与文本 prompt 的语义一致性和基本保真度；Physical Commonsense (PC) 衡量生成视频是否遵守现实世界物理规律。VideoPhy2 中 SA/PC 是评分 $\geq 4$ 的视频比例。Physion OCP 是给定上下文视频预测两个物体未来是否接触的表征能力测试，用来衡量中间特征是否捕获物理动态。论文还用 qualitative comparisons 检查铅笔滚动、起重机搬砖、液体/碎裂等场景中的视觉物理错误。

Training config from released scripts. finetune/scripts/multigpu_VideoREPA_2B_sft.sh 设置 --model_path ckpt/cogvideox-2b、--training_type sft、--train_data_path openvid_3w2.csv、--train_resolution 49x480x720、--train_epochs 4、--batch_size 4、--gradient_accumulation_steps 1、--mixed_precision bf16、--loss token_relation_distillation、--align_models VideoMAEv2、--align_layer 18、--align_dims 768、--proj_coeff 0.5、--margin 0.1、--learning_rate 2e-6。

finetune/scripts/multigpu_VideoREPA_5B_lora.sh 设置 --model_path ckpt/cogvideox-5b、--training_type lora、--train_data_path openvid_6w4.csv、--train_epochs 1、同样的 resolution/batch/align/TRD 参数，并额外设置 --learning_rate 1e-4、--rank 128、--lora_alpha 64。论文写明所有实验使用 8 NVIDIA A100 80GB、total batch size 32；

script 中 accelerate launch --num_processes 8 与每进程 batch size 4 对应总 batch size 32。

5. Experimental Results (实验结果)

5.1 Main quantitative results

VideoPhy 主结果显示，VideoREPA 的收益主要体现在 PC，而不是牺牲 SA 换 PC。关键数字如下：

Method	Solid-Solid SA/PC	Solid-Fluid SA/PC	Fluid-Fluid SA/PC	Overall SA/PC
VideoCrafter2	50.4 / 32.2	50.7 / 27.4	48.1 / 29.1	50.3 / 29.7
DreamMachine	55.1 / 21.7	59.6 / 23.3	58.2 / 18.2	57.5 / 21.8
LaVIE	40.8 / 18.3	48.6 / 37.0	69.1 / 50.9	48.7 / 31.5
HunyuanVideo*	55.2 / 16.1	67.1 / 30.1	54.5 / 54.5	60.2 / 28.2
PhyT2V†	-	-	-	61 / 37
WISA (Koala dataset)†	-	-	-	62 / 33
WISA (WISA dataset)†	-	-	-	67 / 38
CogVideoX-2B*	49.6 / 13.3	71.2 / 28.1	60.0 / 50.9	60.5 / 25.6
VideoREPA-2B*	52.4 / 18.2	77.4 / 32.2	60.0 / 52.7	64.2 / 29.7
CogVideoX-5B*	62.9 / 19.6	76.0 / 33.6	72.7 / 61.8	70.0 / 32.3
VideoREPA-5B*	58.0 / 28.0	82.9 / 39.0	80.0 / 74.5	72.1 / 40.1

最重要的结论是 VideoREPA-5B 的 Overall PC 为 40.1，比 detailed-prompt CogVideoX-5B 的 32.3 提升 24.1%，并且 Overall SA 从 70.0 升到 72.1。按交互类型看，PC 在 Solid-Solid 从 19.6 升到 28.0（论文报告 +42.9%），Solid-Fluid 从 33.6 升到 39.0（+16.7%），Fluid-Fluid 从 61.8 升到 74.5（+20.6%）。这说明 TRD 不只是补某一种物理类型，而是对刚体、固液、流体相关场景都有收益。

VideoPhy2 上，CogVideoX 与 VideoREPA 的 SA 都是 21.02，PC 从 67.97 提升到 72.54，即 +4.57。这个结果很重要，因为 VideoPhy2 更偏 human-object interaction 与 action-centric prompts，说明 VideoREPA 的物理知识注入没有只适配 VideoPhy 的三类物理交互，而能迁移到动作交互型评测。

5.2 Qualitative comparisons

Figure 3 解读：该图比较 HunyuanVideo、CogVideoX 和 VideoREPA 的定性结果。论文特别提到 “pencil roll” 场景中，HunyuanVideo 和 CogVideoX 容易产生不符合刚体运动规律的滚动，而 VideoREPA 的运动更稳定；“crane lifting bricks” 场景中，VideoREPA 更能保持起重机与托盘/砖块之间的物理连接，baseline 则可能让砖块无支撑悬浮。

Figure 6 解读：appendix 的第一组 CogVideoX vs VideoREPA 对比继续展示相同 prompt 下两行视频帧的差异。红框强调 baseline 的局部物理错误，VideoREPA 的优势通常不是让画面更华丽，而是减少接触关系断裂、轨迹不连续和物体结构崩坏。

Figure 7 解读：第二组 appendix 对比说明 TRD 学到的关系约束在多类 prompt 上仍有效。相比只靠文本语义，relation distillation 更关注视频内部哪些局部区域应保持相对关系，因此在液体、固体碰撞、容器/支撑关系等场景中更容易维持物理一致性。

Figure 8 解读：第三组 appendix 对比体现了 VideoREPA 的一个实用价值：它不是通过改 prompt 或后处理筛选来规避物理错误，而是在生成模型内部表示里引入 VFM 的动态关系先验，因此同样的生成流程下能够输出更可信的中间帧变化。

Figure 9 解读：该图展示 VideoREPA 单独生成的物理合理样例，重点是观察相邻帧中的接触、支撑、运动方向和形状保持。它补充说明 VideoREPA 的改善不只发生在与 CogVideoX 对比的特定失败案例中，也能在更多 prompt 下生成较稳定的物理现象。

Figure 10 解读：第二组单独样例强调 VideoREPA 在开放域 prompt 上的泛化。由于训练数据来自 OpenVid 而不是只包含显式物理现象的专用集合，这些样例支持论文的主张：VFM relation supervision 可以作为可扩展的物理知识注入方式。

5.3 Ablations

TRD loss 的消融最直接。只用 diffusion loss（表中 NaN）时 SA/PC 为 63.6/23.2；完整 TRD 为 64.2/29.7；only spatial 为 61.0/27.3；only temporal 为 61.0/27.9。PC 上，任意单独分支都优于无 TRD，但完整 TRD 最好；SA 上，单独 spatial 或 temporal 都显著低于完整 TRD，说明只强调一种关系会破坏 VDM representation 的完整性。物理常识同时需要对象外观/局部结构和跨帧动态，二者缺一不可。

Figure 4 解读：REPA ablation 说明直接 hard alignment 会损害视频语义质量。图中 REPA loss 分支相比 TRD 更容易造成 SA 下降，这支持论文方法选择 relation-level soft guidance 的必要性。直观理解是：预训练 VDM 的 hidden space 已经服务于 denoising，强迫它贴到 DINOv2/VideoMAEv2 的 token feature 值，会比对齐 pairwise relation 更具侵入性。

Figure 5a–5b 解读：左侧是 alignment depth 对 VideoPhy PC 的影响，论文选择第 18 层作为默认对齐层；右侧是 $λ$ （released code 中对应 proj_coeff）的影响， $λ = 0.5$ 在 diffusion loss 与 TRD loss 之间取得最好 trade-off。过浅层可能还偏局部/底层视觉，过深层可能过于靠近输出噪声预测；第 18 层更适合作为物理关系蒸馏的中间表示。

不同 target VFM 的结果为：无 VFM 时 63.6/23.2，VideoMAE 为 59.8/26.2，V-JEPA 为 64.5/24.7，OminiMAE 为 61.6/24.7，VideoMAEv2 为 64.2/29.7。VideoMAEv2 的 PC 最高，论文认为这是因为它在大量视频上预训练，泛化更强。这个结果也说明，并非任意 SSL encoder 都能带来相同物理收益；teacher 的视频物理理解能力和 token grid 适配性很关键。

维度对齐消融为：Spatial/Temporal 都对齐到 VDM dimension 时 SA/PC 63.6/26.2；Spatial 对齐 VFM、Temporal 对齐 VDM 时 63.1/28.5；二者都对齐 VFM dimension 时 64.2/29.7。论文据此选择把 VDM representation 插值/下采样到 VFM grid。resolution/frame trade-off 中，index 1 为 64.2/29.7，index 2 为 63.4/29.1，index 3 为 54.7/32.0；index 3 虽 PC 最高但 SA 代价过大，因此默认选择 index 1。

5.4 Limitations and conclusions

论文明确的 limitation 是：VideoREPA 只验证了 finetuning VDM 的效果，尚未验证把 VideoREPA 纳入 VDM pre-training 的潜力，原因是计算资源受限。未来方向包括在预训练阶段设计更有针对性的物理知识注入机制，而不仅是在已有模型上做 relation distillation。

从结果看，VideoREPA 证明了一个相对干净的结论：VFM 的 physics understanding 可以通过 token relation alignment 转化为 VDM 的 physics-plausible generation 能力。它没有依赖手工物理规则、显式模拟器或推理时 reranking，而是在训练阶段把 VideoMAEv2 的空间/时间关系结构蒸馏给 CogVideoX。VideoPhy 上 PC 40.1 和 VideoPhy2 上 PC 72.54 表明，这种 relation-level supervision 对物理常识指标有实质收益；同时 SA 没有明显下降，说明软关系对齐比直接 REPA 更适合在强预训练 T2V 模型上做定向能力增强。对于 Physical AI / Physical Video Generation 方向，这篇工作的价值在于提出了一个可复用的设计范式：用理解模型的 relational representations 作为 teacher，使生成模型更像一个遵守动态关系的世界模拟器。

Paper Notes

探索

VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models

VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：用 VFM 关系结构监督 CogVideoX 中间表示

3.2 Preliminary：diffusion loss 与标准 REPA 为什么不够

3.3 Token Relation Distillation：空间关系与时间关系

空间关系先把 $y_{v}$ reshape 为 $R^{f \times (h w) \times D}$ ，在每个 frame $d$ 内计算 token $i, j$ 的 cosine similarity： $ y_{\text{spatial}}^{d,i,j}

时间关系计算 frame $d$ 中 token $i$ 与其它 frame $e \neq = d$ 中 token $j$ 的 cosine similarity： $ y_{\text{temp}}^{d,i,j,e}

\underbrace{ \frac{1}{f(hw)^2} \sum_{d=1}^{f}\sum_{i,j=1}^{hw} \left| \mathbf{h}_{\text{spatial}}^{d,i,j}

\mathbf{y}{\text{spatial}}^{d,i,j} \right| }{\text{Spatial component}} + \underbrace{ \frac{1}{f(hw)^2(f-1)} \sum_{\substack{d,e=1\ e\neq d}}^{f} \sum_{i,j=1}^{hw} \left| \mathbf{h}_{\text{temp}}^{d,i,j,e}

\mathbf{y}{\text{temp}}^{d,i,j,e} \right| }{\text{Temporal component}}. $总目标写作：$ \mathcal{L}

3.4 Dimension alignment 与 VFM input trade-off

3.5 代码对应的伪代码

3.6 Code-to-paper mapping

4. Experimental Setup (实验设置)

5. Experimental Results (实验结果)

5.1 Main quantitative results

5.2 Qualitative comparisons

5.3 Ablations

5.4 Limitations and conclusions

目录

Paper Notes

探索

VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models

VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：用 VFM 关系结构监督 CogVideoX 中间表示

3.2 Preliminary：diffusion loss 与标准 REPA 为什么不够

3.3 Token Relation Distillation：空间关系与时间关系

空间关系先把 yv​ reshape 为 Rf×(hw)×D，在每个 frame d 内计算 token i,j 的 cosine similarity： $ y_{\text{spatial}}^{d,i,j}

时间关系计算 frame d 中 token i 与其它 frame e=d 中 token j 的 cosine similarity： $ y_{\text{temp}}^{d,i,j,e}

\underbrace{ \frac{1}{f(hw)^2} \sum_{d=1}^{f}\sum_{i,j=1}^{hw} \left| \mathbf{h}_{\text{spatial}}^{d,i,j}

\mathbf{y}{\text{spatial}}^{d,i,j} \right| }{\text{Spatial component}} + \underbrace{ \frac{1}{f(hw)^2(f-1)} \sum_{\substack{d,e=1\ e\neq d}}^{f} \sum_{i,j=1}^{hw} \left| \mathbf{h}_{\text{temp}}^{d,i,j,e}

\mathbf{y}{\text{temp}}^{d,i,j,e} \right| }{\text{Temporal component}}. 总目标写作： \mathcal{L}

3.4 Dimension alignment 与 VFM input trade-off

3.5 代码对应的伪代码

3.6 Code-to-paper mapping

4. Experimental Setup (实验设置)

5. Experimental Results (实验结果)

5.1 Main quantitative results

5.2 Qualitative comparisons

5.3 Ablations

5.4 Limitations and conclusions

目录

空间关系先把 $y_{v}$ reshape 为 $R^{f \times (h w) \times D}$ ，在每个 frame $d$ 内计算 token $i, j$ 的 cosine similarity： $ y_{\text{spatial}}^{d,i,j}

时间关系计算 frame $d$ 中 token $i$ 与其它 frame $e \neq = d$ 中 token $j$ 的 cosine similarity： $ y_{\text{temp}}^{d,i,j,e}

\mathbf{y}{\text{temp}}^{d,i,j,e} \right| }{\text{Temporal component}}. $总目标写作：$ \mathcal{L}