Bernini: Latent Semantic Planning for Video Diffusion

Paper: arXiv:2605.22344v1
Project Page: bernini-ai.github.io
Code status: 代码搜索未找到开源实现；项目页的 Code 按钮仍指向 placeholder https://github.com/your-org/Bernini，该仓库 404；GitHub 只找到静态项目页仓库 bernini-ai/bernini-ai.github.io，未找到 Bernini 训练/推理实现。
Code reference: N/A（无公开实现仓库，未设置 github_ref）

1. Motivation（研究动机）

这篇论文的核心动机是把“会理解的模型”和“会渲染的模型”真正接起来，而不是让二者在浅层 prompt 或少量 query token 上勉强对齐。作者观察到，MLLM 已经擅长跨文本、图像、视频进行语义理解、指令解析、因果推理和多输入关系建模；而 diffusion/DiT 模型擅长把条件信号渲染成高保真图像或视频。现有视频生成/编辑系统的主要问题不在于某一端完全缺能力，而在于中间接口过窄：如果只把 MLLM 输出的文字描述或少量隐藏状态喂给扩散模型，很多细粒度的对象关系、时序状态、参考图身份、非编辑区域一致性和复杂指令推理都会在接口处丢失。

Bernini 的问题设定因此不是单一的 text-to-video，而是一个统一的视频生成与编辑框架：T2V、subject/reference-to-video、video-to-video editing、reference-image-guided video editing 都要走同一套语义规划到像素渲染流程。这个设定比普通 T2V 更难，因为编辑任务同时要求“改对”和“不该改的地方不动”；参考图/参考视频任务还要求模型知道哪个 visual segment 是 target、哪个是 source、哪个是 reference，不能把 reference 的纹理、背景或身份泄漏到错误区域。

作者对已有路线的隐含批评是：把理解与生成合并成一个端到端大 backbone 会很昂贵，并且容易破坏已经预训练好的 MLLM 与 DiT 能力；而只做外部 conditioning 又可能无法充分利用 MLLM 的原生视觉语义空间。Bernini 选择了一条中间道路：保持 MLLM planner 和 DiT renderer 的分工，让 MLLM 负责在自己的 ViT embedding space 中预测目标语义表示，DiT 负责在 VAE latent space 中把语义计划、文本特征和源视频/图像 VAE 特征渲染成像素。

Figure 1 解读：论文首页用 open-ended video editing 的人类 pairwise preference 展示 Bernini 的定位：它不是只做一两个封闭任务的编辑器，而是面向不限指令类型的视频编辑；排行榜里 Bernini 的 BT score 为 1044、Win% 为 56.3，低于 HappyHorse-1.0 的 1080，但高于 Wan2.7、Grok-imagine-video 和 Kling_v3_omni。

Figure 2 解读：该图概括了 Bernini 希望统一覆盖的任务面：text-to-video、subject/reference-to-video、video editing、reference-guided video editing。统一任务协议是后续 MLLM planner、SA-3D RoPE 和多源 guidance 的前提。

从读者角度看，这篇 paper 最值得关注的不是“又提出了一个视频生成模型”，而是它把三个经常分离的问题放进同一系统：第一，语义计划应该发生在什么 representation 上；第二，多输入视觉 token 在 DiT 里如何避免 segment 混淆；第三，复杂编辑任务的数据与推理链如何构造。论文的答案分别是：用 MLLM 原生 ViT embedding 空间作为语义桥；用 Segment-Aware 3D RoPE 给不同视觉段落引入 segment-index-conditioned phase modulation；用多阶段数据管线和 CoT reasoning 把编辑意图拆成可学习的中间状态。

2. Idea（核心思想）

一句话总结：Bernini 把视频生成/编辑拆成“先在 MLLM 的 ViT embedding space 里规划目标语义，再由 DiT 在 VAE latent space 里渲染像素”。这比直接让扩散模型吃 prompt 更强，因为 planner 输出的是接近视觉语义本身的 target representation；也比完全联合训练一个巨型模型更稳，因为 MLLM 和 DiT 可以先分别训练，只在后期轻量 co-training 对齐。

核心 insight 有三层。第一层是语义接口：目标不是让 MLLM 生成文本描述，而是预测 target visual token 的连续 ViT embedding。这样 MLLM 的理解能力可以以“视觉语义 token”的形式进入生成器，减少从语言到图像/视频时的信息瓶颈。第二层是任务统一：不管输入是文本、源图、源视频、参考图还是目标占位 token，都串成一个统一的一维 multimodal sequence，target token 在训练时部分 mask、推理时全部 mask，再由 MLLM 迭代补全。第三层是渲染解耦：DiT renderer 仍然在 VAE latent space 做 flow matching，同时接受 planner semantic embeddings、T5/text features、source VAE features，从而兼顾高级语义与低级细节保持。

这套设计的关键权衡是“强分工但弱耦合”。MLLM 不直接生成像素，避免承担低级视觉细节；DiT 不承担复杂推理，避免只靠 cross-attention 猜测高层语义。二者之间的桥不是任意 hidden state，而是 target ViT embedding space，这使得 planner 的输出天然贴近视觉理解模型已经学过的表征分布。论文反复强调 semantics serve as the interface，因此 planner 和 renderer 可以 largely independently trained，再通过 Stage III 的 light co-training 对齐。

Figure 3 解读：框架图是全文最重要的图：A 展示文本与视觉输入被序列化为统一 1D sequence；B 展示 MLLM planner 从 masked target token 预测目标语义；C 展示 DiT renderer 在 VAE latent space 中基于语义 embedding 与 source VAE features 做 flow matching；D/E 展示 segment-wise hybrid attention mask 与 SA-3D RoPE 如何区分不同视觉 segment。

另一个重要 idea 是“reasoning should be latent and visual-grounded”。论文不是只用外部 LLM rewrite prompt，而是训练 planner 在 latent space 中进行 chain-of-thought 风格的语义推理。Self-text reasoning 把原始编辑指令改写成更结构化的中间 prompt；self-vision-text reasoning 进一步引入图像级中间状态，让复杂编辑先在首帧或视觉中间态上落地，再扩展到视频时序。这样做的直觉是：很多视频编辑失败并非 diffusion 画不出来，而是模型没有先想清楚“对象应该如何移动、哪些区域应该保持、因果后果是什么”。

Figure 4 解读：CoT 数据图说明 self-text reasoning 与 self-vision-text reasoning 的差别：前者只在语言空间丰富指令，后者把推理落到视觉中间态，从而为后续视频生成提供更强 grounding。

3. Method（方法）

3.1 统一输入与 MLLM-based Planner

Bernini 对所有任务使用统一输入形式。给定文本 embedding $\mathbf{t}$、多个源视觉输入的 ViT embeddings ${\mathbf{v}}_1^{\text{src}},\dots ,{\mathbf{v}}_N^{\text{src}}$ 和目标输出的视觉 embedding ${\mathbf{v}}^{\text{tgt}}$，MLLM 输出上下文化隐状态： $\mathbf{z}=\mathrm{MLLM}(\mathbf{t},{\mathbf{v}}_1^{\text{src}},{\mathbf{v}}_2^{\text{src}},\dots ,{\mathbf{v}}_N^{\text{src}},{\mathbf{v}}^{\text{tgt}}).$ 训练时，target ViT tokens 被随机部分 mask；推理时，target tokens 全部初始化为 mask token。作者采用 masked generative modeling，因为视觉语义 latent 本质上更接近双向补全问题，而不是严格从左到右的文本自回归问题。为了避免 discrete visual tokenization 损失，Bernini 直接使用 dense ViT embeddings 作为输入和输出。masked positions 的 hidden states 会进入 ViT embedding decoder；该 decoder 由 MLP 加 ResNet prediction head 组成，并在 ViT embedding space 中用 flow-matching objective 学习预测 ground-truth ViT embeddings。

推理时 MLLM 不是一次性输出全部 target embedding，而是用 $K$ 步迭代 refine。第 $k$ 步的 mask ratio 为： $mask\_ratio(k,K)=\cos \left(\frac{\pi }{2}\cdot \frac{k+1}{K}\right).$ 也就是说，越到后期保留的预测 token 越多，mask 越少，目标语义从粗到细逐步完成。论文默认使用 25 个 semantic planning steps；每个 planning step 中 ViT embedding decoder 在 ViT embedding space 做 5 个 diffusion denoising steps，text guidance scale 为 1.2，image guidance scale 为 1.0。

def plan_target_vit_embeddings(text_tokens, source_vit_tokens, K=25):
    # Paper-derived pseudocode, not released implementation code.
    target_tokens = full_mask_like_target_sequence()
    for k in range(K):
        z = MLLM(text_tokens, *source_vit_tokens, target_tokens)
        masked_states = select_masked_target_states(z)
        predicted_vit = vit_embedding_decoder_flow_matching(
            masked_states,
            denoise_steps=5,
            text_guidance=1.2,
            image_guidance=1.0,
        )
        keep_ratio = 1.0 - cos(pi / 2 * (k + 1) / K)
        target_tokens = update_visible_tokens(target_tokens, predicted_vit, keep_ratio)
    return target_tokens

3.2 DiT-based Renderer 与 source detail preservation

DiT renderer 在 VAE latent space 中生成最终图像或视频。它的 conditioning 包含三类信息：MLLM planner 产生的 semantic embeddings，文本/T5 features，以及源图像或源视频的 VAE features。保留 T5 features 是为了不破坏 Wan2.2-A14B 预训练时已经形成的 text-conditioning distribution；论文在 implementation details 中说明，只把 MLLM 的 penultimate-layer hidden states 通过一个 zero-initialized one-layer MLP 投影后，与 T5 features concatenate 成最终 conditioning input。这个细节很重要：Bernini 并没有让 MLLM 直接替换 DiT 原本的文本条件，而是以高层语义增强的方式接入。

视觉编辑中 source VAE features 的作用是低层细节保持。仅有 target semantic plan 容易导致“编辑对了但原视频身份/背景/非编辑区域漂移”；加入 source VAE features 后，renderer 能在做目标修改的同时保留 texture、身份、光照和局部结构。论文后续在 Bernini-Bench 的 Video Consistency（VC）指标上取得明显优势，正是这个设计的结果之一。

3.3 Segment-Aware 3D RoPE

普通 3D RoPE 编码 temporal、vertical、horizontal 位置，得到 ${\mathbf{r}}_{t,h,w}$。当 target tokens、source video tokens、reference image tokens 被拼成统一序列时，不同 segment 的 token 可能共享相同 $(t,h,w)$ 坐标；如果只用普通 3D RoPE，DiT attention 很难知道某个位置来自 target、source 还是 reference。Bernini 因此为每个视觉 segment 分配 index $i$，并构造 full-dimensional rotary frequency vector ${\mathbf{r}}_i^{\mathrm{seg}}$，定义： ${\tilde{\mathbf{r}}}_{t,h,w,i}={\mathbf{r}}_{t,h,w}\odot {\mathbf{r}}_i^{\mathrm{seg}}.$ 其中 $\odot$ 是 complex element-wise multiplication。直观上，SA-3D RoPE 给每个 segment 施加一个全局相位调制，让 segment identity 与 spatiotemporal position 同时进入旋转位置编码。它比简单 additive segment embedding 更强，因为后者是在 hidden state 上加一个 ID，无法改变 attention 中 query/key 的旋转几何；SA-3D RoPE 则直接改变位置相位，使 attention 在同一时空坐标下也能区分不同来源。

3.4 Training objectives 与三阶段训练

总训练目标是三项 loss 的加权和： $\mathcal{L}={\lambda }_{\mathrm{text}}{\mathcal{L}}_{\mathrm{ntp}}+{\lambda }_{\mathrm{visual}}{\mathcal{L}}_{\mathrm{visual}}+{\lambda }_{\mathrm{dit}}{\mathcal{L}}_{\mathrm{dit}}.$ ${\mathcal{L}}_{\mathrm{ntp}}$ 维持 MLLM 的 next-token prediction 和 multimodal understanding 能力；${\mathcal{L}}_{visual}$ 是 ViT embedding space 的 flow-matching objective，用于训练 semantic decoder；${\mathcal{L}}_{dit}$ 是 VAE latent space 的 flow-matching objective，用于训练 renderer。

Stage I 只训练 MLLM planner 与 ViT embedding decoder，目标是 $0.2{\mathcal{L}}_{\mathrm{ntp}}+1{\mathcal{L}}_{visual}$；训练分辨率 256P、2 fps。Stage II 训练 DiT renderer 与轻量文本编码器（如 T5），目标是 ${\mathcal{L}}_{dit}$；分辨率 480P、16 fps。Stage III 联合训练 planner 与 renderer，loss weights 为 ${\lambda }_{ntp}=0.2$、${\lambda }_{visual}={\lambda }_{dit}=1$；依然是 480P、16 fps，并在后期加入 reasoning-augmented CoT data。

训练时 planner 的 mask ratio $r$ 从 task-dependent Beta distribution 采样： $r\sim \mathrm{Beta}(\alpha ,\beta ).$ 具体参数为：T2I $(5.0,1.1)$，T2V $(8.0,1.05)$，I2I $(8.0,1.05)$，I2V $(10.0,1.0)$，V2V $(12.0,0.9)$，IV2V $(12.0,0.9)$。任务输入越强，$\alpha$ 越大、$\beta$ 越小，mask ratio 越偏向 1.0，从而减少 target visible tokens 的信息泄漏，迫使 planner 真正依赖源视频、参考图和文本语义推断目标。

def train_bernini(batch, stage):
    # Paper-derived pseudocode, because public implementation code was not found.
    if stage == 'I':
        z = MLLM(batch.text, batch.source_vit, mask(batch.target_vit))
        loss = 0.2 * ntp_loss(z, batch.text_targets)
        loss += 1.0 * vit_flow_matching_loss(z.masked_target_states, batch.target_vit)
        update(planner_and_vit_decoder, loss)
    elif stage == 'II':
        eps = DiT(batch.noisy_vae_latent, batch.text_features, batch.source_vae)
        loss = dit_flow_matching_loss(eps, batch.target_vae_velocity)
        update(renderer_and_text_encoder, loss)
    elif stage == 'III':
        z = MLLM(batch.text, batch.source_vit, mask(batch.target_vit))
        cond = connector(z.text_source_and_unmasked_target_states)
        eps = DiT(batch.noisy_vae_latent, cond, batch.text_features, batch.source_vae)
        loss = 0.2 * ntp_loss(z, batch.text_targets)
        loss += 1.0 * vit_flow_matching_loss(z.masked_target_states, batch.target_vit)
        loss += 1.0 * dit_flow_matching_loss(eps, batch.target_vae_velocity)
        update(full_system, loss)

3.5 Inference guidance 分解

DiT renderer 的最终预测由 unconditional base term 加四个增量 guidance terms 组成。论文定义 ${\Delta }_{vid}$、${\Delta }_{img}$、${\Delta }_{txt}$、${\Delta }_{tgt}$ 分别表示 source video VAE、source image VAE、text features、target semantic embeddings 带来的增量，最终： $\widehat{ϵ}={ϵ}_{\varnothing ,\varnothing ,\varnothing ,\varnothing }+{\omega }_{\mathrm{vid}}{\Delta }_{\mathrm{vid}}+{\omega }_{\mathrm{img}}{\Delta }_{\mathrm{img}}+{\omega }_{\mathrm{txt}}{\Delta }_{\mathrm{txt}}+{\omega }_{\mathrm{tgt}}{\Delta }_{\mathrm{tgt}}.$ 不同任务的 guidance scales 为：T2V 60 steps，${\omega }_{txt}=4.0$、${\omega }_{img}=1.0$、${\omega }_{tgt}=1.0$，无 source video guidance；S2V 40 steps，${\omega }_{vid}=1.25$、${\omega }_{img}=2.5$、${\omega }_{tgt}=1.5$；V2V 40 steps，${\omega }_{vid}=1.25$、${\omega }_{img}=1.25$、${\omega }_{tgt}=0.5$；RV2V 40 steps，${\omega }_{vid}=1.25$、${\omega }_{img}=3.0$、${\omega }_{tgt}=1.5$。作者还使用 adaptive projected guidance 来减少 oversaturation。

def render_with_incremental_guidance(noisy_latent, conditions, task):
    # Paper-derived pseudocode for Eq. guidance decomposition.
    eps_0000 = DiT(noisy_latent, no_text=True, no_tgt=True, no_vid=True, no_img=True)
    eps_vid = DiT(noisy_latent, no_text=True, no_tgt=True, vid=conditions.source_video)
    eps_vid_img = DiT(noisy_latent, no_text=True, no_tgt=True, vid=conditions.source_video, img=conditions.source_image)
    eps_txt_vid_img = DiT(noisy_latent, text=conditions.text, vid=conditions.source_video, img=conditions.source_image)
    eps_all = DiT(noisy_latent, text=conditions.text, tgt=conditions.target_semantic, vid=conditions.source_video, img=conditions.source_image)
 
    delta_vid = eps_vid - eps_0000
    delta_img = eps_vid_img - eps_vid
    delta_txt = eps_txt_vid_img - eps_vid_img
    delta_tgt = eps_all - eps_txt_vid_img
    w = guidance_scale_table(task)
    return eps_0000 + w.vid * delta_vid + w.img * delta_img + w.txt * delta_txt + w.tgt * delta_tgt

3.6 数据构造方法

预训练 video pairs：相关但不重复

Bernini 的方法并不只靠模型结构，数据管线占了很大比重。预训练阶段构造了 20M video pairs：从 general T2V corpora 中提取同源视频 clip，用 X-CLIP 全局表示计算相似度，筛选 similarity 在 0.65 到 0.95、时长 2 到 10 秒、human-centric 与 non-human-centric 比例 1:1、每个 raw video 最多 100 对的样本，再用 Qwen3-VL-235B-A22B-Instruct 生成 coarse-to-fine dense prompts。image-pair 数据来自 300k+ tutorial videos，总量接近 30M pairs；筛选逻辑包括 keyframe sampling、低运动/缩放主导帧过滤、blur detection、CLIP similarity in [0.75, 0.95]，最后用 Qwen3-VL-30B-A3B-Instruct 生成差异描述。

Figure 5 解读

视频对相似度图展示了 Bernini 选择“既有关联又不完全重复”的训练对：similarity 低于 0.65 会太不相关，高于 0.95 又接近重复，0.65–0.95 区间用于覆盖摄像机运动、前景变化和背景变化。

Figure 6 解读

统计图补充了 video duration 与 prompt token count 的分布，说明数据不只是在相似度上多样，也覆盖了不同长度和不同文本描述复杂度。

Figure 7 解读

该图展示 video pairs 及其 dense prompts；prompt 通常先描述 camera motion，再描述 foreground/background changes，这正是后续 editing instruction following 的监督来源。

Figure 8 解读

image-pair 数据来自 tutorial videos，覆盖真实且复杂的视觉变换；它为 Bernini 提供从图像编辑迁移到视频编辑的语义对齐基础。

高质量 V2V 数据有两条路线。Propagation-based data boosting 先用 DiffuEraser/VACE 产生初始 addition/removal/replacement 数据，再训练 base propagation model；随后把强 image editing model 生成的 edited first frame 与 source video 结合，生成更高质量的 edited video，并通过反向交换 source/edited pairs 与 MLLM 重新生成 prompt 来扩充任务。Human motion-aware data 则针对人-物交互编辑：I2V branch 负责动作适配，V2V branch 负责源运动一致性，通过 weighted guidance 在 action adaptation 与 motion preservation 之间平衡。

Figure 9 解读

Propagation 数据图说明作者不满足于直接使用 DiffuEraser/VACE 输出；他们用 edited first frame + propagation model 改善 artifacts、角色一致性和可编辑任务范围。

Figure 10 解读

Motion-aware 数据图强调对象替换/移除/添加后，人的动作与交互也应自然改变；这类数据直接服务于复杂 V2V editing 的物理合理性。

Figure 11 解读

Motion-transfer 数据把 reference video 的动作迁移到 reference image/person 上，补足 reference-video-guided generation 中仅靠静态参考图无法表达的时序信息。

Reference-image-guided 数据分 general-object R2V 和 person R2V。General-object R2V 从视频中采样 keyframes，MLLM 选择 3–5 个 salient objects，并生成把对象“取出后放到不同场景”的指令，以避免 reference 与 target 背景相同导致 copy-paste shortcut。Person R2V 则不用 image editor 保人脸，而是从长视频中按 face embedding 找同身份参考 clip，裁出 full-body reference，保证身份一致。RV2V triplet 则通过中间版本视频编辑器从 R2V sample 合成 input video，使 reference、input、target 三者形成完整监督。

I2I/I2V：从图像编辑扩展到视频监督

Figure 12 解读

I2I/I2V 数据图展示了从 source image 到 edited image/video 的监督链路：图像级编辑能力先被扩大，再转成带 motion prompt 的 video supervision。

3.7 代码搜索与复现状态

代码搜索未找到开源实现。具体检查包括：论文首页与 arXiv source 中只给出 Project Page https://bernini-ai.github.io；项目页的 Paper/Code/Model 链接仍是模板占位，其中 Code 指向 https://github.com/your-org/Bernini，GitHub API 返回 404；GitHub repo search/code search 对 2605.22344、Bernini: Latent Semantic Planning、SA-3D RoPE、Latent Semantic Planning for Video Diffusion、Bernini Video Diffusion Qwen2.5-VL 均未找到实现仓库。唯一相关 GitHub 仓库是 bernini-ai/bernini-ai.github.io，它是静态项目页，不是训练/推理源码。因此本笔记不设置 github / github_ref frontmatter，所有伪代码均标注为 paper-derived pseudocode，而非代码实现映射。

4. Experimental Setup（实验设置）

4.1 模型与训练设置

Implementation details 中，MLLM-based planner 使用 Qwen2.5-VL-7B，DiT-based renderer 使用 Wan2.2-A14B。为了保持 Wan2.2 的预训练 text-conditioning 先验，renderer 的 textual condition 仍保留原始 T5 features；MLLM penultimate-layer hidden states 经过 zero-initialized one-layer MLP 后与 T5 features 拼接。除非特别说明，作者还会用额外的 MLLM rewrite/enhance 用户指令，再输入 Bernini，以提高复杂指令性能。

训练策略表可以概括为：Stage I 优化 MLLM，256p，LR 1e-5，EMA 0.999，数据混合比例为 T2I 13%、T2V 19%、I2I 3%、V2V 1%、I2V 1%、IV2V 1%、video pairs 15%、image pairs 21%、interleaved 6%、understanding 20%。Stage II 优化 DiT，480p，LR 1e-5，先一阶段 EMA 0.9995、T2I/T2V 比例较高（31%/42%），再一阶段 EMA 0.9999、I2I 比例提升到 40%、V2V/I2V/IV2V 分别 3.3%/3.5%/3.2%。Stage III 优化 All，480p，LR 1e-5，第一阶段 EMA 0.9995、understanding 20%；第二阶段 EMA 0.999、understanding 20%、CoT 20%。

关键 generation/editing training data 权重包括：Inhouse T2I 20.00、Inhouse T2V 30.00；I2I 中 UniREdit-100K 1.50、General-R2I 2.80、Pico-Banana-400K 4.60、Diverse I2I 5.00、Inhouse I2I 26.10；I2V 中 OpenS2V-Top200K 0.05、Frame-to-Video 0.15、Diverse I2V 0.40、Person-R2V 1.30、General-R2V 1.60；V2V 中 Motion-aware Editing 0.60、Propagation-based Editing 1.00；IV2V 中 Motion-Transfer 0.10、Propagation 0.40、Motion-aware Editing Ref 0.60、Propagation-based Editing Ref 1.05、Person-RV2V 1.05。

4.2 Benchmark 与评估协议

Bernini-Bench 是作者新建的视频编辑 benchmark，覆盖 V2V 和 RV2V 两种输入设置，共 300 个 test cases、22 个 editing categories、5 个维度：Instruction Following（IF）、Video Consistency（VC）、Reference Image Consistency（IC，仅 RV2V）、Generation Quality（GQ）、Overall Score（OS）。这些类别包括 action editing、position editing、causal reasoning、camera focus changes 等其他 benchmark 覆盖不足的复杂编辑类型。每个类别选 10 个 case，源视频来自 free/open-source stock media，覆盖不同人物构图、shot scale、场景、camera motion、视觉复杂度和横竖画幅。

Figure 13 解读：Bernini-Bench 图展示了 22 个细粒度 V2V editing tasks 和 5 个维度；斜线标记的 8 个任务也用于 RV2V 设置。它解释了为什么作者单独引入 benchmark：现有 OpenVE/EditVerse 对 reference-video/image editing 与复杂推理任务覆盖不足。

自动评估使用 MLLM scoring，分数范围 1–5；对完全未响应指令的样本，VC、IC、GQ 不纳入最终均值。论文明确指出当前 MLLM 对小尺度失真和不自然 artifacts 的判断仍有限，因此 GQ 结果只能作为参考。自动评估使用 GPT-5.4-2026-03-05，prompt 在 Appendix 中给出。除此之外，论文还做 human Side-by-Side comparison，用于更直接反映不同模型在人类偏好中的排序。

公共 benchmark 包括：OpenVE-Bench（Gemini 2.5 Pro 评分）、EditVerse、FiVE、VBench 和 OpenS2V-Eval。视频编辑部分还对 Kling O3、Wan2.7 等 closed-source 或强 baseline 做公平设置：在 Bernini-Bench 上 Kling O3 和 Wan2.7 输出被 downsample 到 480p/16 fps，与 Bernini 生成设置一致；首页 open-ended human preference leaderboard 中则标明 Bernini 为 480p/24 fps，baselines 为 720p/24 fps。

4.3 系统与推理设置

系统层面，训练长上下文视频编辑模型面临显存、计算、并行和 dataloader 不均衡问题。论文报告通过 FSDP 配置优化与直接 index-scattering 到预分配 buffer，把 per-GPU memory 从 72 GB 降到 40 GB；自定义 activation offloading、pinned CPU memory pool 和 delayed-queue prefetch 使训练 sequence length 从 100K 提升到 440K，约 4.4x。

FlashAttention-4、asynchronous QKV communication、TND layout preservation 和高性能 RMSNorm kernel 带来最高 46% speedup；FSDP + Ulysses-style sequence parallelism 用于 DiT 与 MLLM，SP degree 4 时 MLLM 约 2x throughput。sequence packing、token-bucket batching、greedy bin-packing dataloader 共同带来约 4.5x end-to-end throughput；

inference parallelism 上，DiT 用 DeepSpeed Ulysses，VAE 用 temporal context parallelism，整体 over 7.2x speedup。Distillation 方面采用 CFG distillation + ReFlow，两阶段后 4 NFE student 能达到接近 80 NFE teacher 的质量。

5. Experimental Results（实验结果）

5.1 Bernini-Bench 与视频编辑结果

在 Bernini-V2V 的自动评分中，Bernini 相对 Wan2.7 把 OS 从 3.30 提升到 3.49，IF 从 3.57 到 3.66，VC 从 3.11 到 3.51；GQ 为 3.49，略低于 Wan2.7 的 3.56 但高于 Kling O3 的 3.44。在 Bernini-RV2V 中，Bernini 的 VC 为 3.51，是最高；OS 3.50，略低于 Wan2.7 的 3.58；IF 3.75，低于 Wan2.7 的 3.82；IC 3.54，低于 Wan2.7 的 3.62；GQ 3.31，低于 Wan2.7 的 3.43。这个结果很符合论文主张：Bernini 最突出的优势不是所有维度都赢，而是 non-edited region / source video consistency 更强。

Figure 14 解读：GSB 图补充了 human side-by-side evaluation：相对自动评分，人类评估更能反映实际观感；Bernini 对 Kling O3 在多数维度领先，对 Wan2.7 接近，同时在 Video Consistency 上优势明显。

在 OpenVE-Bench（Gemini 2.5 Pro）上，Bernini Overall 4.04，显著高于最强 baseline VINO 3.18；各子类也全部最高：Global Style 4.45、Background Change 3.31、Local Change 4.85、Local Remove 4.16、Local Add 3.43、Subtitle Edit 3.57、Creative Edit 3.91、Camera Edit 4.67。在 EditVerse 上，Bernini Editing Quality 8.02、Pick Score 20.26、Text Alignment Frame 27.37、Video 24.62 均为最高；

Temporal Consistency CLIP 98.55 略低于 EditVerse 98.56，DINO 98.37 略低于 EditVerse 98.42。FiVE 上，Bernini 在 CLIPS 27.75、CLIPS_edit 22.74、SSIM 84.38、YN 71.33、MC 84.98、Union 87.67、Intersection 68.65、Acc 78.16 等关键指标领先，但 Structure Dist 13.54 略差于 VideoGrain 12.40 / Wan-Edit 12.53，Motion Fid S 86.27 也不及 VidToMe 90.06。

Figure 15 解读：定性图说明 Bernini 的优势主要体现在“局部修改 + 全局保持”：比如小狗动作修改中保留原背景和小狗身份；添加人物时动作更自然；RV2V 中能保住人物身份或参考船只形态。

Figure 16 解读：Appendix V2V 图补充了白虎动作、焦点转移、材质修改等案例；作者强调 Bernini 在动作语义、焦点区域和被编辑对象内部内容保留上更稳。

Figure 17 解读：Appendix RV2V 图展示 reference-guided editing 中的身份/风格保持；相较 VINO、Kling、Wan-2.7，Bernini 更少改变非目标属性，例如人物脸部、整体光照或树的原始形状。

5.2 Reasoning-augmented editing

Reasoning ablation 直接验证 CoT 数据与 prompt enhancement 的贡献。在 Bernini-V2V 上，baseline 为 OS 3.12、IF 3.36、VC 3.18、GQ 3.37。加入 Qwen2.5-VL-7B Prompt Enhancer 后提升到 3.20/3.43/3.21/3.39；加入 Self-text 后变为 3.33/3.55/3.31/3.44，说明模型自身的 reasoning 数据比单纯用初始化模型 rewrite prompt 更有效。使用更强的 GPT-5.4 PE 后为 3.49/3.66/3.51/3.49；再加 Self-visual-text 后 OS/VC 达到 3.52/3.54，IF 3.65 略低于 GPT-5.4 PE 的 3.66，GQ 同为 3.49。结论是：文本推理增强 instruction following，多模态视觉中间态进一步改善 overall 与 consistency。

Figure 18 解读：CoT 对比图按从弱到强的 inference modes 排列：baseline 对复杂布局和想象状态变化容易失败；self-generated textual reasoning 提升指令执行；带 CoT image 的 self-vision-text reasoning 则为 OOD 编辑提供视觉 grounding。

5.3 视频生成与 subject-to-video

在 VBench text-to-video 上，Bernini Total 84.64，几乎保持 Wan2.2-A14B 的 84.79。细项上，Bernini Quality score 85.18 vs Wan2.2 85.33，Semantic score 82.49 vs 82.61，Aesthetic quality 64.68 vs 67.06，Object class 95.41 vs 96.00；但 Dynamic degree 81.11 高于 Wan2.2 的 69.72，Overall consistency 27.83 高于 Wan2.2 的 27.36。这个结果说明 Bernini 在扩展编辑和 reference-based generation 能力后，没有明显牺牲基础 T2V 能力。

在 OpenS2V-Eval open-domain subject-to-video 上，Bernini Total 62.94，为全表最高，高于 closed-source Kling O3 的 59.19，也高于 open-source RefAlign-14B 的 60.42。最显著的是 FaceSim 78.20，比 next-best Kling O3 的 57.20 高 21.00 个绝对点，说明 person R2V 数据管线和 reference identity preservation 对身份一致性很有效。Bernini 的 Aesth. 44.14 不是最高（Kling O3 48.05、VACE-14B 47.21 更高），Motion Smooth 93.66 也不及 RefAlign-14B 97.61，但总分与 FaceSim 优势支撑其 subject consistency 主张。

5.4 Ablation 与 generalization

SA-3D RoPE ablation 表明，普通 3D RoPE 和 3D RoPE + learnable segment embeddings 都会出现 reference leakage：参考图的背景、纹理或对象外观泄漏到 target 的非预期区域。加 segment embedding 虽然比 vanilla 3D RoPE 改善 reference consistency，但仍不能彻底解决同一 $(t,h,w)$ 下 segment identity 混淆。SA-3D RoPE 通过相位调制把 segment identity 编入 RoPE 本身，因此更适合多视觉输入统一序列。

Figure 19 解读：SA-3D RoPE 消融图直接展示 reference leakage：vanilla 3D RoPE 和 additive segment embedding 都可能把 reference 的背景或对象细节带到 target；SA-3D RoPE 更能隔离 target/source/reference。

ViT semantic interface 与 MLLM planner ablation 显示，移除 ViT semantic interface 会导致 instruction following 变弱，例如机器人没有被替换成 robotic dog，或江南水墨风格中遗漏飞鸟；同时移除 ViT 与 MLLM 会进一步退化。这说明 Bernini 的效果不是单纯来自 Wan2.2 renderer，而是 planner 的语义预测与 ViT embedding bridge 提供了关键增益。

Figure 20 解读：该图对比 full model、去掉 ViT interface、进一步去掉 MLLM planner 的结果；越去掉语义桥，越容易漏掉对象替换、风格迁移或细节约束。

Generalization 部分展示 Bernini 能处理训练中未明确覆盖的编辑类型，例如 watercolor stylization、2D/3D animation、weather changes、effect additions、motion changes、focus shifts、position changes、causal reasoning。最有代表性的案例是 prolonged heavy rain 导致 fire extinguished：prompt 没有直接说“灭火”，但模型能通过因果推理修改目标状态。这支持作者关于 MLLM pretrained understanding 可以转移到 generation 的论点。

Figure 21 解读：该图说明 heterogeneous I2I/I2V 数据能把图像级 instruction-following 迁移到视频编辑，覆盖水彩、动画、天气与特效等多样变换。

Figure 22 解读：Generalization 图展示 motion/focus/position/causal reasoning 等非标准编辑；其中 heavy rain extinguishes fire 是 Bernini 进行隐式因果推理的典型例子。

Figure 23 解读：Appendix generalization 图扩展到表情改变、视角改变、空间/时间推理、氛围渲染、主体交互和组合编辑，说明泛化不局限于主文展示的少数案例。

5.5 局限性与读后判断

作者在 conclusion 中明确承认 Bernini 仍受 foundation models 限制：planner 的 MLLM 和 renderer 的 DiT 都是系统上限的重要来源。在复杂编辑场景中，它仍依赖强 LLM rewriter 提供足够详细、结构化的 instruction，说明 native reasoning ability 还没有完全解决 challenging edits。另一个局限是视觉质量：虽然 Bernini 在 subject-to-video consistency 上达到 SOTA，但 visual quality 仍不如更强的 closed-source systems 或 Wan2.7 等模型。

我的读后判断是，这篇论文的贡献更偏系统设计与数据/训练配方，而不是单个新 loss。真正可迁移的 idea 是：把 MLLM 的视觉语义空间作为 planner-renderer interface，并在多源视觉 token 中把 segment identity 编入 RoPE。若未来开源代码释放，最值得复现的不是整套超大规模训练，而是三个较小实验：一是 ViT embedding decoder 是否能在小规模编辑数据上稳定预测 target semantic tokens；二是 SA-3D RoPE 相比 additive segment embedding 是否在 reference leakage 上有可量化改善；三是 self-vision-text reasoning 是否能在复杂编辑 benchmark 上提升 VC/OS，而不只是提升 prompt-following 文本分数。