LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning

Paper: arXiv:2605.22012v1 Code: yfanDai/LatentOmni Code reference: main @ 9f4814bb (2026-05-13) Code status: public repository currently contains README.md, LICENSE, and visual assets only; README marks training/inference code, model checkpoints, and LatentOmni-Instruct-35K dataset as coming soon.

1. Motivation（研究动机）

这篇论文要解决的不是普通的 video QA，也不是单纯把 audio encoder 接到 VLM 上，而是 audio-visual omnimodal reasoning 的中间推理表示问题。作者的出发点是：真实世界事件往往同时包含视觉线索、声音线索和二者的时间关系；如果模型只能把这些连续信号先压成文字，再在文字上做 Chain-of-Thought（CoT），那么推理过程会过早进入离散语言空间，细粒度的同步关系、瞬时声响、动作-声音因果对应会被压缩掉。论文在 Introduction 中把这个问题称为 explicit text CoT 的 textual bottleneck：高维 audio-video evidence 被转写成 text tokens 后，模型更容易依赖语言先验，而不是回到原始感知证据。

Figure 1 解读：这个例子问“紫色 cushion 被扔进篮子时同时发生了什么声音”。Explicit Text CoT baseline 在文字推理里把注意力偏向了女孩喊 “Yay!” 的语言线索，最后选错 D；LatentOmni 在中间插入 <Unified_Latent> 后，注意力热区更多落到 cushion 入篮附近的 audio-video 片段，输出“cushion hitting the basket”的 thud，对应正确答案 B。右侧 attention ratio 对比不是在说明 LatentOmni 文字更长，而是在说明 latent reasoning 让模型在 intermediate steps 仍然能访问 continuous sensory states。

现有 MLLM 在 audio-visual 任务上的主要缺口有三层。第一，很多模型能做 captioning、grounding 或单模态理解，但遇到需要“看见某个动作”和“听到同一时间的声音”同时成立的问题时，容易把同步关系变成弱文本描述。第二，Explicit CoT 虽然让推理更可解释，但它把每一步都写成自然语言，天然倾向于保留容易命名的语义（例如 “girl says Yay”），而丢掉不容易被词汇化的连续细节（例如短促撞击声、动作边界、说话与画面切换的精确时序）。第三，已有 latent reasoning 方法多集中在 visual latent space，缺少把 audio 和 visual 统一到同一 latent reasoning trajectory 中、同时保持时间对齐的机制。

因此，本文的具体目标是：在不抛弃 text reasoning scaffold 的前提下，让 MLLM 可以在推理链中穿插连续的 audio-visual latent states。也就是说，模型仍然用文字组织高层逻辑，但当某一步需要回看或回听证据时，不再把证据硬转成文字，而是触发一段 unified latent reasoning phase。这样做的价值在于，audio-visual reasoning 的关键往往不是“是否识别出物体/声音”，而是“哪个视觉事件和哪个声音在同一时间窗口内相互支撑”。如果中间推理可以保留 dense sensory information，模型就更可能在长视频、多事件、细粒度同步问题上减少 hallucination 和语言先验偏置。

这也是为什么论文把 LatentOmni 定位成 post-training framework，而不是一个新 backbone：作者选择从 Qwen2.5-Omni-7B 出发，固定 backbone scale，主要改变 reasoning representation、supervision data 和 training objectives。这样的设计让实验更聚焦：如果 LatentOmni 比 Qwen2.5-Omni-7B、Explicit Text CoT、Vanilla SFT 都好，增益更可能来自 latent audio-visual reasoning，而不是更大的模型或更多普通 instruction tuning。

2. Idea（核心思想）

核心 insight 可以压缩成一句话：audio-visual reasoning 的中间步骤不一定必须被语言化；当问题依赖细粒度同步证据时，连续 latent state 是比 text token 更合适的推理介质。LatentOmni 因此让模型在同一 autoregressive sequence 里交替生成 text tokens 和 audio-visual latent embeddings：文字负责显式逻辑组织，latent 负责回到音视频证据本身。

本文的关键创新有三个。第一，它定义了 <Unified_Latent> / </Unified_Latent> 这样的 latent phase 触发与停止机制，把离散 vocabulary decoding 和连续 latent decoding 放进同一条 reasoning trajectory。第二，它提出 Omni-Sync Position Embedding（OSPE），把相同物理时间戳的 audio segment 与 visual frame 映射到同步位置编码，避免顺序生成的 audio/visual latents 在时间上漂移。第三，它构造 LatentOmni-Instruct-35K，用 segment-grounded interleaved reasoning trajectories 去监督模型“何时该回到哪段音视频证据”。

与 Explicit Text CoT 的根本区别在于：Explicit Text CoT 把所有中间证据都变成文字，因此推理状态主要由语言 token 承载；LatentOmni 则把 text 看作 scaffold，把 evidence-intensive step 放到 continuous latent space 中。与 Monet、LVR 等 visual latent reasoning 方法相比，LatentOmni 的差异不只是多接入了 audio，而是显式建模 audio-visual temporal synchronization，并用 $L_{sync}$ 与 OSPE 约束两种模态在统一 latent trajectory 中保持同一时间轴。

这个思路的直觉是：当人类回答“扔进篮子的同时是什么声音”时，并不是先把每一帧和每一段声音完整转写成文字，再做逻辑推理；我们会在脑中回到那个时间点，同时检查画面和声音。LatentOmni 想让 MLLM 的推理也具备这种“语言推理 + 感知回看”的交替节奏。论文的实验也围绕这一点设计：它不只比较 main benchmark accuracy，还设置 Explicit Text CoT 与 Vanilla SFT 两个控制组，把“更多文字推理数据”“普通 SFT”“continuous latent grounding”这三种因素分开。

3. Method（方法）

3.1 Overall framework：text-latent interleaved reasoning

LatentOmni 的整体框架如 Figure 2 所示。输入包括 encoded visual features $H^{v}$ 、audio features $H^{a}$ 和 textual query $H^{q}$ 。模型按 autoregressive 方式生成一条混合序列：普通逻辑步骤用 text tokens 表示；当需要重新访问 audio-video evidence 时，模型生成特殊 token $u = ⟨ Unified_Latent ⟩$ ，随后进入连续 latent decoding；生成 $K$ 个 latent embeddings 后，插入 stop token $u^{'} = ⟨ / Unified_Latent ⟩$ ，再回到 text generation，最后输出答案 $a$ 。

Figure 2 解读：左半部分展示 inference trajectory：文本 token、audio embeddings、video embeddings、latent special embeddings 共处于同一序列；当模型生成 Begin latent marker 后，会在 unified latent space 中连续生成 latent audio/video states，并受 OSPE 的时间戳约束。右半部分展示 training：原始 AV segment 经过 ViT 与 AuT 提取特征并 pooling 成 anchors；生成的 latent states 通过 MSE alignment loss 对齐 anchors；audio/visual latents 之间通过 temporal sync loss 做 push-pull；普通文字部分仍然用 Text CE Loss 训练。这张图的关键不是“多了几个 loss”，而是把语言推理、感知 latent 生成、时间同步三件事放在同一条训练路径里。

混合 reasoning trajectory 写作： $S = [w_{1 : i}, u, z_{1 : K}, u^{'}, w_{i + 1 : j}, u, z_{K + 1 : 2 K}, u^{'}, \dots, a] .$ 其中 $w$ 是 text tokens， $z$ 是 continuous latent reasoning states， $a$ 是 final answer。这个设计有两个约束：一是 text 仍然保留高层逻辑结构和最终可解释答案；二是 evidence-intensive 的步骤不被迫压缩成文字，而是由 latent states 携带连续音视频信息。论文在实验中默认使用固定 $K = 40$ 个 latent tokens，并通过 Figure 4 说明 40 tokens 与 $32 V + 8 A$ 的分配最稳定。

3.2 Unified latent representation：last-layer hidden states as latent tokens

在每个 latent reasoning phase 内，第 $k$ 个 latent state 被定义为 transformer backbone 最后一层、进入 LM head 之前的 hidden state： $z_{k} = LM_{θ}^{(L)} (H^{v}, H^{a}, H^{q}, S_{< k}),$ 其中 $L$ 是 transformer layer 数， $S_{< k}$ 是当前 latent step 之前的 mixed context。生成出的 $z_{k}$ 会作为下一步输入 embedding 反馈给模型，因此 latent trajectory 本身也是 autoregressive 的。作者把前 $K_{v}$ 个 latent positions 分给 visual latents，剩余 $K_{a}$ 个分给 audio latents，满足 $K = K_{v} + K_{a}$ 。这样做的好处是，模型在同一个 continuous space $R^{d}$ 中保留 modality-specific capacity：视觉通常需要更高 token budget 来覆盖动作、物体、场景变化，音频仍然需要专门 slots 捕捉 speech、sound events、music 等线索。

如果移除某一模态的 latent space，Table 4 会明显掉点：没有 audio latent 时，Daily-Omni / WorldSense / OmniVideoBench / LVOmniBench 分别是 65.9 / 47.8 / 33.6 / 31.6；没有 visual latent 时是 63.5 / 47.2 / 33.5 / 32.1；完整模型是 67.4 / 48.9 / 35.4 / 35.1。这说明 latent states 不是装饰性的额外 token，而是在最终 reasoning trajectory 中同时承载 audio 和 visual evidence。

3.3 OSPE：把 audio 和 visual latent 绑到同一物理时间轴

Sequential latent generation 有一个潜在问题：即使 audio 和 visual features 原本来自同一时间窗口，进入 autoregressive sequence 后，它们的位置索引可能不同，后续 attention 就可能把“同一时刻的画面”和“同一时刻的声音”错开。OSPE 的作用是把 Qwen2.5-Omni 中 time-aligned multimodal RoPE 的思想扩展到 unified latent space：为 temporally corresponding visual frames 与 audio segments 分配同一个 physical timestamp $t$ 。

对时间戳 $t$ 上的 latent feature $h \in {h^{v}, h^{a}}$ ，OSPE 定义为： $OSPE (h, t) = h ⊙ cos (t Θ) + R (h) ⊙ sin (t Θ),$ 其中 $Θ = {θ_{i}}_{i = 1}^{d /2}$ 是频率向量， $⊙$ 是 Hadamard product， $R (\cdot)$ 是对相邻维度做 block-diagonal rotation 的操作。直觉上，OSPE 不是让模型“知道第几个 latent token”，而是让 audio latent 和 visual latent 共享真实时间位置。这样后续 attention 可以更容易把“看到 cushion 进入篮子”和“听到 thud”绑定在一起，而不是仅仅把它们当作两个独立 modality token。

3.4 LatentOmni-Instruct-35K：为 latent reasoning 合成 segment-grounded supervision

Latent-space reasoning 不能只靠普通 QA 监督，因为普通答案不会告诉模型在中间步骤该访问哪段音视频证据。LatentOmni-Instruct-35K 的作用是提供 audio-visual interleaved reasoning trajectories：每条样本不仅包含问题和答案，还包含 segment-level captions 与显式的“这里需要回到某段证据”的 reasoning marker。

Figure 3 解读：数据构造从 ASID 与 AVoCaDO 的 temporally aligned audio-video captions 出发。第一阶段用 Qwen3-235B-A22B 生成 AVQA，并要求问题跨模态、推理类型多样、答案简洁、不能有 unimodal shortcut；GLM-4.7 再从 difficulty、logic soundness、modality dependency 三个维度打分，低于总分 13 的样本被丢弃，同时把相邻类别比例约束在 3× 内。第二阶段按时间片段生成 QA-guided audio captions 与 video captions，再用 GLM-4.7 过滤 hallucination、修复 shot fragmentation、对齐时间。第三阶段由 GLM-4.7 合成 CoT 轨迹，Gemini-2.5-Flash 审核 citation error 和冗余分支，最后把 marker 替换为对应 audio-video segments。

Appendix A 给出了 prompt 细节。Figure 5/6 规定 open-ended 与 multiple-choice AVQA 的 hard constraints：问题必须依赖 audio 与 visual 的结合，不能用单一模态推断；答案必须 grounded 在 caption content 内，MCQ 必须有四个 plausible distractors。Figure 7 让 GLM-4.7 对 QA 进行 1-5 分质量评估，并分类到 10 类 AVQA reasoning category 与 AV-Strong / Video-Strong / Audio-Strong dependency。Figure 8/9 分别生成 visual-only 和 audio-only segment captions，且禁止推测 mood、intent、genre；Figure 10/11 做 caption fusion 与 refinement；Figure 12 要求 reasoning chain 在必要时引用 [Segment n]，并以 \boxed{...} 结束。也就是说，35K 数据集的重点不是数量最大，而是把“跨模态依赖 + segment grounding + latent marker placement”一起监督。

3.5 Training objectives：text fluency、latent grounding、temporal sync 三目标联合

训练目标要同时满足三件事：保留文字生成能力、让 generated latent states 贴近原始感知证据、让 audio/visual latents 在时间上同步。作者因此使用三项 loss。

第一项是 temporal synchronization loss $L_{sync}$ 。给定匹配时间戳 $t \in T$ 上的 visual latent $h_{t}^{v}$ 和 audio latent $h_{t}^{a}$ ，用 symmetric InfoNCE 拉近同步 AV pair，推开不同时间的异步 pair： $L_{sync} = - \frac{1}{2∣ T ∣} \sum_{t \in T} (lo g \frac{e x p ( sim ( h _{t}^{v} , h _{t}^{a} ) / τ )}{\sum _{t^{'}} e x p ( sim ( h _{t}^{v} , h _{t^{'}}^{a} ) / τ )} + lo g \frac{e x p ( sim ( h _{t}^{a} , h _{t}^{v} ) / τ )}{\sum _{t^{'}} e x p ( sim ( h _{t}^{a} , h _{t^{'}}^{v} ) / τ )}) .$ 其中 $sim (\cdot, \cdot)$ 是 cosine similarity， $τ$ 是 learnable temperature。这一项解决的是“同一时刻的声音和画面是否在 latent space 中靠近”的问题。

第二项是 latent alignment loss $L_{latent}$ 。对每个标注的 audio-video segment，模型先用 visual/audio encoders 提取 raw sensory features，再通过 parameter-free L2-norm-weighted pooling 压成 anchors $A = [a_{1}, \dots, a_{K}]$ ，其中包含 $K_{v}$ 个 visual anchors 和 $K_{a}$ 个 audio anchors。每个 generated latent $z_{k}$ 与对应 anchor $a_{k}$ 做 MSE： $L_{latent} = \frac{1}{K} \sum_{k = 1}^{K} ∥ z_{k} - a_{k} ∥_{2}^{2} .$ 这项 loss 的意义是防止 latent trajectory 虽然形式上连续、实际上仍然被语言先验带跑。Table 4 显示移除 $L_{latent}$ 是最严重的 ablation：Daily-Omni 从 67.4 降到 61.0，OmniVideoBench 从 35.4 降到 31.8，LVOmniBench 从 35.1 降到 30.2。

第三项是 text cross-entropy $L_{text}$ ，只在属于 vocabulary $V$ 的离散 tokens 上计算： $L_{text} = - \frac{1}{N _{text}} \sum_{t = 1}^{L} I (s_{t} \in V) lo g p (s_{t} ∣ S_{< t}, H^{v}, H^{a}, H^{q}) .$ 最终总 loss 为： $L_{total} = L_{text} + λ_{1} L_{latent} + λ_{2} L_{sync} .$ Appendix B 报告训练配置：从 Qwen2.5-Omni-7B fine-tune，训练 750 steps / 2 epochs；最大帧数 FPS_MAX_FRAMES=256；learning rate 为 $1 0^{- 5}$ ；warmup fraction 为 0.05； $λ_{1} = 0.005$ ， $λ_{2} = 1.0$ ；batch size 为 1，gradient accumulation steps 为 12。论文没有发布 launch script 或 config file；这些训练数值来自 paper Appendix B，而不是 released code。

3.6 Pseudocode（paper-derived；released implementation not yet available）

代码搜索未找到开源实现：论文 PDF/abstract 未给出可执行源码链接；Web 与 GitHub 搜索发现公开仓库 yfanDai/LatentOmni，commit main@9f4814bb，但该仓库目前只有 README、LICENSE 与 assets，README 的 Todo List 明确写着 training/inference code、model checkpoints、dataset are coming soon。因此下面的伪代码按论文公式与流程抽象为 PyTorch 风格，用于理解算法，不代表 released code 的逐行实现。

import torch
import torch.nn.functional as F
 
UNIFIED_LATENT = "<Unified_Latent>"
END_UNIFIED_LATENT = "</Unified_Latent>"
 
def latentomni_generate(model, H_v, H_a, H_q, tokenizer, max_text_steps, K=40, K_v=32):
    """Interleave text decoding with continuous audio-visual latent phases."""
    sequence = []
    context = model.embed_query(H_q)
    for _ in range(max_text_steps):
        next_token = model.decode_text_token(H_v=H_v, H_a=H_a, context=context)
        sequence.append(next_token)
        context = model.append_token(context, next_token)
        if tokenizer.decode(next_token) == UNIFIED_LATENT:
            latent_states = []
            for k in range(K):
                z_k = model.last_layer_hidden(H_v=H_v, H_a=H_a, H_q=H_q, context=context)
                latent_states.append(z_k)
                context = model.append_embedding(context, z_k)
            sequence.extend(latent_states)
            sequence.append(tokenizer.encode(END_UNIFIED_LATENT))
            context = model.append_token(context, tokenizer.encode(END_UNIFIED_LATENT))
    return sequence

def ospe(h, timestamp, theta):
    """Omni-Sync Position Embedding for audio/video latent features at the same physical time."""
    h_even, h_odd = h[..., 0::2], h[..., 1::2]
    rotated = torch.stack((-h_odd, h_even), dim=-1).flatten(-2)
    phase = timestamp[..., None] * theta
    cos = torch.repeat_interleave(torch.cos(phase), repeats=2, dim=-1)
    sin = torch.repeat_interleave(torch.sin(phase), repeats=2, dim=-1)
    return h * cos + rotated * sin
 
 
def temporal_sync_loss(h_v, h_a, tau):
    """Symmetric InfoNCE over matched timestamps."""
    h_v = F.normalize(h_v, dim=-1)
    h_a = F.normalize(h_a, dim=-1)
    logits = h_v @ h_a.T / tau.clamp_min(1e-6)
    target = torch.arange(logits.size(0), device=logits.device)
    return 0.5 * (F.cross_entropy(logits, target) + F.cross_entropy(logits.T, target))

def l2_norm_weighted_pool(features, K):
    """Compress segment features into K salient anchors without adding parameters."""
    # features: [num_frames_or_audio_chunks, hidden_dim]
    weights = features.norm(p=2, dim=-1)
    weights = weights / weights.sum().clamp_min(1e-6)
    pooled = torch.einsum("t,td->d", weights, features)
    return pooled.unsqueeze(0).repeat(K, 1)
 
 
def latent_alignment_loss(generated_z, visual_features, audio_features, K_v=32, K_a=8):
    visual_anchor = l2_norm_weighted_pool(visual_features, K_v)
    audio_anchor = l2_norm_weighted_pool(audio_features, K_a)
    anchors = torch.cat([visual_anchor, audio_anchor], dim=0)
    return F.mse_loss(generated_z, anchors)

def train_step(model, batch, lambda_latent=0.005, lambda_sync=1.0):
    H_v, H_a, H_q = model.encode_av_query(batch.video, batch.audio, batch.question)
    mixed_sequence = model.build_interleaved_sequence(batch.text_tokens, batch.segment_markers)
    outputs = model.forward_interleaved(H_v=H_v, H_a=H_a, H_q=H_q, sequence=mixed_sequence)
 
    text_logits = outputs.text_logits
    text_targets = batch.text_targets
    vocab_mask = batch.is_vocabulary_token
    loss_text = F.cross_entropy(text_logits[vocab_mask], text_targets[vocab_mask])
 
    loss_latent = latent_alignment_loss(
        generated_z=outputs.generated_latents,
        visual_features=outputs.segment_visual_features,
        audio_features=outputs.segment_audio_features,
        K_v=32,
        K_a=8,
    )
    loss_sync = temporal_sync_loss(outputs.timestamped_visual_latents,
                                   outputs.timestamped_audio_latents,
                                   tau=model.learnable_temperature.exp())
    loss = loss_text + lambda_latent * loss_latent + lambda_sync * loss_sync
    loss.backward()
    return {"loss": loss, "text": loss_text, "latent": loss_latent, "sync": loss_sync}

Code reference: main @ 9f4814bb (2026-05-13) — code-status audit and asset mapping are based on this commit; implementation source files are not present in the public repository.

Paper Concept	Source File	Key Class/Function
Project overview / release roadmap	`README.md`	States LatentOmni overview and marks training/inference code, model checkpoints, and dataset as coming soon
Architecture overview figure	`assets/overview.png`; arXiv source `fig/model_overview_2.pdf`	Visual explanation only; no model class released
LatentOmni-Instruct-35K pipeline	`assets/LatentOmni-Instruct-35K.png`; arXiv source `fig/data.pdf`	Dataset pipeline visualization only; no preprocessing script released
Main result tables	`assets/Table1.png`, `assets/Table2.png`, `assets/Table3.png`; arXiv source `sections/4_experiment.tex`	Result assets / LaTeX tables; no evaluation code released
Training objective and configs	Not present in repo	Paper Sec. 3.4 and Appendix B are the only available source for $L_{total}$ , LR, batch, warmup, and loss weights
Inference / generation loop	Not present in repo	Paper-derived pseudocode above; released code unavailable

论文公式与 released code 实现差异：当前公开仓库没有模型、loss、trainer、dataset preprocessing、evaluation scripts 或 launch config，因此无法核对公式与代码是否存在实现差异。可确认的差异/限制是 README 仍标记 Training and inference code、LatentOmni model checkpoints、LatentOmni-Instruct-35K dataset 为未发布；笔记中的训练超参数来自论文 Appendix B，而不是仓库配置文件。

4. Experimental Setup（实验设置）

训练与默认配置。 LatentOmni 从 Qwen2.5-Omni-7B post-train 得到，使用 LatentOmni-Instruct-35K 训练 750 steps（2 epochs）。论文强调这个设置主要测试 post-training objective 与 latent reasoning 的作用，而不是扩大 backbone。默认推理和评测固定 40 latent tokens；Figure 4 的 ablation 选择 $32 V + 8 A$ 作为视觉/音频分配。Appendix B 给出 FPS_MAX_FRAMES=256、learning rate $1 0^{- 5}$ 、warmup fraction 0.05、 $λ_{1} = 0.005$ 、 $λ_{2} = 1.0$ 、batch size 1、gradient accumulation 12。

数据集。 LatentOmni-Instruct-35K 来源于 ASID 与 AVoCaDO。Appendix A.1 说明 AVoCaDO 包含 107K temporally-aligned audiovisual video captions，强调 temporal orchestration、dialogue accuracy 和 multimodal alignment；ASID 包含 1M structured fine-grained audiovisual instruction annotations（ASID-1M），覆盖 scenes、objects、actions、speech、camera movement、narrative elements，并通过自动 verification/refinement 降低 hallucination。最终训练集是经过 AVQA synthesis/filtering、segment-level caption synthesis、interleaved trajectory synthesis 后得到的 35K audio-visual interleaved reasoning samples。

评测基准。 论文评测四个 omnimodal benchmarks：Daily-Omni 测 everyday scenario reasoning 与 temporal alignment；WorldSense 测 physical / spatial-temporal commonsense；OmniVideoBench 测 cross-modal alignment、audio-type split 与 duration split；LVOmniBench 测 long-form multi-sensory understanding。另有 VideoMME vision-only protocol 用于与 LVR、Monet 等 visual latent reasoning 方法比较。

Baselines。 Open-source audio-visual MLLMs 包括 VideoLLaMA2-7B、MiniCPM-o-7B、VITA-1.5-7B、HumanOmniV2-7B、Baichuan-Omni-1.5、OmniVinci、Qwen2.5-Omni-7B。控制组包括 + Explicit Text CoT（移除 LatentOmni-Instruct-35K 中 interleaved audio-video segments，仅用 strict textual reasoning trajectories fine-tune Qwen2.5-Omni-7B）和 + Vanilla SFT（在同一数据上普通 SFT，但不做 latent-space reasoning）。Proprietary systems GPT-4o、Gemini-2.0-Flash、Gemini-2.5-Pro、Gemini-3-Pro 作为 reference，不是严格控制 baseline。

指标。 主表报告各 benchmark 的 accuracy / benchmark score（百分比）。OmniVideoBench 进一步按 audio type（Music、Sound、Speech）与 video duration（0-1、1-5、5-10、10-30 min）报告 accuracy。VideoMME 按 Overall、Short Video、Medium Video、Long Video 报告分数。消融表同样使用各 benchmark 分数比较组件贡献。

5. Experimental Results（实验结果）

5.1 Main benchmark results

Table 1 的核心结论是：LatentOmni 在所有四个 omnimodal benchmarks 上都是 open-source 组最好。相对 base Qwen2.5-Omni-7B，它在 Daily-Omni / WorldSense / OmniVideoBench / LVOmniBench 上从 62.9 / 45.4 / 29.3 / 32.0 提升到 67.4 / 48.9 / 35.4 / 35.1，绝对增益为 +4.5 / +3.5 / +6.1 / +3.1。相对 Explicit Text CoT 的 65.6 / 46.6 / 33.2 / 32.1，LatentOmni 仍提升 +1.8 / +2.3 / +2.2 / +3.0，说明增益不只是“多写 CoT”。相对 Vanilla SFT 的 62.0 / 47.5 / 30.5 / 33.2，LatentOmni 在 Daily-Omni 和 OmniVideoBench 的提升尤其明显，分别为 +5.4 和 +4.9。

Method	Daily-Omni	WorldSense	OmniVideoBench	LVOmniBench
VideoLLaMA2-7B	35.2	25.4	29.2	27.0
MiniCPM-o-7B	53.1	29.7	29.7	34.8
VITA-1.5-7B	44.7	36.9	30.5	-
HumanOmniV2-7B	58.5	47.1	30.5	32.3
Baichuan-Omni-1.5	50.0	43.3	30.7	32.8
OmniVinci	66.5	48.2	32.1	-
Qwen2.5-Omni-7B	62.9	45.4	29.3	32.0
+ Explicit Text CoT	65.6	46.6	33.2	32.1
+ Vanilla SFT	62.0	47.5	30.5	33.2
LatentOmni	67.4	48.9	35.4	35.1
GPT-4o（reference）	56.5	42.6	-	-
Gemini-2.0-Flash（reference）	67.8	56.2	41.5	42.9
Gemini-2.5-Pro（reference）	81.4	64.6	58.9	-

需要注意，LatentOmni 仍明显落后于 Gemini-2.5-Pro 这类 proprietary systems（例如 OmniVideoBench 35.4 vs. 58.9），所以论文的 strong claim 是“open-source 7B 条件下 latent reasoning 有效”，不是声称达到闭源前沿模型水平。

5.2 Fine-grained OmniVideoBench analysis

OmniVideoBench 的细分结果更能说明 latent reasoning 帮在哪里。LatentOmni 平均 35.4，比 base Qwen2.5-Omni-7B 的 29.3 高 6.1pp，比 Explicit Text CoT 的 33.2 高 2.2pp。按 audio type 看，LatentOmni 在 Music / Speech 上分别是 33.3 / 36.7，是 open-source 中最高；Sound 为 30.2，略低于 Explicit Text CoT 的 32.0 和 Baichuan-Omni-1.5-7B 的 31.3。按时长看，LatentOmni 在 (0,1] min、(1,5] min、(5,10] min 上分别为 45.2 / 33.2 / 33.3，并在 (10,30] min 上达到 34.0，与 VITA-1.5-7B 并列 open-source 最好。这个模式支持作者的解释：连续 latent states 对长视频持续同步和 speech/event grounding 有帮助，但某些 generic sound 类问题仍可能受 base audio encoder 或数据分布限制。

5.3 Comparison with visual latent reasoning methods

在 VideoMME 的 vision-only protocol 下，LatentOmni 也优于 LVR 与 Monet：Overall 为 60.8，Short / Medium / Long Video 分别为 70.8 / 60.5 / 50.4。LVR 是 36.7 / 39.2 / 36.6 / 34.3，Monet 是 51.6 / 52.9 / 56.0 / 46.0。这个结果说明 LatentOmni 的 latent design 并不只依赖 audio；即使去掉 audio 输入，它作为 visual latent reasoning 方法也能在长短视频上保持竞争力。不过这个比较使用的是 prior work 的 vision-only setting，不能直接等同于完整 audio-visual setting 的公平训练对照。

5.4 Ablation：组件贡献与 latent token 配置

Table 4 显示，所有核心组件都有作用，但重要性不同。移除 visual latent 的 Daily-Omni 只有 63.5，低于移除 audio latent 的 65.9，说明视觉预算对整体 video reasoning 更关键；但移除 audio latent 也会把 LVOmniBench 从 35.1 降到 31.6，说明长视频多感官任务不能只靠画面。移除 OSPE 后，四个 benchmark 都下降：Daily-Omni 67.4 → 66.0，WorldSense 48.9 → 47.8，OmniVideoBench 35.4 → 34.9，LVOmniBench 35.1 → 33.1。移除 $L_{latent}$ 的损失最大，说明 feature-level grounding 是避免 latent states 空转的关键；移除 $L_{sync}$ 的损失较小但稳定，说明 temporal sync 是 complementary constraint。

Ablation	Daily-Omni	WorldSense	OmniVideoBench	LVOmniBench
w/o Audio in Latent Space	65.9	47.8	33.6	31.6
w/o Visual in Latent Space	63.5	47.2	33.5	32.1
w/o OSPE	66.0	47.8	34.9	33.1
w/o $L_{latent}$	61.0	45.2	31.8	30.2
w/o $L_{sync}$	65.9	47.1	34.0	33.1
Qwen2.5-Omni-7B	62.9	45.4	29.3	32.0
+ Explicit Text CoT	65.6	46.6	33.2	32.1
+ Vanilla SFT	62.0	47.5	30.5	33.2
LatentOmni (full)	67.4	48.9	35.4	35.1

Figure 4 解读：左侧三组 token-count ablation 显示 40 latent tokens 是三项 benchmark 上的共同最优点：DailyOmni 67.2、WorldSense 48.9、OmniVideoBench 35.4；20/30 tokens 容量不足，50 tokens 增加计算但不稳定。右侧 AV-allocation ablation 固定总数 40，最佳分配是 32 visual + 8 audio：DailyOmni 67.4、WorldSense 48.9、OmniVideoBench 35.4。24V+16A、28V+12A、36V+4A 都较差，说明视觉需要更大预算，但音频不能被压缩到太少。

5.5 Qualitative cases and limitations

Appendix C 的三个 case study 展示 LatentOmni 怎样在 latent space 中定位 key clues。作者没有把 latent embeddings 投影回语言，因为那会变成不可解释 token；他们用 <Unified_Latent><latent_embeddings></Unified_Latent> 标记 latent segments，并可视化 latent tokens 对原始 AV inputs 的 attention。

Figure 13 解读：AV Event Alignment case 要把 spoken phrase “number two, best soup in Southeast Asia” 与画面中的 soup ranking、flag、text 对齐。LatentOmni 在 latent segment 中关注到 number 2、Philippine flag 与 “Sinigang Philippines”，从而选择 B。这个例子强调的是 spoken content 与视觉 ranking frame 的同步，而不是单独识别食物或国旗。

Figure 14 解读：Inference case 要判断视频主目标。模型先用一个 latent segment 定位 speaker introduction 和 video title，再用第二个 latent segment 检查 iPhone 12 Pro Max 的展示、尺寸、颜色、camera 等视觉/语音线索，最后判断是 reviewing smartphone features。这里 latent reasoning 不是只检索一个瞬时声音，而是在多段证据间串联 speaker intent。

Figure 15 解读：Reasoning case 问为什么人在说 “their card” 时敲击牌堆边缘。LatentOmni 先定位 spoken instruction 与动作发生的片段，再检查后续 rising card/reveal 的上下文，判断 tap 的作用是 visually highlight/show the card，而不是制造声音或分散注意力。这个例子体现了 LatentOmni 处理 action-purpose reasoning 的能力：声音、动作和结果必须按时间顺序结合。

局限性方面，Appendix D 明确指出 LatentOmni 仍然受当前 multimodal systems 的 modality coverage 限制。现实环境还包括 3D spatial representations、tactile physics、motor action commands 等更复杂的物理和交互信号；如何把这些异构信号映射到统一 latent space 仍是开放问题。此外，公开仓库尚未发布训练/推理代码、checkpoint 和数据集，因此目前无法复现实验或验证 paper formulas 与 implementation 的完全一致性。实验上，LatentOmni 相对 open-source baselines 有稳定增益，但与 Gemini-2.5-Pro 等闭源系统仍有显著差距；这说明 unified audio-visual latent reasoning 是一条有效方向，但还不是 omnimodal understanding 的完整解决方案。

Paper Notes

探索