Toward Native Multimodal Modeling: A Roadmap

Paper: arXiv:2605.25343 Code: NMM-Roadmap/Awesome-NMM-List Code reference: main @ 307052dc (2026-05-26)

1. Motivation（研究动机）

这篇文章解决的不是某一个新模型的局部优化，而是 Native Multimodal Modeling（NMM）这个新范式缺少清晰边界与工程路线图 的问题。作者观察到，LLM 在语言理解与推理上已经很强，但其接口仍主要是 text-only；真实世界却由图像、音频、视频、GUI、动作和长期交互状态共同构成。如果多模态能力只是把 frozen vision/audio encoder、projector、LLM 和生成 head 拼接起来，模型看到的仍是被外部模块预处理后的中间特征，而不是在同一个 backbone 内原生建模多模态 token。这样的系统可以工作，但很难成为统一的 world model。

现有方法的核心瓶颈有三层。第一，架构边界模糊：late-fusion、mid-fusion、early-fusion 经常都被叫作 unified / native，但它们的梯度路径、token 空间、输出方式完全不同。late-fusion 中 LLM 对原始感知信号是 “blind” 的，只消费 $P_{i} (E_{i} (m_{i}))$ 这样的外部编码结果；mid-fusion 开始让多模态特征注入 joint backbone，但仍保留显式 modality boundary；early-fusion 才试图让所有模态从输入侧进入统一 token / embedding space。第二，理解与生成仍然不对称：很多模型能 multi-modal input → text output，却不能在同一网络内自然地产生 image/audio/video output；另一些生成模型可以 text/image → target modality，但仍依赖独立 decoder 或 diffusion head。第三，训练、推理、评测没有跟上 native 架构：多模态 token 的信息密度、序列长度、loss scale、latency、KV-cache、full-duplex state 都和 text-only LLM 不同，不能简单套用语言模型 recipes。

本文想解决的具体问题是：给 NMM 提供一个可复用的形式化定义、分类法和工业级 pipeline checklist。它把 “native” 拆成两个正交维度：一是 cross-modal integration depth（late / mid / early fusion），二是 input-output duality（M2T / M2G / M2M）。这样做的价值在于，后续读具体模型时可以回答更精确的问题：模型到底是在 backbone 中融合，还是只在输入输出边缘拼接？它只把多模态压成 text，还是能以对称方式在多模态之间生成？它的训练瓶颈来自 encoder unfreezing、统一 softmax、视觉 token 爆炸，还是 RL policy scope 扩大？

值得研究这条路线，是因为 NMM 是从 “多模态工具链” 走向 “世界模型” 的中间层。真正有用的 native model 不应只是看图答题或文生图，而应能在长时程 sensory stream 中维持状态、理解当前情境、生成下一步行动或多模态响应，并在 streaming / full-duplex deployment 中稳定运行。本文把 2023–2026 年的模型、数据、训练、推理和评测放到同一个坐标系中，给未来的 symmetric, streaming, embodied multimodal intelligence 提供了路线图。

2. Idea（核心思想）

本文最核心的 insight 是：“native” 不是一句营销标签，而是可以由架构融合深度和输入输出对称性共同刻画的结构属性。一个模型越 native，就越少依赖外部冻结 encoder、浅层 projector 和 post-hoc decoder；越接近在单一 Transformer / backbone 中把 text、image、audio、video 等模态作为同等的一类 token 或 latent state 来建模。

关键创新可以概括为三点。第一，作者用公式把 late-fusion 排除在 native 范围之外，并把 mid-fusion 与 early-fusion定义为两种 NMM regime。第二，作者用 M2T / M2G / M2M 描述 input-output duality：M2T 解决多模态理解到文本，M2G 解决多模态条件下的单目标模态生成，M2M 则追求任意模态输入到任意模态输出的对称建模。第三，文章把架构、数据、训练、推理部署和评测串成完整生命周期，而不是只做模型名列表。

与普通 MLLM survey 的根本区别在于，这篇文章不是按 “图文理解、视频理解、TTS、T2I” 等任务平铺，而是强调任务背后的 结构性迁移。例如 LLaVA / Qwen2.5-VL 这类 late/mid-fusion 模型可以很好地做 image-to-text reasoning，但其 native 程度不同于 Chameleon、Emu3.5、AnyGPT 或 LongCat-Next 这类把离散视觉/音频 token 放入统一 autoregressive objective 的 early-fusion 系统；而 Transfusion、Show-o2、BAGEL 等 hybrid 模型虽然统一了理解与生成接口，却仍通过 diffusion / flow / VAE latent 处理连续视觉生成，因此处在 bridging AR and Diffusion 的过渡地带。

3. Method（方法）

3.1 Overall framework：从 late-fusion 拼接走向 born-native M2M

Figure 1 解读：这张图给出多模态建模范式的演化路线：早期系统以独立 encoder / decoder 加语言 backbone 的方式拼接能力；随后模型进入 mid-fusion，感知特征被注入 shared backbone，但 modality boundary 仍然可见；最终目标是 born-native 状态，即不同模态在统一 Transformer space 中被共同处理，并支持 symmetric multi-to-multi understanding and generation。图中的 “running” 轨迹不是简单时间线，而是作者对 native 程度的结构排序：越往后，跨模态信息越早进入主干、输出越对称、训练越难但潜在能力越接近 world model。

作者首先用算子刻画不同融合深度。设输入模态集合为 $M = {m_{1}, m_{2}, \dots, m_{n}}$ ， $E_{i}$ 为 modality-specific encoder， $P_{i}$ 为 projection/alignment layer， $T$ 为统一 tokenization operator。late-fusion 被定义为： $F_{late} = G (LLM ({P_{i} (E_{i} (m_{i}))}_{i = 1}^{n})) .$ 这里的关键问题是 backbone 只看到 projector 产物，不能直接对 raw sensory signal 建模；输出 head $G$ 也是外挂式的。因此本文把这种 post-hoc alignment scheme 排除在 NMM 范围之外。

mid-fusion 被定义为： $F_{mid} = Backbone (C (E_{1} (m_{1}), \dots, E_{n} (m_{n}))),$ 其中 $C$ 可以是 cross-attention、deep adapter 或 feature injection operator。mid-fusion 的进步在于 cross-modal correlation 已经进入 joint multimodal backbone；但它仍 modality-aware，因为上游 encoder 与中心 backbone 的边界仍然存在。

early-fusion 被定义为： $F_{early} = Transformer (⋃_{i} T (m_{i})) .$ 这时所有模态从输入侧就由统一 operator $T$ 映射进 shared embedding / token space。作者把它称为 born-native，因为模型不再把图像、音频、视频当作语言模型之外的外部 feature，而是在同一 Transformer 中把它们作为等价 token 处理。

从 input-output duality 看，作者进一步定义三类范式：

M2T： $F_{M 2 T} : M \to T$ ，把任意多模态输入压缩到文本输出，瓶颈主要是 cross-modal alignment 与 perceptual grounding。
M2G： $F_{M 2 G} : M \to y_{k}$ ，其中 $y_{k} \in M$ 是单一非文本目标模态，例如 video voxel 或 audio waveform；重点是从 native hidden representation 直接解码目标模态。
M2M： $F_{M 2 M} : M_{in} \to M_{o u t}$ ，其中 $M_{in}, M_{o u t} \subseteq M$ ，输入输出都可以包含任意模态组合；这是最终的 symmetric modeling 目标。

3.2 2023–2026 时间线与三类 NMM

Table 1 解读：表 1 汇总了 42 个近期 NMM / native-oriented model，并按 M2T、M2G、M2M 划分。M2T 中包括 MiniCPM-V-4.6（2026.05, 1B）、MiMo-V2.5（2026.04, 310B/15B active）、Kimi K2.5（2026.01, 1T/32B active）、GLM-5V-Turbo（2026.04, 744B/40B active）、InternVL-3.5（2025.08, 241B/28B active）等；M2G 中包括 LTX-2.3（2026.03, 19B）、Ming-Flash-Omni-2.0（2026.02, 100B/6B active）、Kling-Omni（2025.12）、Wan2.2-T2V-A14B（2025.07, 27B/14B active）、Seedream3.0（2025.04, 12B）；M2M 中包括 Lance（2026.05, 3B）、Mamoda2.5（2026.05, 25B/3B active）、LongCat-Next（2026.04, 68.5B/3B active）、Emu3.5（2025.10, 34.1B）、BAGEL（2025.05, 14B/7B active）、Chameleon（2024.05, 34B）与 AnyGPT（2024.02, 7B）。星号表示使用 discrete unified scheme 的模型，括号表示特殊架构的 effective(total) 参数量。

Figure 2 解读：Figure 2 把表 1 的模型放在时间线与功能分类中。上升轨迹强调 NMM 从 early mid-fusion alignment 走向 early-fusion / born-native transformer。它的一个重要信息是：M2T、M2G、M2M 不是互斥任务集合，而是 native 程度和输入输出对称性逐步增强的路线。M2T 仍以 text output 为中心；M2G 开始让 image/audio/video 作为输出目标；M2M 则把理解与生成放在同一个 symmetric framework 中。

Figure 3 解读：Figure 3 用三个小架构示意 M2T、M2G、M2M。M2T 的输出 bottleneck 是 text，适合 VQA、OCR、chart reasoning、video QA 等理解任务；M2G 的输出是某一个目标模态，适合 text-to-image、text-to-video、speech generation 或 audio-visual generation；M2M 则不再固定 “perceptor → reasoner → renderer” 的方向，而是把输入模态与输出模态都当作可组合集合。对读者最重要的是：M2M 不只是 “多任务更多”，而是把理解与生成的边界变成同一网络内部的 token-level next-step modeling 问题。

3.3 Architecture：M2T / M2G / M2M 的关键设计轴

Figure 4 解读：Figure 4 是全文最重要的 taxonomy 图。蓝色 M2T 分支把 image/audio/video comprehension 的挑战拆成 modality unification、multi-image reasoning、multi-scale encoding、semantic-acoustic conflict、latency/computation、temporal inconsistency、long-range dependency 等；橙色 M2G 分支关注 high visual fidelity、compositional controllability、semantic-prosody alignment、latency control、physics understanding、token explosion 与 audio-visual alignment；红色 M2M 分支则把 fully discretized unified 与 modality-specificity preserving 两条路线的矛盾摆出来：前者统一但会损失连续细节，后者保真但要桥接 AR 与 diffusion / continuous latent。

M2T：多模态输入到文本输出

M2T 目标是把 text、image、audio、video 等输入变成纯文本回答。它的优势是可以最大化复用 LLM 的语言推理与指令遵循能力，但主要压力集中在 grounding：模型必须把视觉/音频/视频证据准确压缩成语言空间，否则输出文本再流畅也可能是不 grounded 的。

在 image comprehension 中，作者把挑战拆成三类。第一是 modality unification：当前强模型仍大量使用 continuous projection，把 vision encoder 特征映射到 LLM latent space，例如 Llama-4-Scout/Maverick、Kimi K2.5、Gemma-4-31B；另一类 unified stream mapping 则尝试让 Qwen3.6、Nemotron3-Nano-Omni 这类模型更直接地统一输入流。第二是 multi-image reasoning：多图、长文档和视觉上下文会造成 visual token saturation 与 quadratic attention cost，因此 Kimi K2.5、InternVL-3.5 通过 Visual Resolution Router、temporal pooling、deep feature alignment、advanced positional encoding 等手段减少 token 或增强跨图对齐。第三是 multi-scale encoding：InternVL-3.5、MiniCPM-V-4.6 使用 structure-aware tiling；Qwen3-VL、GLM-5V-Turbo 使用 2D-RoPE / dimension-decoupled positional encoding；InternVL-3.5 还使用 semantic-driven resampling 来在分辨率与语义密度之间取舍。

在 audio comprehension 中，核心矛盾是 semantic-acoustic conflict：语音既有离散语义，也有连续声学细节。MiMo-V2.5 使用 MiMo-Audio-Tokenizer，在 shared latent space 中用 RVQ 前层保语义、后层保声学；Gemma-4-E4B 则处理 log-Mel spectrogram 并把压缩后的 acoustic vectors 注入 backbone。另一个瓶颈是 latency/computation：音频是长时间序列，模型需要低延迟地编码和响应，因此长 frame duration、token aggregation 和 streaming encoder 是关键。

在 video comprehension 中，token explosion 更严重：高帧率视频会让 visual-temporal token 以秒级增长，Transformer 计算随序列长度二次增长。作者强调三类应对方式：压缩与聚合 video tokens；显式建模 temporal coordinate / time tokens 来降低 temporal hallucination；通过 modular long-term memory 或 distributed clustering 处理小时级视频的 long-range dependency。这里的重点是 “有效管理记忆” 而不是简单丢弃历史帧。

M2G：多模态条件到目标模态生成

M2G 的目标是从 multimodal prompt 直接生成目标模态。与传统 “LLM 产出 prompt，再交给外部 diffusion/TTS/video generator” 不同，native M2G 希望目标模态由 core hidden representation 产生，从而减少 semantic drift。

在 image generation 中，Ming-Flash-Omni-2.0 这类框架把 Transformer 与 diffusion 放在 shared latent space 中，用 mask-aware architecture 学习 cross-modal token joint distribution；hidden layer 一方面预测 next text token，另一方面输出连续特征指导 image denoising。Seedream3.0、HiDream-O1-Image 等模型则强调 compositional controllability，通过 cross-modality RoPE、layout/pose/depth 约束等方式减少 attribute leakage 与 spatial misalignment。

在 audio generation 中，连续 latent route 往往更有利于 acoustic fidelity 和 prosody alignment；离散 token route 的价值则在于把音频变成和文本类似的符号，使 autoregressive LLM 能直接做 instruction-following 与 streaming generation。Qwen3-Omni、GLM-4-Voice、MiniCPM-o-4.5 代表低延迟语音输出方向；Ming-Flash-Omni-2.0、Qwen3.5-Omni 则强调 reasoning-streaming synergy。

在 video generation 中，作者把三类难点说得很清楚。第一是 physics understanding：传统 diffusion 视频可能出现漂浮、穿模、碰撞不守恒等物理违例，Wan2.2、Kling-Omni、HunyuanVideo-1.5 等方向尝试通过显式物理规则或隐式推理改善。第二是 token explosion：DiT 时代长视频高分辨率会引发 OOM 和速度下降，LTX-2.3、Wan2.2 采用 spatiotemporal VAE compression，HunyuanVideo-1.5、Ming-Flash-Omni-2.0、Seedream 3.0 则通过 sparse attention pruning / dynamic token allocation 减少计算。第三是 audio-visual alignment：MiniCPM-o 4.5、Qwen3-Omni、LTX-2.3、Seedance 2.0、OmniVoice 代表把音频、视频和语义事件锁定到统一时间轴的方向。

M2M：理解与生成对称共存

M2M 是本文的终极 native 目标，但它也暴露了最难的结构矛盾。一条路线是 fully discretized unified：把 text/image/audio/video 都离散化到统一 vocabulary，在同一个 softmax 和 next-token objective 中训练。这使 Chameleon、AnyGPT、LongCat-Next、Moshi、Emu3.5 等模型更接近单一建模范式，但也会因离散化损失低层细节，限制精细感知和高保真生成。另一条路线是 modality-specificity preserving：保留连续 latent、diffusion 或专用 tokenizer 来维护视觉/音频细节，例如 Transfusion、Show-o2、OneCAT-3B、Mamoda2.5 等尝试桥接 AR 与 Diffusion。这条路线更保真，但实现上要处理离散语言 token 与连续视觉/audio latent 在同一个系统内如何交互。

方法直觉上，M2M 的难点来自信息密度不均衡：一个 text token 通常承载高度抽象语义，一个 image/audio token 可能只是局部低层信号；如果强行塞进同一 softmax，模态之间会竞争梯度和容量。如果完全保留各自的表示，又会回到多模块拼接。因此作者认为真正的 NMM 需要在统一建模与模态特异性之间找到新平衡。

3.4 Data：按功能角色组织训练数据

Table 2 解读：表 2 把 NMM 训练数据分成四大类：Understanding-Oriented、Generation-Oriented、Interaction-Oriented、Preference & Alignment。Understanding 数据包括 LAION-5B、COCO Captions、CC3M/CC12M、YFCC100M、DataComp、VQA v2、GQA、OK-VQA、ScienceQA、LLaVA-Instruct、InstructBLIP、MMC4、OBELICS、OmniCorpus、MANTIS、NLVR2、MuirBench、BLINK、DocVQA、ChartQA、TextVQA、Flickr30k Entities、RefCOCO、MSR-VTT、ActivityNet、AudioSet、LibriSpeech 等。Generation 数据包括 DiffusionDB、InstructPix2Pix、MagicBrush、HQ-Edit、UltraEdit、ControlNet、GLIGEN、Composer、VIST、OpenLEAF、CoMM、WebVid-10M、Panda-70M、OpenVid-1M、VideoGen-1M、LibriTTS、VCTK、GigaSpeech、WavCaps、MusicCaps 等。Interaction 数据覆盖 WebShop、Mind2Web、WebArena、VisualWebArena、WebLINX、WebVoyager、AITW、RICO、ScreenAI、SeeClick、OSWorld、Windows Agent Arena、ALFWorld、BridgeData V2、DROID、RoboMimic、Magma 等。Alignment 数据包含 LLaVA-RLHF、RLHF-V、VLFeedback、RLAIF-V、HA-DPO、SPA-VL、Safe RLHF-V、Pick-a-Pic、HPS v2、VBench、Environment Rewards、Human Demos 等。

作者强调，NMM 不能用固定比例混合所有数据。早期 alignment 更依赖干净 paired data，例如 image-caption、OCR-image-text、speech-transcription、short video-caption；后期 pretraining 才扩大到 text-only、image-text、video-text、documents、grounding、VQA、interleaved sequences 和 generation data。统一理解-生成模型还要平衡 discriminative understanding data 与 generative data；BAGEL 这类 recipe 从 alignment data 逐步移动到 text、T2I、I2T、interleaved understanding / generation 混合，说明数据 curriculum 本身就是 native 架构的一部分。

3.5 Training：融合 regime 决定训练 recipe

Figure 5 解读：Figure 5 将训练阶段（PT/SFT/RL/OPD）与融合 regime（late/mid/early）放在一个 grid 中。右移箭头不是风格选择，而是架构必然性：PT 从 late 到 mid 后，encoder 开始接收梯度，differential LR 变成必需；PT 从 mid 到 early 后，z-loss 与 QK-Norm 成为稳定训练前提，modality-mixture schedule 替代 differential LR 成为核心控制旋钮；RL 从 mid 到 early 后，policy scope 覆盖整个 backbone，grounding hack、see-saw、perception/logic gap 会一起出现；OPD 则被作者视为应对这种 full-backbone policy drift 的结构性方案。

训练部分最重要的观点是：training strategy is not independent of architecture。在 PT 中，late-fusion 主要训练 projector / head；mid-fusion 一旦解冻 encoder，就需要 progressive unfreezing、differential LR 和 decoupled losses。例如 Qwen2-VL 先训练 ViT while LLM frozen，再两者同时 unfrozen；CogVLM 使用 encoder LR 为 base rate 的 $1/10$ ；Janus-Pro 三阶段 LR 从 $1 0^{- 3} \to 1 0^{- 4} \to 4 \times 1 0^{- 5}$ ，总衰减 $25 \times$ 。MiniCPM-V 的分辨率 curriculum 是 $224 \to 448 \to 134 4^{+}$ ，CogVLM 则在 late pretraining 中把输入从 224 提高到 490。

对于 early-fusion，离散 token 模型从第一步就 joint-from-start。Chameleon 扩展 8,192 个 image codebook token，Emu3.5 扩展 32,768 个 token，AnyGPT 组合加入 8,192 image、1,024 speech 和 8,192 music tokens。统一 vocabulary 带来统一 cross-entropy，但也带来统一发散面。Transfusion 的 hybrid loss 写作： $L = L_{LM} + 5 \cdot L_{DDPM},$ 其中 $λ = 5$ 来自 preliminary search。Moshi 的 RVQ audio path 给 semantic codebook 的 loss weight 设为 $α_{k} = 100$ ，acoustic codebook 为 $α_{k} = 1$ ，以优先保留语言内容。Chameleon 的稳定性经验也很关键：没有 QK-Norm 时模型约在 20% training 后 diverge；z-loss 正则为 $1 0^{- 5} \cdot lo g^{2} Z$ ，其中 $Z$ 是 softmax partition function，用来约束 heterogeneous token distribution 下的 logits。

在 RL 中，mid-fusion 的 policy scope 仍可局部化，早期融合则让所有模态路径共享参数，导致 textual reward proxy 可能推高长度、格式和自信度，却没有真正 grounded in image。作者称之为 visual-grounding hacking。另一个问题是 perception error 与 logical error 混合：Outcome-only RL 看不到模型是算错了，还是把图/chart/region 看错了；URSA、GM-PRM 这类 multimodal PRM 的意义在于把 process-level reward 分解到感知与推理过程。

OPD / MOPD 被作者放在 post-RL 的关键位置。OPD 可以看作对 GRPO 的单行修改：把 group relative advantage 换成对 teacher 的 stop-gradient reverse-KL log-ratio： $\hat{A}_{i, t} = sg [lo g \frac{π _{teacher} ( y _{i, t} ∣ x , y _{i, < t} )}{π _{student} ( y _{i, t} ∣ x , y _{i, < t} )}] .$ MiMo-V2.5 是作者列举的首个公开报告在 native multimodal model 上部署 MOPD 的案例，其路线是 text PT $\to$ projector warmup $\to$ multimodal PT $\to$ SFT and agentic post-training（context 从 32K 扩到 1M） $\to$ RL and MOPD。其增强优势写作： $\hat{A}_{i, t} = \hat{A}_{i, t}^{OPD} + α \hat{A}_{i, t}^{ORM} .$ 这把 specialist teacher pool、outcome reward model 和 self-snapshot anchor 结合起来，避免学生被单一 teacher ceiling 或 RL drift 锁死。

3.6 Inference & Deployment：token、KV-cache、streaming 才是 native 系统瓶颈

native 多模态推理把 long-context 问题放大了：高分辨率图像、多图文档、长视频不再是一个 compact side feature，而是数百、数千甚至上百万 visual / temporal tokens。推理效率不只由参数量决定，还由 prefill cost、KV-cache 容量、memory bandwidth 和跨设备通信决定。作者列出四类路线：visual resampling / token compression，在编码前后压缩视觉 token；dynamic resolution / sparse perception，避免一开始就生成不必要 token；pure discrete tokenization，通过 VQ codebook 把连续信号变成有限 ID；MoE / hybrid routing，用 modality-aware experts 和 sparse activation 绕过物理推理瓶颈。

在 streaming 和 full-duplex 部署中，TTFT、sustained latency 和实时响应成为一等指标。模型不能等完整视频或音频结束后再回答，而应 incremental multimodal token decoding；full-duplex state management 要同时处理输入 sensory stream 和输出 text/speech/image stream；runtime adaptive bitrate control 与 mixed quantization 则在带宽、能耗和保真度之间动态折中。这里的系统挑战比单模态 decoding speed 更复杂，因为它涉及输入累积、状态更新、输出生成和 KV-cache contention 的同步协调。

3.7 Pseudocode：把论文/README 的 taxonomy 转成可执行检查逻辑

论文关联 GitHub 仓库 NMM-Roadmap/Awesome-NMM-List 在 main@307052dc 只有 README.md，是项目页/阅读清单，不包含可运行模型、训练 loop、loss 实现或配置脚本。因此下面的 pseudocode 不是原作者发布的训练代码，而是把论文公式和 README taxonomy 实现成可执行的分类与审计逻辑；它用于阅读理解，不用于复现实验。

from dataclasses import dataclass
from enum import Enum
 
class FusionRegime(Enum):
    LATE = "late-fusion"
    MID = "mid-fusion"
    EARLY = "early-fusion"
 
@dataclass
class ModelSpec:
    has_frozen_modality_encoder: bool
    uses_projection_or_adapter: bool
    injects_features_into_backbone_layers: bool
    tokenizes_all_modalities_with_shared_operator: bool
    output_modalities: set[str]
 
 
def classify_fusion(spec: ModelSpec) -> FusionRegime:
    if spec.tokenizes_all_modalities_with_shared_operator:
        return FusionRegime.EARLY
    if spec.injects_features_into_backbone_layers:
        return FusionRegime.MID
    if spec.has_frozen_modality_encoder and spec.uses_projection_or_adapter:
        return FusionRegime.LATE
    raise ValueError("insufficient architecture evidence")

class IODuality(Enum):
    M2T = "multi-to-text"
    M2G = "multi-to-target"
    M2M = "multi-to-multi"
 
 
def classify_io_duality(input_modalities: set[str], output_modalities: set[str]) -> IODuality:
    if output_modalities == {"text"}:
        return IODuality.M2T
    if len(output_modalities) == 1 and "text" not in output_modalities:
        return IODuality.M2G
    if len(input_modalities) > 1 and len(output_modalities) > 1:
        return IODuality.M2M
    raise ValueError("borderline case: inspect paper architecture and output heads")

def choose_training_recipe(fusion: FusionRegime) -> dict:
    if fusion is FusionRegime.LATE:
        return {
            "pt": ["freeze modality encoders", "train projector/head"],
            "sft": ["instruction tuning on text-facing outputs"],
            "rl_scope": "mostly language/projector path",
        }
    if fusion is FusionRegime.MID:
        return {
            "pt": ["progressive unfreezing", "differential LR", "decoupled understanding/generation losses"],
            "sft": ["unfreeze-at-SFT or train-then-re-freeze encoder"],
            "rl_scope": "pathway-local policy updates with grounding rewards",
        }
    if fusion is FusionRegime.EARLY:
        return {
            "pt": ["joint-from-start", "shared vocabulary or shared latent grammar", "z-loss", "QK-Norm"],
            "sft": ["joint multimodal instruction mixtures"],
            "rl_scope": "full-backbone policy; guard against grounding hack and see-saw",
            "post_rl": ["OPD/MOPD", "teacher pool", "self-snapshot anti-drift anchor"],
        }

3.8 Code-to-paper mapping

Code reference: main @ 307052dc (2026-05-26) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
NMM architectural taxonomy: M2T / M2G / M2M	`README.md`	“The NMM Architectural Taxonomy”; rows for M2T, M2G, M2M
M2T model list and mid-fusion / dense-native references	`README.md`	“1. Multi-to-Text (M2T) Unimodal Generation”
M2G scenario-based generation list	`README.md`	“2. Multi-to-Target (M2G) Scenario-based Generation”
M2M symmetric modeling list	`README.md`	“3. Multi-to-Multi (M2M) Symmetric Modeling”
Paper lifecycle dimensions	`README.md`	“The Technical Roadmap Dimensions”: Architecture, Data Curriculum, Training Strategies, Inference & Deployment, Evaluation Benchmarks
Project website entry point	`project_page.html` / `https://nmm-roadmap.github.io`	Links to arXiv and `NMM-Roadmap/Awesome-NMM-List`

论文公式与 released code 实现差异：本文关联仓库不是模型实现仓库，README.md 只维护 roadmap / paper list；没有 model class、loss function、launch script、training config 可与论文中的 $F_{late}$ 、 $F_{mid}$ 、 $F_{early}$ 、OPD advantage 或 training-grid 公式逐行对照。因此本文中的训练超参（如 $1 0^{- 3} \to 1 0^{- 4} \to 4 \times 1 0^{- 5}$ 、 $224 \to 448 \to 134 4^{+}$ 、 $λ = 5$ 、 $α_{k} = 100/1$ 、32K 到 1M context）来自论文整理的相关技术报告/论文叙述，不是该 repo 的 launch config。

4. Experimental Setup（实验设置）

这篇文章是 roadmap / survey，不提出新的模型训练实验，因此没有自己的 GPU 数量、batch size、learning rate、training steps 或消融实验配置。其实验设置更准确地说是 survey scope 与 evidence base：52 页、5 张图、3 张表、约 300 篇参考文献；arXiv 页面标注为 cs.CV，提交时间为 2026-05-25；作者在表 1 中只纳入 open-source models 或具有 verified architecture and parameter transparency 的 technical reports。

Datasets / data sources 不是作者新训练一个模型所用的数据集，而是 NMM 生命周期中的数据 taxonomy。表 2 覆盖四类：Understanding-Oriented、Generation-Oriented、Interaction-Oriented、Preference and Alignment。规模明确的数据源包括 LAION-5B、CC3M/CC12M、YFCC100M、DataComp、WebVid-10M、Panda-70M、OpenVid-1M、VideoGen-1M 等；任务型数据包括 VQA v2、GQA、OK-VQA、ScienceQA、DocVQA、ChartQA、TextVQA、Flickr30k Entities、RefCOCO、MSR-VTT、ActivityNet、AudioSet、LibriSpeech、VCTK、GigaSpeech、WavCaps、MusicCaps；交互数据包括 WebShop、Mind2Web、WebArena、VisualWebArena、AITW、RICO、ScreenAI、OSWorld、ALFWorld、BridgeData V2、DROID、RoboMimic；偏好与安全数据包括 LLaVA-RLHF、RLHF-V、VLFeedback、RLAIF-V、HA-DPO、SPA-VL、Safe RLHF-V、Pick-a-Pic、HPS v2、VBench 等。

Baselines / compared systems 也不是单一 benchmark 的 baseline，而是 taxonomy 中的代表模型。M2T 包括 MiniCPM-V-4.6、Nemotron3-Nano-Omni、MiMo-V2.5、Qwen3.6、Gemma-4-31B、Kimi K2.5、GLM-5V-Turbo、Llama-4-Scout/Maverick、InternVL-3.5、Qwen3-VL、Qwen2.5-VL、CogVLM、Video-LLaVA、Qwen-Audio 等；M2G 包括 HiDream-O1-Image、OmniVoice、LTX-2.3、Ming-Flash-Omni-2.0、MiniCPM-o-4.5、Kling-Omni、HunyuanVideo-1.5、Wan2.2、Seedream3.0；M2M 包括 Lance、Mamoda2.5、TUNA-2、SenseNova-U1-8B-MoT、LLaDA2.0-Uni、LongCat-Next、Emu3.5、Show-o2、BAGEL、OneCAT、Janus-Pro、Moshi、Transfusion、Chameleon、AnyGPT。

Evaluation metrics / benchmarks 由表 3 总结，覆盖 image、audio、video。Image understanding 使用 VQAv2、GQA、SEED-Bench、MMBench、MMStar、MMMU、MathVista、POPE、RLHF-V、DocVQA、ChartQA、InfoVQA、OCRBench 等；image generation 使用 GenEval、DPG-Bench、T2I-CompBench、FID、CLIPScore。Audio 使用 LibriSpeech、CommonVoice、FLEURS 的 WER，MOS-Bench 的 MOS，Moshi Eval 的 latency，SoulX-Duplug-Eval 的 latency / accuracy，Full-Duplex-Bench 的 multi-metric。Video 使用 VideoMME、EgoSchema、MVBench、PerceptionTest、LongVideoBench、MLVU、OVO-Bench、StreamingBench、OmniMMI、UCF-101 的 FVD、Kinetics-600 的 FVD、VBench、SeedVideoBench 2.0、Arena.AI Elo。

Training config 在本文中以 regime-level recipe 呈现，不是作者自己的实验启动脚本。关键可复用配置事实包括：mid-fusion 需要 progressive unfreezing、differential LR 与 resolution/context curriculum；early-fusion 需要 unified NTP / masked-denoising / diffusion hybrid objectives、z-loss、QK-Norm 与 modality-mixture scheduling；post-RL 方向关注 OPD/MOPD。因公开 GitHub repo 不含训练代码或 config，本笔记不把任何 README 默认值误写成本文实验配置。

5. Experimental Results（实验结果）

Table 3 解读：表 3 是 evaluation landscape，不是本文新跑出的结果表。它把 NMM 评测拆成 Image / Audio / Video 三组，并进一步细分为 general perception、knowledge reasoning、hallucination、document & OCR、generation、speech recognition、speech synthesis、full-duplex interaction、offline understanding、streaming understanding、video generation 等任务。每一行都保留 benchmark 的独特指标：例如 VQAv2/GQA/SEED-Bench/MMBench/MMStar 用 accuracy，MMMU/MathVista 测知识/数学推理，POPE 用 F1，RLHF-V 用 hallucination score，LibriSpeech/CommonVoice/FLEURS 用 WER，MOS-Bench 用 MOS，Moshi Eval 关注 200ms target latency，UCF-101/Kinetics-600 用 FVD，Arena.AI 用 Elo。

本文的主要 “结果” 是结构化结论，而不是单模型 SOTA 数字。第一，NMM 生态在 2023–2026 年已经从 text-output-centric 的 M2T 扩展到 image/audio/video generation 的 M2G，并进一步走向 M2M symmetric modeling。表 1 中 M2M 已包含 Lance、Mamoda2.5、LLaDA2.0-Uni、LongCat-Next、Emu3.5、Show-o2、BAGEL、OneCAT、Janus-Pro、Moshi、Transfusion、Chameleon、AnyGPT 等，说明统一理解-生成不再只是概念。

第二，作者指出 architecture 与 training recipe 强耦合。mid-fusion 的关键不是多加几层 adapter，而是一旦 encoder 接收梯度，就必须处理 progressive unfreezing、differential LR、decoupled losses 和 resolution curriculum。early-fusion 的关键也不是把所有 token 拼在一起，而是要处理 unified softmax 下的稳定性：Chameleon without QK-Norm 约 20% training 后 diverge，z-loss $1 0^{- 5} lo g^{2} Z$ 、QK-Norm 和 modality-mixture schedule 成为工程前提。

第三，作者把 OPD/MOPD 作为 post-RL 方向的重要结果性观察。早期融合让 RL policy scope 覆盖全 backbone，容易出现 grounding hack、see-saw 和 perception/logic gap；MiMo-V2.5 把 MOPD 放在 text PT、projector warmup、multimodal PT、SFT/agentic post-training、RL 之后，并将 context 从 32K 扩到 1M，说明 teacher-anchored dense supervision 可能比单纯 RL 更适合 consolidation omni capabilities。

第四，评测体系仍明显落后于 native 目标。当前 benchmark 多数按单模态或单能力切分，难以同时评价理解与生成的一致性，也很少把 response timing、token budget、latency、energy 和 streaming interruption 纳入核心指标。作者在 future outlook 中提出四个评测方向：symmetric M2M benchmarks、temporally-aware metrics、efficiency-aware protocols、multimodal robustness/safety under attack surfaces。

作者明确列出的局限/开放问题包括：M2T/M2G/M2M 仍处于割裂状态；统一 objective 是否能同时支持高质量理解与生成尚未解决；MoE expert nativity 和 modality-aware routing 仍缺乏理论；长时程 video+audio+action+reasoning trace 的 aligned data 稀缺；生成模态的 preference data、reward model 和 safety data 远不如文本成熟；不同信息密度 token 混训导致 loss-scale 与 gradient-norm asymmetry；full-duplex / born-streaming 系统仍是工业开放问题；NMM 最终要扩展到 proprioception、depth、tactile、action sequence、code、graph、3D scene 等 embodied / structured modalities。

总体结论是：本文把 NMM 的研究问题从 “哪个模型更强” 转换为 “什么结构才算 native、如何训练、如何部署、如何评测”。它提供的最大价值是 taxonomy 与 checklist：如果一个新模型声称 native，读者应检查它的融合深度、输入输出对称性、数据 curriculum、训练稳定性、推理 token/latency 策略、以及是否有对称多模态评测，而不是只看模型是否支持图文或音视频输入输出。

Paper Notes

探索

Toward Native Multimodal Modeling: A Roadmap

Toward Native Multimodal Modeling: A Roadmap

1. Motivation（研究动机）

2. Idea（核心思想）

3. Method（方法）

3.1 Overall framework：从 late-fusion 拼接走向 born-native M2M

3.2 2023–2026 时间线与三类 NMM

3.3 Architecture：M2T / M2G / M2M 的关键设计轴

M2T：多模态输入到文本输出

M2G：多模态条件到目标模态生成

M2M：理解与生成对称共存

3.4 Data：按功能角色组织训练数据

3.5 Training：融合 regime 决定训练 recipe

3.6 Inference & Deployment：token、KV-cache、streaming 才是 native 系统瓶颈

3.7 Pseudocode：把论文/README 的 taxonomy 转成可执行检查逻辑

3.8 Code-to-paper mapping

4. Experimental Setup（实验设置）

5. Experimental Results（实验结果）

目录