Video Panels for Long Video Understanding

Paper: arXiv:2509.23724v2 Code: fedespu/Video-Panels Code reference: main @ 927a6d1 (2026-03-18; README-only, implementation not released) Project page reference: gh-page @ 8be4895 (2026-04-23)

1. Motivation (研究动机)

1.1 长视频理解的核心瓶颈

这篇论文关注的是长视频理解中的 Video-Language Model (VLM) 评测与输入表示问题。 现有 VLM 在图像和短视频任务上已经比较强，但长视频问答仍然显著更难。 困难不只来自模型推理能力，也来自输入侧的时间分辨率损失。 论文把这种瓶颈归结为 context window $C$ 与视频长度 $D$ 之间的矛盾。 当 $D\gg C$ 时，模型无法密集读取所有帧。 通常做法是用采样函数 $\varphi$ 从原视频中选出 $T$ 帧。

如果 $T$ 受限于模型能接收的帧数或 visual tokens，长视频中大量中间状态会被跳过。 这会让模型看不到关键证据，尤其是 needle-in-a-haystack 式问题。 例如 TimeScope 会把回答问题所需的短片段插入到数小时视频中。 如果采样太稀，模型可能完全错过该片段。 如果只增加采样帧数，则视觉 token 数、推理时间、显存和上下文预算都会上升。 因此问题不是简单地“多看帧”，而是在固定输入预算下重新分配时空信息。

1.2 空间分辨率和时间分辨率的不平衡

作者指出，长视频输入存在一个容易被忽视的不平衡。 采样后，视频的空间分辨率通常仍保持较高。 但时间分辨率会因为稀疏采样急剧下降。 这意味着模型把大量计算分配给单帧空间细节，却无法覆盖足够多的时间事件。 对于长视频问答，这种资源分配并不合理。 许多问题关心“什么时候发生”、“事件顺序”、“某一瞬间是否出现过”。

这些问题更依赖时间覆盖，而不是每一帧的完整空间细节。 特别是电影、长教程、庭审记录、体育录像和网页录屏等场景，答案经常由局部片段决定。 如果该片段没有被采样到，后续语言推理再强也无法恢复证据。 论文的出发点就是：是否可以牺牲一部分空间细节，换取更高的时间覆盖。

1.3 为什么不是直接训练一个更长上下文模型

已有长视频方法常见路线是改架构、引入 memory、压缩 token、或在长视频数据上继续训练。 这些方案通常有三个成本。 第一，需要模型内部改动，因此不一定能直接应用到闭源或现成 VLM。 第二，需要额外训练数据和计算资源，复现成本高。 第三，很多方法和特定模型结构绑定，难以跨 LLaVA、Qwen、VideoLLaMA、GPT 系列统一使用。 本论文反其道而行之，把问题放在输入表示层面。

如果只改变送入 VLM 的视觉 prompt，就能保持模型参数、架构和推理接口不变。 这使方法天然 model-agnostic。 它可以用于 small-context VLM，也可以用于 already long-context VLM。 它也适合评测场景，因为同一个预处理器可以横向比较不同模型。

1.4 论文要解决的具体问题

论文的目标不是提出新的 VLM 架构。 它要解决的是：在不增加参数、不增加训练需求、基本不改变输入尺寸的情况下，提高长视频问答的有效时间覆盖。 更具体地说，论文问的是： 固定 VLM 的上下文窗口 $C$ 时，能否让模型看到 $\alpha \beta$ 倍数量的时间点。 固定每张输入图的视觉 encoder 处理尺寸时，能否把多帧压成一张 composite image。 固定多选题评测协议时，能否在 VideoMME、TimeScope、MLVU、MF2、VNBench 上稳定提升 accuracy。

固定模型参数时，能否同时提升 small-context、medium-context、long-context VLM。

1.5 该问题值得研究的原因

如果这个问题解决，现有 VLM 可以不改架构就获得更强的长视频理解能力。 这对 evaluation 和 deployment 都有直接价值。 在 evaluation 中，它可以检验“长上下文帧数”是否真的被模型有效利用。 在 deployment 中，它可以降低接入成本，因为预处理器比重训模型更容易部署。 在研究上，它提供了一个很干净的归因：提升来自视觉输入重排，而不是参数量或训练语料。 论文结果也显示，拥有 180 帧输入的 long-context 模型仍能从 panels 中获益。

这说明现有长上下文 VLM 未必高效利用了可用帧预算。 因此，Video Panels 的意义不仅是一个 trick，而是提示长视频理解需要重新考虑时空 token 分配。

2. Idea (核心思想)

2.1 一句话核心洞察

Video Panels 的核心洞察是“用空间换时间”：把多个连续视频帧缩小后拼进同一张图像，让 VLM 在相同图像数量或相近 token 预算下看到更多时间点。 这种表示类似漫画分格。 每个 composite image 内部有若干 panel。 每个 panel 对应一个时间帧。 panel 的阅读顺序是从左到右、从上到下。 多张 composite images 之间再按时间顺序排列。

默认设置为 $2\times 2$，即每张输入图包含 4 个时间帧。 这使固定 $C$ 张输入图时，实际时间采样数变成 $4C$。

2.2 与普通均匀采样的差异

普通均匀采样在 $C$ 很小或视频很长时，只能看到稀疏帧。 Video Panels 仍然可以使用均匀采样，但先采样更多帧。 随后它把每 $\alpha \beta$ 帧合成一张图。 最终 VLM 看到的图像数量仍是 $C$。 但每张图内部携带了多个时间点。 差异不在 sampling distribution 本身，而在视觉输入编码前的重排方式。

普通采样保留单帧空间细节，但丢失大量时间点。 Video Panels 降低单帧空间分辨率，但保留更多时间点。

2.3 与 token reduction baseline 的差异

论文也比较了 low-res token pooling baseline。 low-res 在 visual tokens 投影到 LLM 之前做 average pooling。 它同样试图把更多时间信息塞进有限 token 预算。 但这种做法发生在模型内部 token 层，依赖模型架构和实现。 Video Panels 发生在输入图像层，不需要访问模型内部。 因此它更通用，也更适合闭源模型或标准评测框架。

实验中，panels 在 TimeScope 上通常优于或持平 low-res。 这说明简单压缩视觉 token 不一定等价于保留时间结构。 把多个帧作为一张 composite image 交给预训练视觉 encoder，可能更符合 VLM 已学到的视觉布局能力。

2.4 与长上下文模型的差异

长上下文模型直接提高可处理帧数，例如 180 帧。 Video Panels 不直接扩大模型上下文窗口。 它是在已有窗口中提高每个输入图像承载的时间密度。 二者不是互斥关系。 论文在 Qwen-2VL、Qwen-2.5VL 和 VideoLLaMA 3 等 180-frame 模型上仍看到提升。 这说明 panels 可以叠加到长上下文模型上。

这也说明“输入帧数更多”与“时间证据更有效地呈现给模型”不是同一件事。

2.5 最关键的设计取舍

Video Panels 的主要收益来自时间覆盖。 主要代价是每个 framelet 的空间细节减少。 因此它更适合答案依赖“是否看到某个时刻”的任务。 它可能不适合极端依赖细粒度空间纹理、微小文字或精确定位的任务。 论文通过 $\gamma$ 控制是否启用 paneling。 短视频不一定需要 paneling，因为普通采样已经足够密。

长视频才启用 paneling，以避免不必要的空间损失。 这个 dynamic activation 是方法稳定性的关键。

2.6 本文贡献的概括

第一，提出了面向长视频理解的 visual prompt engineering 方法。 第二，该方法 training-free、parameter-free、model-agnostic。 第三，在 5 个 benchmark 和多类 VLM 上验证，平均结果几乎全部提升。 第四，证明 panel 格式也可用于 fine-tuning，并能进一步增强性能。 第五，通过 token pooling、context window、duration、prompt、$\gamma$、$\alpha /\beta$ 等实验解释了方法适用边界。

3. Method (方法)

3.1 问题形式化

论文把评测数据写成： $\{({\mathbf{x}}_i,q_i,y_i){\}}_{i=1}^N$ 其中 $\mathbf{x}\in {\mathbb{R}}^{D\times 3\times H\times W}$ 是输入视频。 $D$ 表示视频帧数或离散时间长度。 $q\in {\Sigma }^{\text{*}}$ 是多选问题文本。 $y$ 是正确选项。 VLM 接收视频帧和问题后，通常被 prompt 约束为只输出选项字母。 因此不同输入策略可以用 accuracy 直接比较。

视频采样函数写作： $\varphi :{\mathbb{R}}^{D\times 3\times H\times W}\to {\mathbb{R}}^{T\times 3\times H\times W}$ 它从原视频中选出 $T$ 帧。 普通方法通常令 $T\le C$。 $C$ 是 VLM 能处理的上下文帧数或图像数。 当视频很长时，$T=C$ 仍然意味着时间覆盖稀疏。 Video Panels 的做法是让采样阶段先选出更多帧，再通过 panel construction 把帧数压回 $C$ 张图。

3.2 总体框架

Figure 1 解读：图中上半部分是普通输入方式，LLaVA-OneVision 7B 只看到有限帧，因此漏掉“华夫饼之后做拿铁”的关键时刻并回答错误；下半部分把多个帧拼成 panel 后，同样数量的输入图携带更多时间点，模型可以看到后续动作并回答正确。该图体现了本文的核心机制：不改变 VLM，只改变输入帧的空间布局，以更低空间分辨率换取更高时间分辨率。

方法整体分两步。 第一步是 Dynamic Frame Sampling。 它根据视频长度与上下文窗口决定是否启用 paneling。 第二步是 Panel Construction。 它把采样出的多帧缩小并按固定顺序拼成 composite images。 如果视频较短，方法退化为普通采样。

如果视频较长，方法采样 $\alpha \beta C$ 帧，再把每 $\alpha \beta$ 帧合并成一张图。 最终送入 VLM 的图像张量仍为 $C\times 3\times H\times W$。 这保证了方法与原模型接口兼容。

3.3 Dynamic Frame Sampling

采样帧数 $T$ 由公式 (1) 决定： $T=\{\begin{array}{ll}C,& \text{if }\gamma C\ge D,\\ \alpha \beta C,& \text{otherwise.}\end{array}$ $C$ 是模型可接收的上下文图像数。 $D$ 是视频长度。 $\gamma$ 是启用 paneling 的帧间距阈值。 $\alpha$ 是高度/行方向的 panel 数，对应单帧高度缩放到 $H/\alpha$。 $\beta$ 是宽度/列方向的 panel 数，对应单帧宽度缩放到 $W/\beta$。 默认设置是 $\alpha =\beta =2$。 当 $\gamma C\ge D$ 时，视频相对较短，普通采样已经足够覆盖时间轴。 此时方法不启用 paneling，避免无谓降低空间分辨率。 当 $\gamma C<D$ 时，视频较长，普通 $C$ 帧采样会太稀。 此时方法采样 $\alpha \beta C$ 帧。 默认 $2\times 2$ 时，采样帧数变成 $4C$。 直觉上，$\gamma$ 控制“什么时候值得牺牲空间换时间”。 较小的 $\gamma$ 会更积极地启用 paneling。 较大的 $\gamma$ 会只在更长视频上启用 paneling。 论文默认令 $\gamma$ 等于输入视频的 fps。 这样只有当采样间隔至少约 1 秒时才进入 paneling。

3.4 Panel Construction

在 $\gamma C<D$ 时，采样后得到： $\mathbf{x}\in {\mathbb{R}}^{\alpha \beta C\times 3\times H\times W}$ 这已经超过 VLM 的上下文图像数。

因此先把每帧空间下采样为： ${\mathbf{x}}^{\prime }\in {\mathbb{R}}^{\alpha \beta C\times 3\times H/\alpha \times W/\beta }$ 随后每 $\alpha \beta$ 帧拼成一张 panel image。 拼接顺序是从左到右，再从上到下。 最终输入为： ${\mathbf{x}}^{\prime \prime }\in {\mathbb{R}}^{C\times 3\times H\times W}$ 对于默认 $2\times 2$，第 $i$ 张 composite image 为： ${\mathbf{x}}_i^{\prime \prime }=\left(\begin{array}{cc}{\mathbf{x}}_{4i}^{\prime }& {\mathbf{x}}_{4i+1}^{\prime }\\ {\mathbf{x}}_{4i+2}^{\prime }& {\mathbf{x}}_{4i+3}^{\prime }\end{array}\right)$ 这一步保留了 VLM 期望的输入图像尺寸。 视觉 encoder 不需要知道它看到的是普通帧还是 composite frame。 但因为 composite frame 中包含多个时间点，整体时间覆盖扩大了 $\alpha \beta$ 倍。

3.5 为什么这种拼接能被 VLM 理解

VLM 的视觉 encoder 通常在大量图像、网页、文档、截图和多对象场景上训练。 它们具备一定的 layout parsing 能力。 Panel image 实际上把视频时间轴局部转化为空间布局。 模型可以把一张 composite image 理解为多个相邻视觉区域。 这种表示利用了图像模型对空间排布的已有能力。 它不要求模型显式建模连续帧运动。

它要求模型能从更多静态证据中推断事件。 在长视频 QA 中，这往往已经足够。 尤其当问题是“出现了什么”、“哪一个选项没有被提到”、“关键物体是否出现”时，更多证据帧比更高单帧清晰度更重要。

3.6 Fine-tuning 目标

虽然主方法 training-free，论文也研究了 panel 格式 fine-tuning。 fine-tuning 数据仍来自原始短视频训练集。 模型目标是最大化正确选项的条件概率。 损失函数为： ${\ell }_{FT}(\mathbf{x},q,y)=-\log p_{\theta }(y\mid \mathbf{x},q)$ 论文以 LLaVA-OneVision 7B 为例。 训练数据是 LLaVA-Video-178K 的 video subset。 训练 1 epoch。 batch size 为 2。 gradient accumulation 为 4。 fine-tuning 模块为 projector 与 LLM。

实验目的不是证明必须训练，而是检验 panel 表示是否可被模型进一步适配。 结果显示，zero-shot panel 已有效，panel fine-tuning 还能小幅提升。

3.7 论文级伪代码

公开仓库当前没有 released implementation，因此下面是根据论文公式和方法描述写出的论文级伪代码。

代码搜索未找到开源实现：截至 2026-05-18，fedespu/Video-Panels 的 main 分支只有 README，gh-page 分支只有项目页和静态资源，没有 Python / evaluation / preprocessing 实现文件。

def build_video_panels(video, C, fps, alpha=2, beta=2, gamma=None):
    """
    Paper-level pseudocode for Video Panels.
    video: tensor-like sequence with shape [D, 3, H, W]
    C: number of input images accepted by the VLM
    fps: frames per second of the decoded video
    alpha, beta: panel grid width/height factors
    gamma: activation threshold; paper default is fps
    """
    if gamma is None:
        gamma = fps
 
    D, _, H, W = video.shape
 
    if gamma * C >= D:
        frames = uniform_sample(video, num_frames=C)
        return frames
 
    T = alpha * beta * C
    frames = uniform_sample(video, num_frames=T)
 
    small_h = H // alpha
    small_w = W // beta
    resized = resize_each_frame(frames, height=small_h, width=small_w)
 
    panels = []
    group_size = alpha * beta
    for i in range(C):
        group = resized[i * group_size : (i + 1) * group_size]
        panel = concatenate_grid(
            group,
            rows=alpha,
            cols=beta,
            order="left-to-right-top-to-bottom",
        )
        panels.append(panel)
 
    return stack(panels)

这段伪代码刻意保持输入输出形状与论文一致。 短视频分支直接返回 $C$ 帧。 长视频分支返回 $C$ 张 composite images。 uniform_sample 对应论文中的采样函数 $\varphi$。 resize_each_frame 对应 $\mathbf{x}\to {\mathbf{x}}^{\prime }$。 concatenate_grid 对应 ${\mathbf{x}}^{\prime }\to {\mathbf{x}}^{\prime \prime }$。

论文未发布具体 interpolation、decode fps、padding、batch collation 等实现细节。 因此这些细节不能写成 released code 事实。

3.8 代码搜索与实现映射状态

Code search status: public repository exists, but released implementation was not available at the checked reference.

Paper Concept	Source File	Key Class/Function
Dynamic frame sampling	N/A: implementation not released	Formula (1), paper-level preprocessing
Panel construction	N/A: implementation not released	$\alpha \times \beta$ grid construction
Fine-tuning loss	N/A: implementation not released	Equation (2), multiple-choice NLL
Evaluation framework	External framework mentioned by paper	lmms-eval
Official repository state	README.md on main@927a6d1	README-only, says code will come later
Project page state	gh-page@8be4895	static website and figures, no implementation

这个状态很重要。 当前 note 中的伪代码不能被视为源码反向工程。 它是对论文公式的可执行化解释。 如果未来仓库发布代码，应重新检查 preprocessing、sampling、prompt formatting、frame decoding 和 lmms-eval adapter。 届时需要更新 github_ref，并把 §3.7 改为 based-on-source pseudocode。

3.9 方法的适用边界

Video Panels 假设模型能从 composite image 中理解局部 framelet。 如果 VLM 对多图区域布局很弱，收益可能下降。 方法也假设任务更需要时间覆盖，而不是极高空间清晰度。 如果答案依赖小字、细粒度纹理或精确检测，过大的 $\alpha ,\beta$ 会伤害结果。 因此默认 $2\times 2$ 是折中选择。 $1\times 1$ 没有额外时间覆盖。

$4\times 4$ 虽然时间覆盖更密，但每个 framelet 太小。 论文的 ablation 也支持这个判断。

3.10 与 prompt 的关系

作者发现，一些模型在文本 prompt 中显式解释 panel 顺序时会进一步提升。 但不同模型的最优 prompt 不一致。 因此主实验不添加额外 panel 描述。 这保持了方法的通用性。 如果实际部署只面向一个固定模型，可以单独调 prompt。 例如提示模型按“左到右、上到下”的顺序阅读 panel。

但如果做跨模型 benchmark，额外 prompt 可能引入模型特定 bias。

4. Experimental Setup (实验设置)

4.1 评测目标

实验目标是验证 Video Panels 是否跨模型、跨数据集、跨上下文窗口稳定有效。 论文主要报告 video question answering accuracy。 评测覆盖 5 个 public benchmarks。 评测覆盖 small-context、medium-context、long-context VLM。 还额外在 VideoMME 上测试 GPT-4o-mini-2025-04-14 和 GPT-4.1-2025-04-14。 所有模型都使用问题和多选答案的标准格式。

通用指令是要求模型直接输出选项字母。

4.2 模型分组

Small-context VLM 指最多 16 帧输入。 这一组包括 Video-LLaVA 7B 和 VideoChat2-HD。 Medium-context VLM 指 16 到 128 帧输入。 这一组包括 LLaVA-OneVision 0.5B、7B、72B。 这一组也包括 Qwen-2.5VL 7B 的 32-frame 设置。 这一组还包括 LLaVA-Video 7B 和 72B。

Long-context VLM 指超过 128 帧输入。 这一组包括 Qwen-2VL 7B、Qwen-2.5VL 7B、VideoLLaMA 3 7B。 long-context 组均使用 180 frames。 商业模型实验使用 GPT-4o-mini 8 frames 和 GPT-4.1 32 frames。

4.3 数据集

VideoMME 覆盖 6 个领域。这些领域包括 Knowledge、Film & Television、Sports Competition、Artistic Performance、Life Record、Multilingual。VideoMME 视频长度从 11 秒到 1 小时。它分为 short、medium、long 三档。论文报告的平均时长约为 short 80 秒、medium 500 秒、long 2500 秒。TimeScope 把多个短视频 needle 插入长视频。它要求模型理解整段视频，而不只是局部检索。视频长度覆盖 13 档，从 60 秒到 36,000 秒。论文把 TimeScope 分成 short 和 long。

short 为最多 3 小时，平均 2590 秒。long 为 5 到 10 小时，平均 27,600 秒。MLVU 覆盖 3 分钟到 2 小时视频。平均长度约 15 分钟。dev set 包含 2593 个 QA pairs 和 1730 个 videos。MF2 使用完整电影，长度 50 到 170 分钟。它包含 53 部电影和 850 个 claim-pairs。任务是判断叙事信息相关的 true/false claims。VNBench 关注 temporal perception、chronological ordering、spatio-temporal coherence。它包含 1350 个 samples，来自 150 个 videos。

视频长度为 10 到 180 秒。

4.4 统一超参数和实现细节

主实验使用 lmms-eval。 默认 $\alpha =\beta =2$。 默认 $\gamma$ 设为输入视频 fps。 采样函数 $\varphi$ 使用 uniform sampling。 当视频足够短时，不启用 paneling。 当视频足够长时，先采样 $4C$ 帧，再拼成 $C$ 张 $2\times 2$ panel images。

fine-tuning 实验使用 LLaVA-OneVision 7B。 训练数据为 LLaVA-Video-178K 的 video subset。 训练 1 epoch。 batch size 为 2。 gradient accumulation 为 4。 训练 projector 和 LLM。

4.5 对比方法

主对比是 baseline input vs. + panels。 baseline input 指标准的视频帧采样与模型默认输入。 第二类对比是 low-res token pooling。 low-res 在 visual tokens 投影进 LLM 之前做 average pooling。 由于每张图对应 $27\times 27$ visual tokens，论文先 zero-pad 到 $28\times 28$ 再 pooling。 low-res baseline 使用 25,088 tokens。

Video Panels 使用 23,328 tokens。 因此 low-res 的 token 数甚至略多于 panels。 为了公平，low-res 也只在视频满足 $\gamma C<D$ 时启用。 第三类对比是 fine-tuning with/without panels。 第四类对比是 $\gamma$、$\alpha /\beta$、prompt、explicit temporal encoding。

4.6 评价重点

论文不仅看 overall average。 它特别关注长视频、needle 类型问题和不同视频长度下的趋势。 TimeScope Long 是最能体现方法价值的数据集。 VNBench 也体现 temporal ordering 和 counting 的收益。 MLVU 用于分析 failure cases，因为它细分了多个问题类型。 MF2 用于测试 full-length movie narrative comprehension。

这些设置能区分“只是提升短视频 QA”与“真正改善长视频时间覆盖”。

5. Experimental Results (实验结果)

5.1 总体主结果

Table 1 显示，Video Panels 在多数模型和数据集上提升平均 accuracy。

small-context 组的平均提升为 +0.3 到 +1.0。 medium-context 组的平均提升为 +1.2 到 +4.1。 long-context 组的平均提升为 +0.8 到 +2.7。 LLaVA-OV 7B 从 52.8 提升到 56.2，平均 +3.4。 Qwen-2.5VL 7B 32-frame 从 51.9 提升到 55.3，平均 +3.4。 LLaVA-Video 7B 从 56.6 提升到 60.7，平均 +4.1。 VideoLLaMA 3 7B 180-frame 从 58.2 提升到 60.9，平均 +2.7。 最突出的结果是 VideoLLaMA 3 7B 在 TimeScope Long 上从 39.1 提升到 46.7。 这对应 +7.6 points，也就是 19.4% 相对提升。 这与论文 abstract 中强调的最大收益一致。 结果也显示，LLaVA-Video 7B + panels 的平均分 60.7 接近 VideoLLaMA 3 7B + panels 的 60.9。 这说明输入重排可以缩小 64-frame model 与 180-frame model 的差距。 但加入 panels 后，long-context VLM 仍保持最佳或接近最佳。 因此方法不是替代长上下文，而是提高任何给定上下文预算的利用率。

5.2 关键模型结果摘录

Model	Frames	Baseline Avg.	+Panels Avg.	Gain
Video-LLaVA 7B	8	33.8	34.8	+1.0
VideoChat2-HD	16	32.2	32.5	+0.3
LLaVA-OV 0.5B	32	42.1	44.3	+1.2
LLaVA-OV 7B	32	52.8	56.2	+3.4
LLaVA-OV 72B	32	49.4	52.5	+3.1
Qwen-2.5VL 7B	32	51.9	55.3	+3.4
LLaVA-Video 7B	64	56.6	60.7	+4.1
LLaVA-Video 72B	64	55.4	58.2	+2.8
Qwen-2VL 7B	180	54.5	56.7	+2.2
Qwen-2.5VL 7B	180	59.7	60.5	+0.8
VideoLLaMA 3 7B	180	58.2	60.9	+2.7

这个表的重点不是某一个模型的绝对分。 重点是从 8 帧到 180 帧都能看到平均提升。 提升最大的 open-source 设置是 LLaVA-Video 7B。 提升最能体现长视频价值的是 VideoLLaMA 3 7B 在 TimeScope Long 上的 +7.6。 少数负例也存在。 例如 VideoLLaMA 3 7B 在 MF2 上有 -0.6。

这说明 panels 不会无条件改善所有场景。 但平均趋势非常稳定。

5.3 Fine-tuning 结果

Table 2 比较了 with/without panels 和 with/without fine-tuning。

没有 panels 时，No Fine-Tuning 在 VMME overall 为 58.5，TimeScope Long 为 30.2。 没有 panels 但 fine-tuning projector + LLM 后，VMME overall 仍为 58.5，TimeScope Long 为 30.9。 使用 panels 但不 fine-tune 时，VMME overall 为 58.9，TimeScope Short 为 69.5，TimeScope Long 为 33.8。 使用 panels 并 fine-tune projector + LLM 后，VMME overall 为 59.3，TimeScope Long 为 34.4。 因此 panels 本身贡献了主要提升。 fine-tuning 在 panels 表示上额外提升 VMME +0.4、TimeScope Long +0.6。

这支持一个解释：panel 格式即使 zero-shot 也能被 VLM 理解，但训练能让模型更适应 composite layout。 没有 panels 的 fine-tuning 效果很弱，说明收益不是单纯来自继续训练。

5.4 与 token pooling baseline 对比

Figure 2 解读：图中比较 default、low-res token pooling 和 panels 三种策略。对于 LLaVA-OneVision 7B，default 为 58.7，low-res 为 68.7，panels 为 69.5；对于 LLaVA-Video 7B，default 为 64.8，low-res 为 79.2，panels 同为 79.2。low-res 已经说明“减少空间 token、增加时间覆盖”是有效方向，但 panels 在不侵入模型内部的情况下达到更优或持平效果，因此更通用。

low-res baseline 的设计很强，因为它直接在 visual tokens 上做 pooling。 但它依赖模型内部 token shape。 不同 VLM 的 vision encoder 和 projection 接口不同，低层 token pooling 不一定可直接迁移。 Video Panels 只处理输入图像。 它不需要知道 encoder 内部 token grid。 这也是论文强调 visual prompting 的原因。

另一个重要观察是，作者尝试对 pooled representations fine-tune，但出现快速 overfitting 和性能下降。 这说明 token pooling 不是无成本的表示替换。

5.5 不同视频时长下的趋势

Figure 3a 解读：该图展示 LLaVA-Video 7B 在 TimeScope 不同视频长度下的表现。随着视频变长，baseline accuracy 明显下降；panels 在长视频段保持更高 accuracy。这个趋势说明方法真正解决的是“采样错过证据”的问题，而不是只在短视频上带来随机波动。

Figure 3b 解读：VideoLLaMA 3 7B 已经是 180-frame long-context 模型，但 panels 仍在长视频段提升。该结果表明，即使模型允许更多帧，普通帧序列也未必是最有效的输入分配方式；把局部连续时间点放进同一图像布局中，仍能帮助模型发现关键 evidence。

TimeScope 的价值在于它有 13 个视频长度档。 因此它能观察 duration 越长时，paneling 是否越有价值。 结果符合方法假设。 视频越长，普通采样越稀。 paneling 增加时间覆盖的收益越明显。 这也是为什么 TimeScope Long 上的提升最突出。

5.6 上下文窗口大小与推理成本

Figure 4a 解读：LLaVA-OneVision 7B 在不同 context frames 下，panels 几乎都优于 no panels。特别是在小窗口下，收益更明显；例如 8-frame panels 可以达到接近 16-frame no-panels 的性能。这说明 panels 可以用更少输入图像达到相近效果，从而降低 visual token 和推理时间。

Figure 4b 解读：LLaVA-Video 7B 也呈现类似趋势。context window 越小，paneling 的边际收益越高；当 context 已经很大时，收益会递减但仍通常为正。这个结果说明 Video Panels 最适合预算受限或长视频很长的场景。

这组实验的重要性在于，它把 accuracy 和 inference time 放在一起看。 如果 panels 让 8-frame 达到 16-frame 的效果，则实际部署可以减少视觉 token 数。 这不仅提高 accuracy，也可能降低延迟。 因此方法不是单纯把更多计算塞进模型。 它是通过输入布局提升单位 token 的时间信息密度。

5.7 定性案例

Figure 5 解读：该 VideoMME 案例的问题是“进入法庭前没有提到需要注意什么”。正确答案是 “Brush teeth before hearing”。普通输入下，LLaVA-OV 7B 没有看到足够证据，错误选择了其他选项；panels 让模型看到更多带文字提示的时间点，因此能排除已经出现过的注意事项并选出正确答案。该案例也说明，降低单帧分辨率不一定会破坏 OCR/文字线索，只要关键帧被覆盖，模型仍可能读出可见证据。

定性结果支持主假设。 错误不是因为模型完全不能推理。 错误往往是因为证据帧缺失。 paneling 的作用是提高证据进入上下文的概率。 一旦证据被看到，已有 VLM 的视觉语言推理能力可以发挥作用。

5.8 $\gamma$ 消融

Table 3 研究启用 paneling 的阈值 $\gamma$。

No panels 的 VMME overall 为 58.5，TimeScope Short 为 58.7，TimeScope Long 为 30.2。 $\gamma =0$ 时，任何视频都 panel，VMME overall 为 58.6，TimeScope Short 为 70.5，TimeScope Long 为 33.8。 $\gamma =0.5\times$fps 时，VMME overall 为 58.9，TimeScope Short 为 70.2，TimeScope Long 为 33.8。 $\gamma =1\times$fps 是默认设置，VMME overall 为 58.9，TimeScope Short 为 69.5，TimeScope Long 为 33.8。 $\gamma =2\times$fps 时，VMME overall 仍为 58.9，TimeScope Short 为 69.2，TimeScope Long 为 33.8。 结论是长视频结果对 $\gamma$ 较鲁棒。

但短视频上，过早启用 paneling 未必最好。 默认 $\gamma =1\times$fps 是一个平衡点。 它避免对足够短的视频降低空间分辨率。

5.9 $\alpha$ 和 $\beta$ 消融

$1\times 1$ 等价于 no panel，VMME overall 58.5，TimeScope Long 30.2。 $1\times 2$ 的 VMME overall 为 58.6，TimeScope Long 为 31.3。 $2\times 1$ 的 VMME overall 为 58.1，TimeScope Long 为 32.7。 $2\times 2$ 的 VMME overall 为 58.9，TimeScope Long 为 33.8。 $3\times 3$ 的 VMME overall 为 58.7，TimeScope Short 为 76.5，TimeScope Long 为 33.8。 $4\times 4$ 的 VMME overall 为 58.4，TimeScope Long 下降到 30.9。

结论是更大的 panel grid 会增加时间覆盖，但也会压缩空间细节。 TimeScope 这类 needle 任务可能从 $3\times 3$ 获益。 但总体任务上 $2\times 2$ 更稳。 不对称 paneling 表现较差，说明视觉布局和 aspect ratio 也会影响 VLM 解析。

5.10 Failure analysis 与 explicit temporal encoding

MLVU failure analysis 显示，Qwen2.5-7B 32-frame 在 Count 上从 23.3 提升到 39.8。 Needle 从 71.0 提升到 72.1。 Topic reasoning 从 85.6 提升到 89.0。 PlotQA 从 63.1 提升到 65.3。 Anomaly recognition 保持 72.0。 Order 从 49.8 降到 48.6。 这说明 panels 虽然保留了阅读顺序，但没有显式编码时间戳。 对 order 类问题，模型可能仍难以判断局部 framelet 的全局先后关系。 论文因此测试了 panels-F 和 panels-T。 panels-F 在 panel 上叠加 frame index。 panels-T 在 panel 上叠加 frame time。 Qwen2.5-7B 的 MLVU overall 从 60.1 提升到 63.4。 panels-F overall 为 62.4。 panels-T overall 为 63.9。 panels-T 在 Order 上达到 50.6，高于 base panels 的 48.6。 这说明显式时间信息对某些 temporal tasks 有用。 但 frame index 也可能干扰 counting 等任务。

5.11 Prompt ablation

论文测试了三个额外 prompt。 P1 详细说明 composite grid 的 temporal order，并提醒模型把 panels 当作连续视频帧。 P2 更短，只说明 panels 是按左到右、上到下顺序排列的视频帧。 P3 在问题后说明每张图由 $r$ 行 $c$ 列 panels 组成，并要求直接输出选项字母。 LLaVA-OV 7B 的 no prompt 为 58.9。 P1 提升到 60.1。 P2 为 59.4。 P3 为 58.8。 Qwen2.5-VL 的 no prompt 为 62.4。 P1 为 61.9。 P2 为 61.8。 P3 提升到 62.9。 没有统一最优 prompt。 因此主方法不依赖额外文字说明。 但固定模型部署时，prompt tuning 可以作为额外优化。

5.12 结论与实践建议

Video Panels 最适合长视频、多选问答、needle 检索、事件覆盖和上下文窗口受限场景。 默认推荐先用 $2\times 2$。 默认推荐 $\gamma =1\times$fps。 如果任务主要是 needle retrieval，可以尝试 $3\times 3$。 如果任务依赖细粒度空间细节，不应盲目增大 grid。 如果模型经常犯 temporal ordering 错，可以尝试 panels-T。

如果只服务单一模型，可以单独调 prompt。 如果要跨模型公平评测，应保持无额外 panel prompt 的主设置。 当前公开仓库没有实现代码，因此工程复现需要自行实现 preprocessing。 复现时最需要对齐的细节是 video fps、uniform sampling、resize interpolation、panel ordering、短视频不 panel 的分支、以及 lmms-eval 的模型输入格式。 论文的核心经验是：长视频理解不一定总要更长上下文或更复杂架构；在很多场景下，重新设计视觉输入布局就能显著提高证据覆盖率。