LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs

Paper: arXiv:2605.17260 Code: jjihwan/LiteFrame Code reference: main @ 84fce3f (2026-05-18) Authors: Jihwan Kim, Nikhil Parthasarathy, Danfeng Qin, Junhwa Hur, Deqing Sun, Bohyung Han, Ming-Hsuan Yang, Boqing Gong Affiliations: Google DeepMind; Seoul National University Code status: 官方仓库已公开，但当前只包含 README 与 logo assets；README 明确写明 code and model weights will be released soon，因此本笔记的算法伪代码只能锚定论文公式与官方 README，而不能锚定实现文件。

1. Motivation (研究动机)

1.1 论文要解决的不是“LLM token 太多”这一单点问题

LiteFrame 的核心动机是：长视频 Video LLM 的计算瓶颈并不会在视觉 token 被 post-hoc 压缩后消失，而是会转移。典型 Video LLM 管线包含三段：逐帧 image encoder / ViT 先把每一帧编码成视觉 patch tokens，alignment projector 把视觉特征接到语言空间，LLM 再对视觉 token 与文本 token 做推理。过去的高效化方法大多把主要矛盾放在 LLM 的自注意力复杂度上，因为视觉 token 数随帧数增长会让 LLM prefilling 近似呈二次增长；于是它们保留原始 frozen image encoder，在特征抽取之后再做 token pruning、token merging、pooling 或 query-guided reduction。

这类“extract-and-reduce”范式在短期内有效：它确实能减少进入 LLM 的 token 数，让同一个上下文窗口容纳更多帧。但论文指出，post-hoc reduction 只能减少 LLM 端负担，不能减少每一帧都要跑一次大 ViT 的基础成本。当压缩比例很高时，LLM prefilling 被压下去了，原先看似不是主瓶颈的视觉编码器延迟就会成为新的 floor。换言之，系统延迟的下界由“先对所有帧做昂贵 dense feature extraction”决定，而这个下界不会因为之后把 token 丢掉而下降。

Figure 1 解读：这张 teaser 把三种范式的瓶颈位置放在一起。(a) 标准 Video LLM 被 LLM prefilling 的 token 数限制，通常只能处理较少帧；(b) post-hoc reduction 让 LLM 变轻，但由于仍需对所有帧运行原始 ViT，帧数一多 ViT 延迟爆炸；(c) LiteFrame 同时降低 ViT 编码成本和 LLM prefilling 成本，在 64 帧条件下相对 InternVL3-8B 基线获得 12.7x 更快的 LLM prefilling 和 5.3x 更快的 ViT encoding。这里的关键不是又提出一个 token reduction trick，而是把压缩的位置前移到视觉编码器内部。

1.2 Frame-count bottleneck：性能需要更多帧，但传统 encoder 让更多帧不可承受

论文的第二个动机是长视频理解对帧数高度敏感。Video-MME、MLVU、LongVideoBench 这类长视频 benchmark 的性能会随输入帧数增长而提升，虽然增长近似 logarithmic，但 8 帧、16 帧、32 帧与更高帧数之间仍有明显差距。问题在于 InternVL3 这类模型每帧可以产生 256 个视觉 token，LLM context 与 prefilling 成本限制它们实际只能在大约 64 帧附近工作。若想在固定 visual token budget 下增加时间覆盖，就必须用更高比例的时空压缩把冗余 patch 换成更多帧。

论文先验证了一个重要前提：激进压缩是值得做的。它提出 Weighted Average Pooling (WAP)，在固定 $16\times$ 压缩、64 帧条件下，WAP 的平均准确率 62.0，高于 average pooling 60.2、max pooling 60.0、subsampling 61.2、ToMe 60.0、PruMerge 59.7 和 FastVID 60.6。这个结果说明，简单保留时空块结构、再用 attention-like 权重选择高激活区域，比纯内容驱动的 pruning/merging 更适合视频连续结构。

Figure 2 解读：左侧说明长视频理解准确率随帧数提升；右侧说明在固定 token budget 下，WAP 的 $4\times$、$8\times$、$16\times$ 压缩都能超过 no-compression baseline，其中 $16\times$ 让模型看到最多帧，因此总体最好。这为 LiteFrame 的目标设定提供了依据：如果 $16\times$ token compression 是有用的，就不应只把它作为 post-hoc 操作，而应把这种压缩能力蒸馏进一个轻量视频 encoder。

1.3 论文的根本问题定义

因此 LiteFrame 不是在问“怎样从 LLM 输入里删掉更多 token”，而是在问“怎样让视觉 encoder 直接输出少量、信息密度高、结构连续的时空 token”。这个问题有三个约束：第一，压缩后的 token 必须足够少，论文主设置为每帧 16 tokens，相对 InternVL3 的 256 tokens/frame 是 $16\times$ 减少；第二，encoder 本身必须比 teacher image encoder 更便宜，否则只是把 token 压缩换成 encoder 延迟；第三，压缩特征必须能被现有 LLM 消化，因此不能只追求 feature-level MSE，还需要下游 video-text adaptation。LiteFrame 的 CTD 与 LMA 正是围绕这三个约束设计的。

2. Idea (核心思想)

2.1 一句话概括

LiteFrame 的主意是：先用强 teacher 的 dense features 经过 WAP 生成一个信息密集的时空压缩 latent，再训练一个 87M 参数的轻量 student video encoder 直接预测这个 latent；推理时不再运行昂贵 teacher，也不再在 teacher 输出后做 post-hoc reduction，而是让 student 原生输出压缩 token，最后通过轻量 LMA 让 LLM 适应这种新的 latent space 与更长 temporal context。

Figure 3 解读：图中黑色虚线是 InternVL3 teacher，彩色虚线是 post-hoc compression 方法，红色三角是 WAP，红色星号是 LiteFrame。WAP 已经能改善部分准确率/延迟权衡，但仍受原始 encoder latency floor 限制；LiteFrame 把 WAP 的压缩效果内化到 student 权重中后，才真正把 Pareto frontier 往左上推。注意横轴是 log-scale latency，这说明 LiteFrame 的收益不是微小常数优化，而是系统瓶颈位置变化带来的结构性收益。

2.2 为什么 WAP 既是 baseline 又是 teacher target generator

WAP 在论文中扮演双重角色。作为 post-hoc baseline，它证明了保留时空块结构的加权 pooling 比复杂 pruning/merging 更稳；作为 CTD 的 target generator，它把 teacher 的 dense feature $T(x)$ 投影成压缩目标 $\mathcal{P}(T(x))$，让 student 不必模仿所有冗余 spatial details，而是模仿经过 teacher class-token attention 加权后的高 saliency feature。这个设计比普通 feature distillation 更适合压缩任务，因为普通蒸馏要求 student 还原 teacher 的 dense output，本质上仍把大量冗余局部细节当作监督；CTD 则把 teacher 的“哪些 patch/时间块更重要”提前融入目标。

2.3 为什么需要 LMA

即使 CTD 能让 student 输出语义显著、时空压缩的视觉 latent，这个 latent 也未必天然适配下游 LLM。InternVL3-8B 的 LLM 习惯接收 teacher image encoder + projector 产生的视觉 token 分布，而 LiteFrame 输出的 token 数更少、时间跨度更长、统计分布也不同。Language Model Adaptation (LMA) 用 video-text pairs 做轻量 fine-tuning，并用 LoRA 保留 LLM 原本推理能力。它的作用不是重新训练一个 Video LLM，而是把 LLM 对视觉 token 的接口从“密集短上下文”迁移到“压缩长上下文”。论文报告 LMA 还帮助模型处理 up to 512 frames 的 extended temporal context。

2.4 与 post-hoc token compression 的边界

LiteFrame 并不否定 token compression；它否定的是把 compression 放在 expensive encoder 之后。post-hoc 方法的隐含假设是：只要 LLM token 少，系统就快。但长视频 scaling 下，encoder 要处理的帧数与像素 patch 数仍线性增加，最后 ViT latency 成为新的主项。LiteFrame 的边界在于它需要额外训练 student encoder，并且目前官方实现尚未发布；但从系统角度，它把 compression 从 runtime 操作转化为 model architecture + distillation objective，减少了推理时的动态 attention/pooling/merging 开销。

3. Method (方法)

3.1 Weighted Average Pooling (WAP)

WAP 的输入是 teacher 或中间特征张量 $\mathbf{X}\in {\mathbb{R}}^{T\times H\times W\times C}$。论文把 $\mathbf{X}$ 划分成非重叠时空块 ${\Omega }_{u,v,s}$，目标压缩分辨率是 $(t,h,w)$。每个 compressed token ${\mathbf{Y}}_{u,v,s}$ 不是简单平均，而是在块内根据当前帧 class token 与 patch token 的相似度做 softmax 加权： ${\mathbf{Y}}_{u,v,s}={\sum }_{(\tau ,i,j)\in {\Omega }_{u,v,s}}\mathrm{softmax}\left(\frac{{\mathbf{x}}_{\tau ,\mathrm{cls}}^{\top }{\mathbf{x}}_{\tau ,i,j}}{\sqrt{C}}\right){\mathbf{x}}_{\tau ,i,j}.$ 其中 softmax 只在当前 block 内计算，${\mathbf{x}}_{\tau ,i,j}$ 是第 $\tau$ 帧位置 $(i,j)$ 的 patch token，${\mathbf{x}}_{\tau ,\mathrm{cls}}$ 是该帧的 class token。压缩率为 $r=THW/(thw)$。直观上，WAP 保留 pooling 的规则网格结构，因此不会像 token merging/pruning 那样破坏时间与空间邻接关系；同时它用 class-token similarity 做权重，因此又不会像 average pooling 一样把显著 object/action 与背景平均掉。

3.2 Student encoder architecture：把时空压缩放进 backbone

LiteFrame 的 student 是 12-layer、768D 的 ViT-Base，约 87M 参数；teacher 是 24-layer、1024D 的 ViT-Large / InternViT-300M，约 304M 参数。student 不再逐帧独立跑 image encoder，而是在空间 attention 层之间插入轻量 depth-wise 1D temporal convolution，用低成本跨帧建模捕捉 motion / temporal redundancy。为了让深层计算更便宜，网络还在第 4 与第 8 个 block 后加入 depth-wise strided convolution，stride 分别是 $[t,h,w]=[2,2,2]$ 与 $[2,1,1]$，逐步在时空维度下采样 feature map。

论文比较了几种 temporal modeling 结构，输入 256 frames 时：teacher ViT-Large-24L 延迟 1043.33 ms、158.80 TFLOPs、304.01M 参数；ViT-Base-12L no compression 延迟 338.01 ms、44.81 TFLOPs、86.31M 参数；TempAttn 延迟 348.29 ms、32.77 TFLOPs、143.83M 参数；SpatioTempAttn 延迟 204.35 ms、17.92 TFLOPs、87.15M 参数；TempConv 延迟 202.08 ms、22.44 TFLOPs、109.54M 参数；DWTempConv 是最低延迟 174.84 ms、17.92 TFLOPs、87.15M 参数。这个 ablation 支撑了论文选择 depth-wise temporal convolution 的原因：它接近 full spatio-temporal attention 的 FLOPs，但参数开销和 latency 更低。

3.3 Compressed Token Distillation (CTD)

CTD 的目标不是让 student 模仿 teacher 的 dense feature map，而是让 student 直接预测 teacher 经过 WAP 压缩后的信息密集表示。形式化地，teacher 输出 $T(x)=Z_T\in {\mathbb{R}}^{N\times D}$，student 输出 $S_{\theta }(x)=Z_S\in {\mathbb{R}}^{(N/r)\times D}$，$r$ 是目标压缩率，例如 $16\times$。用基于 WAP 的 projection $\mathcal{P}(\cdot )$ 把 teacher dense tokens 聚合为压缩表示，然后最小化： ${\mathcal{L}}_{\text{CTD}}(\theta )=\Vert S_{\theta }(x)-\mathcal{P}(T(x)){\Vert }_2^2.$ 这等价于把 WAP 的 attention-based weighting 机制蒸馏进 student 的静态参数。推理时 student 不需要先生成 dense teacher tokens，也不需要再做 runtime WAP；它直接输出少量 salient spatio-temporal tokens。训练稳定性上，论文使用 MSE outlier clipping：当 target-prediction difference 超过 $3\times$ 标准差时裁剪，同时做 max norm 1.0 的 gradient clipping。

Figure 4 解读：左侧 CTD 先运行 teacher dense encoder，再用 WAP 产生 compact supervision；student 被训练成直接输出这种 compact latent。右侧 LMA 在 video-text pairs 上联合适配 encoder 与 LLM，使压缩 latent 对语言生成与问答任务可用。这个流程把“先高成本编码再压缩”的 runtime 工作，迁移成“离线蒸馏 + 轻量适配”的训练工作。

3.4 Paper-level pseudocode（官方实现未发布，基于论文公式重建）

# CTD stage: distill WAP-compressed teacher features into LiteFrame student
for video in ctd_video_data:
    clip = sample_4_frame_clip(video, fps_uniform=(1, 4))
    teacher_dense = InternViT_300M(clip)              # shape: N x D, no gradient
    target = WAP(teacher_dense, ratio=16)             # shape: (N / 16) x D
    pred = LiteFrame_student(clip)                    # token-compressive encoder output
    diff = clip_outliers(pred - target, threshold=3 * std(diff))
    loss = mse(diff)
    update_student_encoder(loss, optimizer="AdamW", lr="4e-5 cosine")
 
# LMA stage: adapt LLM interface to compressed long-context visual tokens
for video, text in lma_video_text_pairs:
    frames = dense_clip_sample(video, frame_count=random_choice([128, 256, 512]), fps=(1, 4))
    visual_tokens = LiteFrame_student(frames)
    logits = LLM_with_LoRA(visual_tokens, text_prefix)
    loss = cross_entropy(logits, text_target)
    update_encoder_and_lora(loss, lora_rank=4, alpha=8, dropout=0.05)

这段伪代码反映的是论文流程，而不是仓库实现。当前 jjihwan/LiteFrame 的 main@84fce3f 只包含 README.md、.gitignore 与两个 logo SVG，README 第 22 行说明 code and model weights will be released soon；因此还无法给出具体类名、配置文件路径或训练脚本参数。待官方 release 后，最需要核对的实现锚点包括：WAP block partition 与 class-token weighting、DW temporal convolution 插入位置、strided convolution stride、CTD loss clipping、LMA LoRA 配置、dense clip sampling 与 latency measurement。

3.5 Code mapping / source anchor status

Paper Concept	Source File	Key Class/Function	Status
Official repo / metadata	README.md	N/A	已公开；说明 paper、project page、release pending
LiteFrame encoder	N/A	N/A	实现代码未发布，无法定位 class/function
WAP / CTD / LMA	N/A	N/A	只能由论文公式与实验设置重建
Assets	assets/deepmind.svg, assets/snu.svg	N/A	仓库仅含展示 assets，不含训练或推理代码

4. Experimental Setup (实验设置)

4.1 Base model, teacher, student

主 baseline 是 InternVL3-8B。论文使用它的 image encoder InternViT-300M 作为 teacher，参数 304M，hidden dim 1024。student 则采用更小的 ViT-Base backbone，参数 87M，hidden dim 768。student 每帧输出 16 tokens，而 teacher / InternVL3 baseline 是 256 tokens/frame，因此 token 数在每帧层面减少 $16\times$。注意这里的“更高帧数”不是把原始模型 context 硬拉长，而是利用 token compression 后的 budget 处理更多 frames：例如主结果中 InternVL3-8B 8/16/32 frames 分别对比 LiteFrame 64/128/256 frames，也就是 $8\times$ frame scaling。

4.2 CTD training details

CTD 使用 AdamW、cosine learning rate schedule 与 linear warmup。student 权重初始化来自 teacher，但会裁剪到 student dimensions。全局 batch size 是 512，分布在 $8\times$ NVIDIA H100；maximum learning rate 是 $4\times 10^{-5}$，warmup 100 epochs；总训练 1800 epochs，约 21 天。ablation studies 为节省成本只蒸馏 800 epochs。CTD 阶段采样 4-frame clips，FPS 从 $[1,4]$ 均匀采样。训练稳定性包括两点：MSE outlier clipping 对超过 $3\times$ standard deviation 的 target-prediction difference 做 clipping，gradient clipping 的 maximum norm 为 1.0。

4.3 LMA training details

LMA 使用 LoRA 适配 LLM，rank $r=4$、$\alpha =8$、lora_dropout=0.05。论文特别提到低 rank（例如 4）比更高 rank（8、16）表现更好。LMA effective batch size 为 128，通过 gradient accumulation 实现；learning rate 同样是 $4\times 10^{-5}$，cosine schedule。该阶段从 $\{128,256,512\}$ 均匀采样 frame counts，FPS 在 1 到 4 之间，使总 visual token volume 接近 teacher 典型输入（未压缩 teacher 的 8–32 frames）。LMA 在 $8\times$ H100 上训练 25K steps，几小时完成。

4.4 Datasets and benchmarks

训练数据来自 InternVL2.5 论文描述的视频数据子集。CTD 使用 ShareGPT4Video、LLaVA-Video-178K、FineVideo、CLEVRER、NTURGB+D。LMA 使用 LLaVA-Video-178K 与 FineVideo 的高质量 video-question answering pairs，并结合 ShareGPT4Video 与 OpenVid-1M 的 captioning data 来增强 visual-text alignment。论文也列出许可证限制：ShareGPT4Video 为 CC-BY-NC-4.0，FineVideo 为 CC-BY，OpenVid-1M 为 CC-BY 4.0，LLaVA-Video-178K 为 Apache 2.0，CLEVRER 与 NTURGB+D 限非商业学术研究。

主评测使用 Video-MME（with / without subtitles）、MLVU 与 LongVideoBench，并取平均性能。额外 benchmark 包括 HLVid（高保真空间理解与 zero-shot resolution scaling）、短视频 MVBench 与 TVBench、长视频 LVBench 与 MMBench-Video。评测设置上，InternVL3-8B 与 post-hoc methods 对整段视频 uniform sampling 并 resize 到 448px；LiteFrame 使用 dense clip sampling，多 clip 覆盖整个视频，每个 clip 固定 4 frames，minimum 1 FPS，输入帧同样 resize 到 448px，空间分辨率 scaling 实验除外。

4.5 Latency protocol

Latency 统计的是 end-to-end visual token encoding + LLM prefilling，不含回答 decoding，因为论文关注的瓶颈是视觉 token 编码和 prefilling。延迟是在单张 NVIDIA A100-80GB 上测量，先 warmup 40 iterations，再取 100 iterations 的 median latency，共 140 iterations。这个 protocol 对 LiteFrame 的解释很重要：它不是只报告 encoder FLOPs，而是把 ViT processing 与 LLM prefilling 合在一起；因此结果能体现“减少 encoder cost + 减少 LLM token”的联合收益。

5. Experimental Results (实验结果)

5.1 Main result：更低延迟、更高平均准确率、8x 更多帧

主表把 InternVL3-8B、FastVID post-hoc baseline 与 LiteFrame 放在相近 latency budget 下比较。第一组中，InternVL3-8B 用 8 frames、256 tokens/frame、304M vision params，总延迟 208.4 ms，平均准确率 59.0；FastVID 用 32 frames、16 tokens/frame，但仍需 304M vision encoder，总延迟反而 224.8 ms，平均 59.5；

LiteFrame 用 64 frames、16 tokens/frame、87M vision params，总延迟 150.1 ms，平均 61.1，相对 teacher latency 降 28.0%，平均准确率高 2.1 points。第二组中，InternVL3-8B 16 frames 总延迟 403.6 ms、平均 62.2；FastVID 64 frames 总延迟 406.2 ms、平均 59.5；LiteFrame 128 frames 总延迟 272.6 ms、平均 63.7，相对 teacher latency 降 32.5%，准确率高 1.5 points。

第三组中，InternVL3-8B 32 frames 总延迟 814.5 ms、平均 65.3；FastVID 128 frames 总延迟 794.9 ms、平均 62.9；LiteFrame 256 frames 总延迟 532.3 ms、平均 65.7，相对 teacher latency 降 34.6%，准确率高 0.4 points。这个结果支持论文摘要中的主张：LiteFrame 通过 internalized compression 让模型处理 $8\times$ 更多帧，同时最高降低约 35% end-to-end latency。

更关键的是，FastVID 虽然把 tokens/frame 降到 16，但 vision latency 仍随 frame count 激增，例如 128 frames 时 vision latency 625.8 ms；LiteFrame 同样 256 frames 时 vision latency 204.0 ms，说明主要收益来自 encoder 内部轻量化，而不是 LLM 端压缩本身。

Figure 5 解读：post-hoc 方法在低帧数时能降低 LLM 成本，但当帧数扩大，原始 ViT 处理所有帧的成本成为硬下界。LiteFrame 的曲线更靠左上，说明它不是牺牲 accuracy 换 latency，而是通过更长 temporal coverage 弥补甚至超过了 teacher 的压缩损失。

5.2 WAP baseline：作为 compression primitive 的有效性

在 fixed $16\times$ compression ratio、64 frames 条件下，WAP 的平均准确率是 62.0，是所有 post-hoc token reduction 方法中最高。逐项看，WAP 在 Video-MME without subtitles 上 61.0，with subtitles 上 65.7，MLVU 上 67.4，LongVideoBench 上 54.0。相比之下，subsampling 平均 61.2，FastVID 平均 60.6，average pooling 60.2，ToMe 60.0，PruMerge 59.7。LongVideoBench 上 average pooling 的 54.7 单项更高，但 WAP 在前三项显著更强，平均最好。

这个实验的意义不只是证明 WAP 可以当 post-hoc baseline。更重要的是，它证明 WAP 生成的 compressed representation 足够强，可以作为 CTD 的 teacher target。如果 target primitive 本身质量不高，student 只会学习一个弱压缩空间；WAP 的平均优势让 CTD 的设计更合理。

5.3 Zero-shot spatial resolution scaling 与额外 benchmark

论文报告 LiteFrame 在 HLVid 上做 zero-shot spatial resolution scaling：不经过高分辨率训练，仅利用 token efficiency 在高分辨率视频中扩展空间输入，达到 54.1 的 state-of-the-art score。这个结果说明 LiteFrame 的 token 预算收益不仅能换更多时间帧，也能换更高空间分辨率；这对长视频中的细粒度空间问题尤其重要，因为过强的空间 pooling 可能破坏物体细节。

Figure 6 解读：HLVid 结果强调 LiteFrame 的另一个使用方式：当 LLM context 预算因每帧 token 下降而变宽时，可以选择增加帧数，也可以选择提升空间分辨率。LiteFrame 在无高分辨率训练时仍能取得 54.1，说明其 compressed latent 不只是粗糙 temporal summary，而保留了可用于 high-fidelity spatial understanding 的信息。

额外短视频 benchmark 上，LiteFrame 在 MVBench 降低 28% 端到端延迟，在 TVBench 降低 63% 端到端延迟，同时保持 baseline accuracy。长视频额外 benchmark 上，LVBench 中 512-frame LiteFrame 得分 43.9，高于 64-frame baseline 的 43.5，同时快 38%；MMBench-Video 中 LiteFrame 在 16–128 input frames 的 low-latency 区间效率更好。论文用 Gemini 3 Flash Preview API 评估 MMBench-Video 的 free-form QA response quality。

5.4 AutoGaze comparison：避免 pre-reduction module 成为新瓶颈

Figure 7 解读：AutoGaze 类方法试图在输入或 pre-reduction 端选择更重要的视觉区域，但论文指出，当从 32 frames 扩展到 256 frames 时，AutoGaze 的 pre-reduction module 本身会成为新瓶颈。LiteFrame 的优势是把 token-compressive behavior 融进 backbone，随着帧数增长能更平衡地分配 ViT 与 LLM 成本。因此它在图中表现为更低 latency 与更高 accuracy 的 frontier。

5.5 Ablation：CTD、DWConv、LMA 都必要

主 ablation 隔离四个因素：token-compressive student architecture、depth-wise temporal convolution、WAP teacher objective、LMA。InternVL3-8B teacher 在 16 frames 下 403.6 ms、62.2%。简单把 teacher 蒸馏到 ViT-Base-12L、不做 token compression，16 frames 下 362.9 ms、60.3%，说明只缩小 encoder 参数并不能解决 LLM token bottleneck。CTD + SpatioTempAttn 在 128 frames 下 102.2 ms、61.9；CTD + DWTempConv 在同样 128 frames 下 87.4 ms、62.8，证明 DW temporal conv 比 full spatio-temporal attention 更高效且更准。RTD（reconstructive token distillation）只有 43.8，RTD + LMA 回到 61.5，但仍低于 CTD without LMA 的 62.8；最终 CTD + LMA 是 87.4 ms、63.4。

Figure 8 解读：spatio-temporal compression 与 spatial-only compression 的比较说明，不能只在空间维度做 $16\times$ 压缩。128-frame budget 下，spatial-only 平均准确率 60.5，而 LiteFrame / CTD 是 62.8；Video-MME without subtitles 上是 57.0 vs 61.9。论文解释为：纯空间 $16\times$ 会把一帧压到过粗的 $4\times 4$ grid，损害细粒度 spatial fidelity；把压缩负担分配到 spatial $4\times$ + temporal $4\times$，能同时保留空间细节并合并相邻帧冗余。

5.6 限制与我的阅读判断

论文自己列出三点限制。第一，LMA 只使用现有视频数据子集；如果有更高质量、极长视频数据，extended temporal context 的收益可能更大。第二，评测集中在 video-centric benchmarks，虽然 HLVid 显示了 zero-shot spatial scaling 潜力，但静态图像 benchmark 尚未系统评估。第三，进一步压缩到更小 student 时遇到 loss explosion 等训练不稳定问题，说明 CTD 对 ultra-lightweight student 还需要稳定化改进。

我的判断是，LiteFrame 的贡献更接近“系统瓶颈重定位后的 encoder 设计”，而不是一个 isolated token compression trick。它把一条常见经验明确化：当 LLM 端 token 已经被大幅压缩，继续优化 LLM prefilling 的边际收益下降，真正需要优化的是视觉特征抽取本身。CTD 的优点是 target 很明确：不是任意 autoencoder reconstruction，而是 WAP 压缩后的 teacher saliency space；LMA 的优点是承认压缩 latent 与 LLM 接口存在 distribution gap。当前最大未解点是 code 未发布，因此训练 recipe 的很多实现细节（例如 WAP block indexing、LoRA module selection、clip sampler 边界、latency profiling 脚本）还不能代码级复现。等官方代码 release 后，最值得优先验证的是主表中的 latency 是否包含完全相同的 preprocessing / batching 条件，以及 CTD + LMA 在不同 LLM backbone 上是否仍能维持同样的 Pareto 改善。