VL-JEPA: Joint Embedding Predictive Architecture for Vision-language

Paper: arXiv:2512.10942 Venue: ICLR 2026 Poster Model weights: delong-chen/VL-JEPA, delong-chen/VL-JEPA-SFT

1. Motivation（研究动机）

这篇论文要解决的核心问题是：通用 Vision-language 系统如果总是按 token-space 自回归生成答案，会把大量训练与推理成本花在“表面语言形式”上，而不是直接学习视觉世界中真正需要预测的语义状态。传统 VLM 把视觉输入 $X_V$ 和文本 query $X_Q$ 映射为目标文本 $Y$，即 $(X_V,X_Q)\mapsto Y$，训练时通常用 next-token cross-entropy 逼近一个具体的 token 序列。这个形式很自然，但对许多视觉任务并不经济：captioning、VQA、action tracking、retrieval、planning 等任务的正确性往往取决于语义是否对，而不取决于答案究竟写成 “the lamp is turned off” 还是 “the room will go dark”。在 one-hot token 空间里，这两个答案可能几乎正交；在好的语义 embedding 空间里，它们应该落在相近区域。论文的出发点就是把这种“多种表述对应同一语义”的目标分布从稀疏、多峰、离散的 token 空间，压缩到连续、语义聚合的 latent embedding 空间。

第二个动机来自实时视频应用。智能眼镜、在线 action tracking、机器人规划、导航或 procedural assistance 等场景要求模型不断接收新帧并低延迟更新语义状态。自回归 VLM 的语义只有在完整解码若干 token 后才显现出来，因此如果每个滑动窗口都解码，就会产生高延迟和高成本；如果少解码，又容易错过事件变化。论文认为，若模型直接输出目标语义 embedding ${\hat{S}}_Y$，这个 embedding stream 本身就可以作为在线监控信号：只在 embedding 出现显著变化时调用轻量 Y-Decoder，把 latent semantic state 翻译成人类可读文本。这样可以把“理解”和“说出来”分离，实时系统无需每一帧都生成自然语言。

第三个动机是模型形态的统一性。现有系统常把 generation、classification、retrieval、VQA 分成不同 heads 或不同 prompting/evaluation pipelines：生成任务需要 decoder，open-vocabulary classification 用 label text matching，retrieval 又要求跨模态相似度。VL-JEPA 试图把这些都转化为同一个问题：给定视觉 embedding $S_V$ 和 query $X_Q$，预测目标语义 embedding $S_Y$。如果任务需要文字，就用 Y-Decoder 解码 ${\hat{S}}_Y$；如果任务是 discriminative VQA 或 open-vocabulary classification，就把候选答案/类别文本经 Y-Encoder 编成 $S_Y$ 后与 ${\hat{S}}_Y$ 比距离；如果是 text-to-video retrieval，就把候选 video 映射为 predicted target embedding，再与 text query embedding 做相似度排序。这个统一视角使论文不仅是在做一个新 backbone，而是在提出一种非生成式 VLM 训练范式。

Figure 1 解读：这张小图给出最抽象的 JEPA 结构：视觉输入 $X_V$ 经 X-Encoder 得到 $S_V$，文本 target $Y$ 经 Y-Encoder 得到 $S_Y$，Predictor 以 $S_V$ 和 query $X_Q$ 为条件直接预测 ${\hat{S}}_Y$。关键变化不是多加一个 decoder，而是训练主目标从 $D(\hat{Y},Y)$ 变成 $D({\hat{S}}_Y,S_Y)$；Y-Decoder 只在推理时需要自然语言输出时才读出 embedding。

2. Idea（核心思想）

核心 insight 是：对许多 vision-language 任务，模型需要预测的是“目标答案的语义位置”，不是唯一的 token 序列；把监督信号放到 continuous target embedding 上，可以让等价或近似等价的答案形成紧凑目标分布，从而降低 token-space 多模态目标带来的学习难度。VL-JEPA 将 JEPA 的“在表示空间预测 target representation”移植到 vision-language setting：X-Encoder 压缩视觉世界，Y-Encoder 定义答案语义空间，Predictor 学习从视觉/问题到答案 embedding 的映射。

相对 classical token-generative VLM，根本差异在目标空间和推理接口。VLM 用自回归 decoder 在 data/token space 中重建 $Y$，训练必须同时学习语义、措辞、语法和序列概率；VL-JEPA 用 Predictor 非自回归地产生 ${\hat{S}}_Y$，训练只要求它靠近 Y-Encoder 对真实答案的 embedding $S_Y$，再用 InfoNCE 的 batch-level uniformity 防止坍缩。相对 CLIP/SigLIP/Perception Encoder 这类 joint embedding model，VL-JEPA 又不是只做对称图文对齐：它引入 query-conditioned Predictor，因此同一视觉输入可以根据不同问题预测不同 target embedding，覆盖 VQA、captioning、classification、retrieval 和 streaming decoding。

论文最有价值的思想不是“把 decoder 变小”，而是“让 decoder 退出主训练闭环”。Y-Decoder 只是可选读出器，真正承载任务语义的是 ${\hat{S}}_Y$。这使训练阶段省掉大规模语言生成负担，推理阶段也可以先在 embedding stream 中判断是否值得解码；在 paper 的 selective decoding 实验里，embedding-guided selection 在相近 CIDEr 下把解码次数降低约 $2.85\times$。

3. Method（方法）

3.1 Overall framework：四个模块与输入输出

VL-JEPA 训练样本是三元组 $⟨X_V,X_Q,Y⟩$。$X_V$ 是 image 或 video frame sequence，$X_Q$ 是文本 query（例如问题、captioning prompt、retrieval prompt），$Y$ 是目标文本答案。模型由四个部分组成：

• X-Encoder：$X_V\mapsto S_V$，把高维视觉输入压缩为连续 visual embeddings。论文默认使用 frozen V-JEPA 2 ViT-L，304M parameters，视频均匀采样为 $256^2$ 分辨率 frames；image 输入则复制成与 video input 一致的形状。
• Predictor：$⟨S_V,X_Q⟩\mapsto {\hat{S}}_Y$，是 VL-JEPA 的核心。它把视觉 embedding 与 query token embedding 联合建模，输出 target embedding 的预测。
• Y-Encoder：$Y\mapsto S_Y$，把真实 target text 编码到连续 semantic space。论文使用 EmbeddingGemma-300M 初始化，最大 context length 为 512，并在训练中给 text encoder 参数设置 $\times 0.05$ 的学习率 multiplier。
• Y-Decoder：${\hat{S}}_Y\mapsto \hat{Y}$，主训练阶段不参与；只有推理时需要人类可读文本时才被调用。因此 classification、retrieval、discriminative VQA 可以完全不经过语言生成。

Figure 2 解读：左半部分展示训练路径：visual input 先经 frozen V-JEPA 2 得到 $S_V$，query token 进入 Predictor，真实答案 $Y$ 进入 Y-Encoder 产生 $S_Y$，loss 在 ${\hat{S}}_Y$ 与 $S_Y$ 间计算，而不是在 decoded text 上计算。右半部分展示同一 embedding 接口如何服务不同任务：text generation 通过 Y-Decoder 读出，discriminative VQA/classification 通过候选答案 embedding matching，text-to-video retrieval 通过 query 与 video-predicted embedding 的相似度排序，streaming 则根据 ${\hat{S}}_Y$ 序列选择何时解码。

方法直觉可以这样理解：X-Encoder 像一个“视觉世界状态压缩器”，把视频中高带宽像素序列变成 visual tokens；Y-Encoder 像一个“语义答案坐标系”，把各种合理回答放到语义邻近的位置；Predictor 学的是从当前视觉状态和问题到这个坐标系中某个点的映射。只要 ${\hat{S}}_Y$ 落在正确语义邻域，后续是否把它解码成某个具体句子就是次要问题。这解释了为什么 VL-JEPA 可以在 captioning/VQA 之外自然支持 retrieval/classification：它们本质上都可以写成 embedding nearest-neighbor 或 similarity ranking。

3.2 Predictor 与 embedding-space loss

论文没有把 loss 写成完整的单行公式，但明确说明训练目标由两类项构成：embedding-space prediction error 与 anti-collapse regularization。概念上可以写成： ${\mathcal{L}}_{\text{VL-JEPA}}=D({\hat{S}}_Y,S_Y),{\hat{S}}_Y=f_{\theta }(S_V,X_Q),S_Y=g_{\varphi }(Y).$ 这与 token-generative VLM 的数据空间目标形成对比： ${\mathcal{L}}_{\text{VLM}}=D(\hat{Y},Y),\hat{Y}=\mathrm{Decoder}(X_V,X_Q).$ 实际训练中，作者采用 bi-directional InfoNCE，因为它在 vision-language 领域成熟，并且可被分解为 alignment 与 uniformity：alignment 拉近 normalized prediction 和 target embedding，uniformity 把 batch 内不同 embedding 推开，避免所有表示坍缩到同一点。若 batch 中有 $B$ 个样本，令 $z_i=\mathrm{norm}({\hat{S}}_{Y,i})$，$t_i=\mathrm{norm}(S_{Y,i})$，一个常见的双向写法是： $ \mathcal{L}_{\text{InfoNCE}} = \frac{1}{2}\left[ -\frac{1}{B}\sum_i \log \frac{\exp(z_i^\top t_i / \tau)}{\sum_j \exp(z_i^\top t_j/\tau)}

\frac{1}{B}\sum_i \log \frac{\exp(t_i^\top z_i / \tau)}{\sum_j \exp(t_i^\top z_j/\tau)} \right]. $ 论文也说明，InfoNCE 不是理论上唯一选择；VICReg、SIGReg 或 EMA/frozen Y-Encoder 等 anti-collapse 策略都可能替代它。作者选择 InfoNCE 的实际原因是成熟、稳定、适合图文对齐，并且 ablation 显示它在 classification/retrieval 上明显优于 cosine/L1/L2。需要注意：由于没有 released code，本文笔记中的公式是根据论文文字和通用 InfoNCE 形式整理；具体 temperature、normalization 与 distributed negatives 的工程实现未由论文公开。

3.3 具体模型实例化

论文实现中的 X-Encoder 是 frozen V-JEPA 2 ViT-L（304M）。Predictor 初始化自 Llama-3.2-1B 的最后 8 层 Transformer，形成约 490M trainable parameters；tokenizer 与 token embedding 也来自 Llama-3.2-1B。它允许最多 512 个 query tokens，短 query 用 [PAD] 补齐；为了让视觉 embedding 和 query embedding 双向交互，作者关闭 causal attention mask，而不是保留 LLM 原有的严格自回归方向。Predictor 输出后，对非 [PAD] tokens 做 average pooling 得到 predicted target embedding，再通过 linear projection 进入 shared embedding space。

Y-Encoder 使用 EmbeddingGemma-300M 初始化，也设置最大 context length 512。Predictor 与 Y-Encoder 两端都接 linear projection head，最终在 1,536 维 shared embedding space 中计算 loss。Y-Encoder 不是完全 frozen；论文认为训练初期 Predictor 的 embedding prediction 质量较差，如果 Y-Encoder 学得过快，会让 target space 随噪声漂移，因此给 text encoder 参数较小学习率 multiplier $\times 0.05$。ablation 也支持这一点：multiplier $0.05$ 是默认，$1.00$ 使 classification/retrieval/VQA 分别下降 $3.6/1.4/1.8$，$0.00$（相当于冻结）使 classification 下降 $7.3$、retrieval 下降 $4.3$。

3.4 Two-stage training：先对齐，再 query-conditioned SFT

VL-JEPA 的最终模型有两阶段。第一阶段是 query-free large-scale pretraining，目标是用海量 caption data 建立视觉—语言语义空间对齐。数据包括 DataComp、YFCC-100M，以及 Action100M（来自 HowTo100M videos 的 action description 与 video captions）。训练先做 image-only：每个 visual input 只有 1 frame，batch size 达到 24k；100k iterations 后模型见过 2B samples，并取得 61.6% ImageNet zero-shot accuracy（无 prompt ensembling）。随后继续 video pretraining：8 frames/input 训练 60k iterations，最后 32 frames/input 训练 10k iterations。整个 pretraining 用 24 nodes，每个 node 8 张 NVIDIA H200，耗时 4 周，constant learning rate 为 $5\times 10^{-5}$。这个阶段产物称为 VL-JEPA${}_{\text{BASE}}$，用于 zero-shot classification 与 retrieval。

第二阶段是 query-conditioned supervised finetuning，目标是补齐 VQA 能力，同时尽量保留第一阶段得到的 classification/retrieval alignment。SFT 数据来自 PLM mixture：25M VQA samples、2.8M captioning samples、1.8M classification samples，并混入下采样的 pretraining data 以避免 catastrophic forgetting。训练 83k steps，batch size 3,072，约 2.5 天（24 nodes），使用 cosine learning rate annealing。由于 SFT 包含较多人类标注数据，作者不再强调这个模型的 zero-shot 性质，而把 VL-JEPA${}_{\text{SFT}}$ 当作 generalist model 与 specialist baselines 比较。

这里有一个重要的可复现 caveat：训练配置数字来自论文 §3 Implementation，而非 released launch script。代码搜索未找到开源实现（作者/论文 released implementation），因此无法验证诸如 optimizer、temperature、data sampler、distributed negatives、exact frame sampling seed、projection head 初始化等工程细节。搜索到的 Hugging Face pages 是 gated model weights/model cards，不是训练代码；GitHub 上的 JosefAlbers/vl-jepa 等是 unofficial/educational 或 paper-derived implementation，未作为本文的 code reference。

3.5 Multi-task inference：把任务转成 embedding matching 或 selective readout

VL-JEPA 的多任务接口可以按任务类型拆开：

1. Captioning / open-ended VQA：query $X_Q$ 是 captioning prompt 或 question，Predictor 输出 ${\hat{S}}_Y$，Y-Decoder 把它转成自然语言。训练主目标仍是 embedding prediction，而不是 decoder cross-entropy。
2. Discriminative VQA / open-vocabulary classification：把每个候选答案或类别名输入 Y-Encoder 得到 $S_{Y,k}$，选择距离 ${\hat{S}}_Y$ 最近的候选。若用 cosine similarity，则预测为 $\arg {\max }_k\cos ({\hat{S}}_Y,S_{Y,k})$。
3. Text-to-video retrieval：对候选 video 使用 retrieval/captioning prompt 预测 ${\hat{S}}_Y^{(v)}$，再与 textual retrieval query 的 encoded embedding 比相似度排序。
4. Streaming selective decoding：对长视频滑动窗口输出连续 ${\hat{S}}_{Y,t}$，先在 embedding space 做聚类/变化检测，只在代表性时间点调用 Y-Decoder。

Selective decoding 的具体评估在 EgoExo4D procedural activity validation 上进行，包含 218 个视频，平均 6 分钟，每个视频约 $T=143$ 个 atomic action annotations。给定 decoded outputs $[({\hat{t}}_1,{\hat{y}}_1),\dots ,({\hat{t}}_N,{\hat{y}}_N)]$ 与 ground-truth annotations $[(t_1,y_1),\dots ,(t_T,y_T)]$，评估时把每个 annotation 对齐到时间上最近的 decoded output，再计算 CIDEr。baseline 是 uniform sampling：固定间隔解码；VL-JEPA 的 adaptive selection 用带 temporal connectivity constraints 的 agglomerative clustering，将 embedding sequence 切成 $N$ 个 segment，使 segment 内语义方差较低，然后取 segment midpoint 解码，也可对 segment embeddings 做 average pooling 后再解码。

Figure 4 解读：左侧说明评估协议：红色 uniform sampling 不看内容变化，只按固定 stride 解码；蓝色 selective decoding 根据 ${\hat{S}}_Y$ 的语义变化选择解码点，再把每个 ground-truth annotation 对齐到最近 decoded output。右侧曲线展示 Pareto 关系：在同样 average CIDEr 附近，embedding-guided selection 需要更低 decoding frequency；论文特别指出，0.35 Hz selective decoding 约等于每 2.85 秒解码一次，可以匹配 1 Hz uniform decoding 的性能，即约 $2.85\times$ 解码成本下降。

3.6 Paper-level pseudocode（无 released code，非代码锚点）

下面伪代码只反映论文方法，不是 released source code 的逐行映射；原因是代码搜索未找到开源实现。

import torch
import torch.nn.functional as F
 
 
def bidirectional_infonce(pred_emb, target_emb, temperature=0.07):
    pred = F.normalize(pred_emb, dim=-1)
    target = F.normalize(target_emb, dim=-1)
    logits = pred @ target.T / temperature
    labels = torch.arange(pred.shape[0], device=pred.device)
    loss_p2t = F.cross_entropy(logits, labels)
    loss_t2p = F.cross_entropy(logits.T, labels)
    return 0.5 * (loss_p2t + loss_t2p)
 
 
def vljepa_train_step(x_encoder, predictor, y_encoder, batch, optimizer):
    frames, query_tokens, target_tokens = batch
    with torch.no_grad():
        visual_emb = x_encoder(frames)  # frozen V-JEPA 2 ViT-L
    pred_emb = predictor(visual_emb, query_tokens, causal_mask=False)
    pred_emb = pred_emb.non_pad_average_pool(query_tokens)
    target_emb = y_encoder(target_tokens)
    loss = bidirectional_infonce(pred_emb, target_emb)
    optimizer.zero_grad(set_to_none=True)
    loss.backward()
    optimizer.step()
    return loss

def discriminative_vqa_or_classification(predictor, y_encoder, visual_emb, query_tokens, candidate_texts):
    pred_emb = predictor(visual_emb, query_tokens, causal_mask=False)
    pred_emb = F.normalize(pred_emb.non_pad_average_pool(query_tokens), dim=-1)
    cand_emb = F.normalize(y_encoder(candidate_texts), dim=-1)
    scores = pred_emb @ cand_emb.T
    return scores.argmax(dim=-1)

def selective_decode(embedding_stream, y_decoder, num_segments, cluster_fn, pool=True):
    # cluster_fn should enforce temporal connectivity; paper uses agglomerative clustering.
    segments = cluster_fn(embedding_stream, n_clusters=num_segments)
    decoded = []
    for seg in segments:
        midpoint = (seg.start + seg.end) // 2
        if pool:
            readout_emb = embedding_stream[seg.start:seg.end].mean(dim=0)
        else:
            readout_emb = embedding_stream[midpoint]
        decoded_text = y_decoder(readout_emb)
        decoded.append((midpoint, decoded_text))
    return decoded

Code reference: N/A — 代码搜索未找到开源实现；pseudocode is paper-level reconstruction, not anchored to a public commit.

Paper Concept	Source File	Key Class/Function	Notes
X-Encoder / V-JEPA 2 visual embedding	N/A	N/A	论文说明使用 frozen V-JEPA 2 ViT-L；未找到作者 released code。
Predictor from Llama-3.2-1B layers	N/A	N/A	论文说明初始化自最后 8 层并关闭 causal mask；无可核验源码。
Y-Encoder / EmbeddingGemma-300M	N/A	N/A	论文说明使用 512 context、$\times 0.05$ LR multiplier、1,536-d shared space。
Selective decoding	N/A	N/A	论文说明使用带 temporal connectivity constraints 的 agglomerative clustering；无 released implementation。

4. Experimental Setup（实验设置）

训练数据与规模。 Pretraining 阶段使用 DataComp、YFCC-100M、Action100M。Action100M 提供 HowTo100M videos 上生成的 action description 与 video captions。第一段 image-only 训练使用 1 frame/input、batch size 24k、100k iterations，共 2B samples；之后 video pretraining 用 8 frames/input 训练 60k iterations，再用 32 frames/input 训练 10k iterations。SFT 阶段使用 PLM data mixture：25M VQA samples、2.8M captioning samples、1.8M classification samples，以及下采样 pretraining data；训练 83k steps，batch size 3,072。

模型与硬件。 默认视觉编码器是 frozen V-JEPA 2 ViT-L（304M，$256^2$ resolution）。Predictor 来自 Llama-3.2-1B 的最后 8 层 Transformer，约 490M trainable parameters；Y-Encoder 是 EmbeddingGemma-300M；整体模型报告为 1.6B parameters。Pretraining 使用 24 nodes，每个 node 8 张 NVIDIA H200，耗时 4 周，constant LR $5\times 10^{-5}$；SFT 用同样 24 nodes 约 2.5 天，并使用 cosine LR annealing。受限于 no released code，optimizer 类型、weight decay、InfoNCE temperature、exact augmentation 等细节论文未详细说明。

任务与数据集。 Classification/retrieval 主表覆盖 8 个 video classification datasets：SSv2、EK100、EgoExo4D、Kinetics-400、COIN (SR)、COIN (TR)、CrossTask (SR)、CrossTask (TR)，以及 8 个 text-to-video retrieval datasets：MSR-VTT、ActivityNet、DiDeMo、MSVD、YouCook2、PVD-Bench、Dream-1k、VDC-1k。VQA 使用 GQA（testdev-balanced）、TallyQA（simple/complex weighted average）、POPE（MS-COCO 上 random/popular/adversarial average）和 POPEv2。WorldPrediction-WM 要求模型根据 initial/final world states 从四个候选 video clips 中选出解释状态转移的 action。Action anticipation 使用 EPIC-KITCHENS-100 的 Recall@5，并在 $t=1s,2s,4s,10s$ 不同 anticipation time 上报告。Next step forecasting 使用 COIN。

Baselines 与指标。 Classification 用 top-1 accuracy，retrieval 用 Recall@1，VQA/WorldPrediction 用 accuracy，EPIC action anticipation 用 Recall@5，captioning 用 CIDEr。Baselines 包括 CLIP、SigLIP2、Perception Encoder（PE-Core），VQA 侧包括 BLIP-2、InstructBLIP、Qwen-VL、InternVL、LLaVA、SmolVLM、PaLI/PaliGemma、Video-LLaVA 等；WorldPrediction-WM 比较 InternVL2.5、Qwen2.5-VL、Socratic LLMs with Qwen2.5-VL-72B captions（Llama-3.1/4、Qwen2.5、GPT-4o、Claude-3.5、Gemini-2）和 VL-JEPA；action anticipation/next-step forecasting 比较 V-JEPA2、VideoLLM-online、VideoLLM-MoD、ProVideLLM 等。

Figure 3 解读：这张图是 paper 最关键的 controlled comparison。两条路线使用相同 frozen Perception Encoder（ViT-L-14，$336^2$ resolution，无 tiling，16 frames/video）、相同训练迭代数、effective batch size 128、相同 pretraining data mixture 与 LR scheduler；唯一差别是 VL-JEPA 预测 target embeddings（0.5B predictor），VLM baseline 用 1B LLM 做 next-token cross-entropy。结果显示，在 5M samples seen 时 VL-JEPA 已达 14.7 CIDEr 和 35.3% top-5 classification，而 VLM 增长更慢；15M samples seen 时 VL-JEPA 达 14.8 CIDEr / 41.0%，VLM 仅 7.1 CIDEr / 27.2%。

5. Experimental Results（实验结果）

5.1 Classification 与 retrieval 主结果

在 8 个 video classification 数据集上，VL-JEPA${}_{\text{BASE}}$ 的 zero-shot average top-1 accuracy 为 52.5，高于 SigLIP2 的 39.8 和 PE-Core 的 44.7；VL-JEPA${}_{\text{SFT}}$ 因见过 in-domain SFT 数据，average top-1 accuracy 达 75.4。VL-JEPA${}_{\text{BASE}}$ 的逐项结果为：SSv2 19.3、EK100 21.8、EgoExo4D 33.2、Kinetics-400 64.8、COIN (SR) 47.4、COIN (TR) 79.4、CrossTask (SR) 64.5、CrossTask (TR) 89.6。VL-JEPA${}_{\text{SFT}}$ 对应为：73.2、44.6、68.1、84.8、66.4、90.3、79.8、96.2。

在 8 个 text-to-video retrieval 数据集上，VL-JEPA${}_{\text{BASE}}$ 的 average Recall@1 为 63.7，同样高于 SigLIP2 的 47.5 与 PE-Core 的 58.1。VL-JEPA${}_{\text{BASE}}$ 逐项为：MSR-VTT 40.0、ActivityNet 64.9、DiDeMo 50.0、MSVD 49.0、YouCook2 40.4、PVD-Bench 83.1、Dream-1k 93.3、VDC-1k 88.8。VL-JEPA${}_{\text{SFT}}$ 的 average Recall@1 是 63.8，逐项为：46.2、62.4、52.3、52.3、37.8、82.6、89.3、87.7。这个结果说明，BASE 模型已经能在 embedding prediction objective 下形成强跨模态检索空间；SFT 明显提升 classification，但 retrieval 平均值只小幅变化，显示 SFT 的主要收益在 query-conditioned discriminative 能力。

5.2 VQA、WorldPrediction 与 action prediction

VQA 方面，VL-JEPA${}_{\text{SFT}}$ 在四个偏视觉感知的数据集上取得：GQA 61.5、TallyQA 69.9、POPE 85.7、POPEv2 86.3。这些数字没有全面超过所有大型 VLM，例如 Qwen2-VL-2B 在 POPEv2 上为 91.3，PaliGemma (3B) 在 TallyQA 上为 76.8；但 VL-JEPA 的意义在于同一 1.6B generalist 架构同时处理 VQA、classification 和 retrieval，而不是为 VQA 单独构建大型 token-generative stack。

WorldPrediction-WM 上，VL-JEPA${}_{\text{BASE}}$ 达 63.9，VL-JEPA${}_{\text{SFT}}$ 达 65.7，论文称 SFT 建立新的 SoTA。对照组中 InternVL2.5 从 2B 到 38B 分别为 20.0、29.8、30.2、50.3；Qwen2.5-VL 从 3B 到 72B 为 21.6、45.5、49.0、57.0；Socratic LLMs with Qwen2.5-VL-72B captions 中 GPT-4o/Claude-3.5/Gemini-2 分别为 52.0、53.3、55.6。VL-JEPA 的优势表明，把初始/最终世界状态映射到 embedding space 后与 candidate action embeddings 比较，确实适合“semantic uncertain prediction”类型任务。

Action anticipation 上，EPIC-KITCHENS-100 Recall@5 显示：同为 ViT-L-256px，V-JEPA2 在 $t=1s/2s/4s/10s$ 为 32.7/23.4/15.9/7.1，VL-JEPA 为 34.2/26.0/19.4/11.7。在更强 ViT-g-384px 的 V-JEPA2 baseline 上，$t=1s$ 和 $t=2s$ 是 39.7/28.6，仍高于 VL-JEPA ViT-L；但 VL-JEPA 在同 encoder scale 下稳定更好，且 $t=10s$ 的提升最明显，说明 language-conditioned target embedding 对长间隔未来 action 语义更有帮助。COIN next step forecasting 中，VideoLLM-online (8B) 为 49.1，VideoLLM-MoD (8B) 为 49.7，ProVideLLM-8B/11+ 为 53.6，VL-JEPA (1.6B) 达 56.2。

5.3 Embedding prediction vs token prediction

控制实验最直接地支持论文主张。500K samples seen 时，两者起点相近：video captioning CIDEr 分别为 1.23（VL-JEPA）和 1.35（VLM），classification top-5 accuracy 分别为 14.9% 和 14.0%。随着样本增多，VL-JEPA 增长更快：5M samples seen 时达到 14.7 CIDEr 和 35.3% top-5；15M samples seen 时达到 14.8 CIDEr / 41.0% top-5，而 VLM baseline 为 7.1 CIDEr / 27.2% top-5。由于该实验对 vision encoder、resolution、frames、training data、batch size、iterations 都做了对齐，差异主要归因于 embedding prediction vs token prediction，而不是 backbone 或数据规模差异。

Selective decoding 的结果支持推理效率主张。实验在 EgoExo4D long-form procedural videos 上从 2.0 Hz 到 0.01 Hz 扫描 decoding frequency。adaptive selection 在整段范围内 Pareto-dominates uniform sampling；最有代表性的点是 0.35 Hz selective decoding 近似匹配 1 Hz uniform decoding 的 CIDEr，因此把解码操作减少约 $2.85\times$。论文还观察到，对 segment embeddings 做 average pooling 对 uniform/adaptive 两类策略都有增益，因为它在解码前对 embedding 做了 denoising/stabilization。

5.4 Y-Encoder 与 ablation

Y-Encoder 的 text-only hard-negative 评估使用 SugarCrepe++ 与 VISLA triplet-based accuracy。CLIP ViT-L 的 SugarCrepe++ average 为 44.5，VISLA average 为 34.5；SigLIP2 ViT-g 为 56.5/40.4；PE-Core ViT-G 为 58.6/38.3。VL-JEPA${}_{\text{BASE}}$ 使用 300M text encoder，却达到 63.9 SugarCrepe++ average 和 42.9 VISLA average；SFT 后为 58.4/39.5。作者据此认为 BASE 的 Y-Encoder 对 text hard negatives 更鲁棒，而 SFT 会把模型推向任务混合中的 VQA/classification 需求，未必保留最强 text-only hard-negative 区分能力。

Ablation 中，pretraining stage 对 classification/retrieval 最关键：在 SFT-stage data 上 10K steps、batch 512、5M samples seen 的设置里，有 pretraining 时 classification/retrieval/VQA 为 49.0/47.5/46.1；去掉 pretraining 变为 27.3/30.2/42.5，即 classification 下降 21.7、retrieval 下降 17.3、VQA 下降 3.6。

Y-Encoder LR multiplier 的 sweet spot 在 0.05 到 0.10：0.05 默认为 27.3/30.2/42.5，0.10 为 26.9/30.2/42.9，1.00 下降到 23.7/28.8/40.7，0.00 下降到 20.0/25.9/41.4。Loss ablation 显示 InfoNCE 在 classification/retrieval 上强于 cosine/L1/L2：InfoNCE 为 23.3/30.3/44.3，cosine 为 16.5/20.2/46.6，L1 为 14.8/15.5/41.9，L2 为 13.5/11.7/43.7；

cosine 只在 VQA 上高于 InfoNCE，但缺少 anti-collapse regularization，不适合 unfrozen Y-Encoder 的主设置。

Predictor layer 初始化也重要。默认 Layer 8-16 为 27.3/30.2/42.5；Layer 0-2 降到 24.3/27.8/40.1，Layer 0-4 为 25.1/28.9/43.6，Layer 0-8 为 27.2/29.3/43.4，Layer 0-16 为 27.4/31.0/45.5。这个结果的读法是：浅层 Llama layers 不足以作为强 semantic predictor，更多层或较深层初始化更好；但不同任务偏好略不同，VQA 对更大 layer span 更敏感。

5.5 限制与结论

论文明确留给 future work 的部分包括：探索 VICReg、SIGReg 等 non-sample-contrastive regularization；验证 EMA Y-Encoder 或 frozen Y-Encoder 等 anti-collapse 替代策略；以及更系统地研究 selective decoding 在真实 streaming systems 中的 latency/quality trade-off。本文还存在一个工程复现限制：没有 released source code，因此无法确认训练脚本中的 optimizer、temperature、data mixture sampling weights、distributed batch construction、Y-Decoder architecture 与 decoding hyperparameters。Hugging Face 上有模型权重页面，但不是可审计训练实现；GitHub 上的 public repos 目前主要是 unofficial paper-derived/educational implementations。

总体结论是：VL-JEPA 把 vision-language 学习从 token generation 改写为 target embedding prediction，在严格控制实验中比 token-prediction VLM 更 sample-efficient，同时把 non-autoregressive embedding stream 变成 selective decoding 的天然接口。它在 classification/retrieval 上超过 CLIP/SigLIP2/PE-Core 的平均表现，在 VQA 上接近经典 VLM family，并在 WorldPrediction-WM、EPIC action anticipation、COIN next-step forecasting 上展示了对“世界状态/未来动作语义预测”的适用性。最值得带走的不是某个具体数值，而是这套接口：用 X-Encoder 表示世界，用 Y-Encoder 定义目标语义空间，用 Predictor 做条件语义预测，把生成语言降级为必要时才调用的 readout。