LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

Paper: arXiv:2511.08544 Code: galilai-group/lejepa Code reference: main @ c293d291 (2026-01-25)

1. Motivation (研究动机)

这篇论文要解决的是 JEPA（Joint-Embedding Predictive Architecture）在理论与工程上长期脱节的问题：JEPA 的愿景是学习“世界及其动态”的可操纵表示，但实际训练通常依赖一串启发式反坍缩机制，例如 whitening、negative samples、teacher-student、stop-gradient、asymmetric architecture、register tokens、复杂 schedule 和大量超参搜索。作者认为这些设计不是本质坏，而是缺少一个可以直接指导算法设计的理论目标：我们到底希望 encoder 的 embedding 分布长什么样，才能让后续未知任务的 probe 风险更小？如果这个问题没有答案，SSL pretraining 就只能靠经验调参和 downstream linear probe 反复筛选。

现有方法的第一个具体瓶颈是“防坍缩”条件不可靠。监督学习通过 labels 自然把相似样本拉近、不同类别推开；重建式学习通过恢复输入强迫 embedding 保留信息；但 JEPA 不重建像素，也不使用标签，因此必须额外防止所有样本被编码成同一个点，或只保留 trivial shortcut。论文把 whitening、VICReg 类 variance/covariance 约束、SimCLR 类 negative samples、BYOL/DINO/I-JEPA 类 stop-gradient 与 teacher-student 归为经验机制：它们往往能工作，但可能存在欠规定性（objective 低而 embedding 仍退化）、二次复杂度、对数据/架构/超参敏感，以及训练 loss 与真正表示质量不一致的问题。

第二个瓶颈是模型选择依赖有标签验证集。作者指出，许多 SSL/Jepa 训练曲线本身并不能告诉我们 representation 是否变好，甚至 loss 可能不单调下降；实践中只能周期性跑 linear probe 或 k-NN probe。对于小众领域（例如 Galaxy10 天文图像）或没有标注的新 domain，这会直接抵消 self-supervised learning 的价值。LeJEPA 的一个目标是让训练 loss 本身成为可用的无标签模型选择信号：loss 越低，下游 frozen-backbone linear accuracy 通常越高。

第三个瓶颈是扩展性。论文希望得到一个可以在 ResNet、ViT、ConvNeXt、ConvNet 等多种 backbone，以及 ImageNet、Imagenette、Galaxy10、CIFAR、Food101、Flowers102 等多种 domain 上稳定训练的 objective，并且核心实现足够简单、线性复杂度、distributed training friendly。LeJEPA 因此不是提出新的 backbone，而是提出一个“理论上知道应该匹配什么分布、工程上知道怎样稳定匹配”的 SSL objective：用 JEPA prediction loss 保留跨 view 可预测信息，用 SIGReg（Sketched Isotropic Gaussian Regularization）把 embedding 分布推向 isotropic Gaussian。

Figure 1 解读：这张 overview 把论文的四个主张放在一起。左上角显示 ImageNet-1K 上 ViT/base-8 的训练 loss 与 test accuracy 有 $94.52\%$ Spearman correlation，说明 LeJEPA loss 可以用于无标签模型选择；右上角显示 1.8B ViT-g/14 训练时 loss 平滑下降、accuracy 上升，强调无需 stop-gradient/teacher-student 也可稳定扩展；左下角 PCA 可视化显示 ViT-Large 表征中前景狗与背景被自然分离；右下角 Galaxy10 表格展示 in-domain SSL 在 1-shot 与 full-supervision 场景下胜过 DINOv2/DINOv3 transfer。

这项工作值得研究的原因在于：如果 isotropic Gaussian embedding 真的是下游未知任务的最优无偏先验，而 SIGReg 又能低成本地把 JEPA 表征推向该分布，那么 JEPA 可以从“很有前途但靠 heuristic”的路线，变成一个有可解释训练目标、有可审计 loss、有可扩展实现的 foundation-model pretraining primitive。对于没有大规模标签或没有自然图像分布的新领域，这尤其重要，因为用户可以直接在目标 domain 上做 SSL pretraining，而不是盲目迁移自然图像 foundation model。

2. Idea (核心思想)

核心洞见是：在不知道未来 downstream task 的情况下，embedding 的“几何形状”本身会决定 probe 的最坏情形风险；各向异性 embedding 即便含有同样的信息和总能量，也会放大 linear probe 的 bias/variance，并在 k-NN/kernel probe 中提高由 score-gradient 项控制的 bias。因此作者把 JEPA 的反坍缩问题转化为一个分布匹配问题：让 encoder 输出服从 isotropic Gaussian，而不是只约束 mean/variance/covariance 的有限矩。

LeJEPA 的关键创新可以压缩成三句话。第一，论文证明 isotropic Gaussian 是 linear probing、k-NN probing、kernel probing 下的唯一最优 embedding distribution（在固定总方差等标量约束下），这给“embedding 应该长什么样”提供了理论答案。第二，论文提出 SIGReg：随机采样一批 1D projection direction，在每个方向上用 Epps-Pulley characteristic-function test 检查投影后的 empirical distribution 是否像标准高斯，再把这些统计量平均。第三，把 SIGReg 与普通 JEPA prediction/invariance loss 线性混合，得到只有一个 trade-off 超参 $\lambda$ 的 LeJEPA objective。

与 I-JEPA、DINO/BYOL、VICReg 的根本差异是：LeJEPA 不把 stop-gradient、teacher-student momentum、register token、variance/covariance penalty 当作必要稳定器。VICReg 只匹配有限阶矩，论文的 Insufficiency of K Moments theorem 指出有限 $K$ 个 moments 不能保证分布相等；I-JEPA 的 teacher-student/predictor/masking recipe 仍需要复杂工程选择；LeJEPA 则直接匹配完整分布的 characteristic function，并用 Cramér-Wold 类结果把高维分布匹配降到多条 1D slice 上。

Figure 2 解读：这组图对应论文中 JEPA 的抽象定义：同一个世界状态或同一序列的不同 view 应该在 embedding 空间中互相可预测，同时 embedding 不能退化。LeJEPA 保留“不同增强 view 之间保持一致”的预测项，但把“如何不坍缩”从 heuristic 替换为 SIGReg。换句话说，它不是靠 teacher 网络阻止 collapse，而是要求所有 batch/view 的 projected embeddings 在许多方向上都像标准高斯。

3. Method (方法)

3.1 Overall framework：JEPA prediction + SIGReg

给定一个 batch 的 $B$ 个样本，每个样本产生 $V$ 个 augmented views。encoder/projector 输出 \boldsymbol{z}_{n,v}=f_{\boldsymbol{\theta}(\boldsymbol{x}_{n,v})。LeJEPA 总 loss 是 SIGReg 与 prediction loss 的加权和： ${\mathcal{L}}_{\mathrm{LeJEPA}}(\{{\mathbf{x}}_{n,v}{\}}_{n,v=1}^{B,V})=\frac{\lambda }{V}{\sum }_{v=1}^V\mathrm{SIGReg}(\{{\mathbf{z}}_{n,v}{\}}_{n=1}^B)+\frac{1-\lambda }{B}{\sum }_{n=1}^B{\mathcal{L}}_{\mathrm{pred}}^{(V_{\mathrm{g}})}(\{{\mathbf{z}}_{n,v}{\}}_{v=1}^V).$ 其中 $\lambda$ 是论文强调的 single trade-off hyperparameter；第一项让每个 view 的 batch embedding 分布接近 isotropic Gaussian，第二项让同一图像的多个 views 在表示空间中保持一致。prediction loss 写成： \mathcal{L}_{\rm pred}(\{\boldsymbol{z}_{n,v}\}_{v=1}^{V}) =\frac{1}{V}\sum_{v'=1}^{V}\left\|\boldsymbol{\mu}_{n}-\boldsymbol{z}_{n,v'}\right\|_2^2, \quad \boldsymbol{\mu}_{n}=\frac{1}{V_{\rm g}\sum_{v=1}^{V_{\rm g}\boldsymbol{z}_{n,v}. 直觉上，prediction loss 负责“同一 instance 的不同 view 不要散开”，SIGReg 负责“不同 instance 的整体分布不要塌缩、不要偏到少数方向”。如果只有 prediction loss，所有 view 和所有样本都变成常数向量也能很低；如果只有 SIGReg，则 embedding 可以像高斯但不一定保留同一 instance 的不变语义。二者合在一起，才同时满足 JEPA 的 predictable 与 non-degenerate 两个条件。

Figure 3 解读：SIGReg 从任意输入分布 $p_x$ 出发，经 deep network encoder 得到 embedding distribution $p_z$。它不直接估计高维密度，而是在许多单位方向 $\mathbf{a}\in {\mathbb{S}}^{d-1}$ 上投影，比较 ${\mathbf{a}}^{\top }\mathbf{z}$ 的一维分布与目标标准高斯在同方向上的投影分布。右侧彩色曲线若都贴近黑色高斯曲线，则按 Hyperspherical Cramér-Wold 直觉，高维分布也被约束到目标分布附近。

3.2 为什么目标分布是 isotropic Gaussian

论文首先从 downstream probing 风险反推 embedding distribution。对于 linear probe，给 $N$ 个 $K$ 维 embedding 组成矩阵 $\mathbf{Z}\in {\mathbb{R}}^{N\times K}$，一维 target $\mathbf{y}\in {\mathbb{R}}^N$，probe 求解 Tikhonov-regularized least square： \widehat{\boldsymbol{\beta} =\arg\min_{\boldsymbol{\beta}\in\mathbb{R}^{K} \|\boldsymbol{y}-\boldsymbol{Z}\boldsymbol{\beta}\|_2^2+\lambda\|\boldsymbol{\beta}\|_2^2. 作者比较两个有相同 column span 与相同总方差的 embedding：${\mathbf{Z}}_{\mathrm{aniso}}$ 的 covariance eigenvalues 不相等，${\mathbf{Z}}_{\mathrm{iso}}$ 的 eigenvalues 全相等。结论是：当最大/最小 eigenvalue 不同且 $\lambda >0$ 时，总存在某个 downstream target 使 anisotropic embedding 的估计 bias 更高；当 $\lambda =0$ 时，OLS estimator 的 total variance 在 isotropic 情况下最小。这个结果说明“有信息”不够，信息在 latent dimension 中的分布是否均匀也重要。各向异性表示会让 probe 在高方差方向过度敏感，在低方差方向估计不稳。

Figure 4 解读：左侧 isotropic embedding 的 logistic-regression decision boundary 在重复抽样时更稳定；右侧 anisotropic embedding 让同样数量的训练点产生更分散的紫色边界。图中展示的不是 feature 是否线性可分，而是相同任务在不同 geometry 下估计方差不同；这正是论文把“分布形状”作为 SSL objective 的原因。

对于 nonlinear probing，论文分析 radius-based k-NN 与 kernel/Nadaraya-Watson estimator。k-NN bias 近似包含 $\nabla \eta (\mathbf{q}{)}^{\top }\nabla \log p_z(\mathbf{q})$ 与 $\Delta \eta (\mathbf{q})$ 项；kernel bias 也含有 $\nabla \mathbf{y}(\mathbf{q}{)}^{\top }\nabla \log p(\mathbf{q})$。在固定 trace/determinant/Frobenius norm/spectral radius 等标量 covariance 约束下，Fisher-information functional $J(p)$ 被 isotropic Gaussian 唯一最小化。因此，线性 probe 与非线性 probe 都指向同一设计原则：当 downstream task 未知时，最稳妥的 embedding prior 是均值为 0、各方向方差相同的 Gaussian。

3.3 SIGReg：用 sliced 1D statistical tests 做高维分布匹配

SIGReg 的定义是：给定 projection direction 集合 $\mathcal{A}$ 与一维 statistical test $T$，对 encoder output 在每个方向上投影并平均 test statistic： {\rm SIGReg}_{T}(\mathcal{A},\{f_{\boldsymbol{\theta}(\boldsymbol{x}_n)\}_{n=1}^{N}) =\frac{1}{|\mathcal{A}|}\sum_{\boldsymbol{a}\in\mathcal{A} T(\{\boldsymbol{a}^{\top}f_{\boldsymbol{\theta}(\boldsymbol{x}_n)\}_{n=1}^{N}). 理论上，Cramér-Wold theorem 表示如果所有方向上的 1D projection distribution 都相同，则高维分布相同。论文使用 hyperspherical 版本： $⟨\mathbf{u},X⟩\stackrel{d}{=}⟨\mathbf{u},Y⟩,\forall \mathbf{u}\in {\mathbb{S}}^{d-1}⟺X\stackrel{d}{=}Y.$ 为了让这个测试适合 gradient-based SSL，作者比较了三类候选：moments、CDF tests、characteristic-function tests。有限 moments 的问题是存在 shortcut：匹配 $K$ 个 moments 不推出分布相等，且高阶矩数值不稳定。CDF tests（Cramér-von Mises、Anderson-Darling、Watson）理论上可用，但排序/经验 CDF 在 GPU 和 distributed setting 下不够方便。Characteristic functions 的优势是 empirical characteristic function 只是 ${\hat{\varphi }}_X(t)=\frac{1}{N}{\sum }_{j=1}^N{e}^{it{X}_j}$ 的均值，天然可微、可 all-reduce、复杂度线性。

LeJEPA 默认选择 Epps-Pulley test： $EP=N{\int }_{-\infty }^{\infty }{\left|{\hat{\varphi }}_X(t)-\varphi (t)\right|}^{2}w(t)dt.$ 其中 $\varphi (t)$ 是目标标准高斯的 characteristic function，$w(t)$ 通常取 Gaussian window。论文证明 Epps-Pulley 的 loss、gradient、curvature 有界；对样本 $z_i$，有界形式为： $\left|\frac{\partial EP(\mathbf{a})}{\partial z_i}\right|\le \frac{4{\sigma }^2}{N},\left|\frac{{\partial }^{2}EP(\mathbf{a})}{\partial z_i^2}\right|\le \frac{C\sqrt{\pi }{\sigma }^3}{2N}.$ 这解释了为什么 SIGReg 在训练中比 moment penalties 稳定。mini-batch 会带来 $O(1/N)$ 的 bias： \mathbb{E}[\widehat{L}_n(\theta)] =L(\theta)+\frac{1}{N}\int_{\mathbb{R}w_s(t)(1-|\varphi_P(t)|^2)dt, 但作者实证认为即使 batch size 小到 16，该 bias 也不是主要问题。

Figure 5 解读：这组球面分布图说明“少量随机方向为什么能约束高维分布”。如果 embedding distribution 在球面方向上的变化足够 smooth，有限个 projection direction 会对相邻方向产生全局影响；目标 isotropic Gaussian 本身很平滑，因此高维匹配不需要穷举所有方向。论文用 Sobolev smoothness coefficient $\alpha$ 描述这个性质，并给出误差随 $|\mathcal{A}{|}^{-2\alpha /(K-1)}$ 下降的 bound。

Figure 6 解读：固定一组 projection directions 时，增大 $M=|\mathcal{A}|$ 才能覆盖更多方向；但训练中每个 minibatch 重新采样方向，累计覆盖会随 step 数线性增长。因此 LeJEPA 可以用几百或几千个 slices，而不需要一次性做高维全量分布检验。

3.4 Released code 对论文公式的实现方式

公开代码搜索结果：论文 arXiv 页面链接指向 rbalestr-lab/lejepa，GitHub 当前解析为 galilai-group/lejepa，本笔记锚定 main@c293d291。代码包含 pip package lejepa、univariate tests、multivariate slicing wrapper、minimal training example、Imagenette launch script 与 tests。

论文公式与 released code 实现差异：论文的 Epps-Pulley 公式写作在 $(-\infty ,\infty )$ 上积分；MINIMAL.md 和 lejepa/univariate/epps_pulley.py 使用 symmetry，只在 $[0,t_{\max }]$ 上取 grid，并通过权重加倍实现等价的 trapezoidal approximation。论文推荐 few knots（例如 17）足够；代码中 EppsPulley(t_max=3, n_points=17) 默认正是 17 个点。另一个差异是 minimal demo 的 SIGReg 固定采样 256 个 projection directions，而 scripts/launch_inet10.py 的实验 launcher 使用 ++bstat_num_slices=1000；因此笔记中的训练配置区分“minimal example”和“paper experiment launch script”，不把 base default 当作论文实验值。

Code reference: main @ c293d291 (2026-01-25) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
Epps-Pulley characteristic-function statistic	lejepa/univariate/epps_pulley.py	EppsPulley.__init__, EppsPulley.forward
Sliced multivariate test / SIGReg wrapper	lejepa/multivariate/slicing.py	SlicingUnivariateTest.forward
Minimal SIGReg + prediction training loop	MINIMAL.md	SIGReg, ViTEncoder, main training loop
Imagenette/ImageNet-10 architecture sweep launch config	scripts/launch_inet10.py	TEMPLATE, TIMM_PARAMETERS loop
Unit-level validation of statistics	tests/test_epps_pulley.py, tests/standalone.py	Epps-Pulley behavior tests and standalone examples

import torch
import torch.nn as nn
 
class EppsPulley1D(nn.Module):
    def __init__(self, t_max: float = 3.0, n_points: int = 17):
        super().__init__()
        t = torch.linspace(0, t_max, n_points, dtype=torch.float32)
        dt = t_max / (n_points - 1)
        weights = torch.full((n_points,), 2 * dt, dtype=torch.float32)
        weights[[0, -1]] = dt
        self.register_buffer("t", t)
        self.register_buffer("phi", torch.exp(-0.5 * t.square()))
        self.register_buffer("weights", weights * self.phi)
 
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x shape: (*, N, K) after slicing; N is batch dimension.
        n = x.size(-2)
        x_t = x.unsqueeze(-1) * self.t
        cos_mean = torch.cos(x_t).mean(dim=-3)
        sin_mean = torch.sin(x_t).mean(dim=-3)
        err = (cos_mean - self.phi).square() + sin_mean.square()
        return (err @ self.weights) * n

class SlicedSIGReg(nn.Module):
    def __init__(self, univariate_test: nn.Module, num_slices: int, reduction: str = "mean"):
        super().__init__()
        self.univariate_test = univariate_test
        self.num_slices = num_slices
        self.reduction = reduction
        self.register_buffer("global_step", torch.zeros((), dtype=torch.long))
 
    def forward(self, z: torch.Tensor) -> torch.Tensor:
        # z shape: (*, N, D). Code samples fresh normalized Gaussian directions.
        with torch.no_grad():
            generator = torch.Generator(device=z.device)
            generator.manual_seed(int(self.global_step.item()))
            directions = torch.randn(z.size(-1), self.num_slices, device=z.device, generator=generator)
            directions = directions / directions.norm(p=2, dim=0, keepdim=True)
            self.global_step.add_(1)
        projected = z @ directions
        stats = self.univariate_test(projected)
        if self.reduction == "mean":
            return stats.mean()
        if self.reduction == "sum":
            return stats.sum()
        return stats

def lejepa_train_step(encoder, projector, probe, sigreg, views, labels, lambda_sigreg: float):
    # views: [batch, num_views, channels, height, width]
    batch, num_views = views.shape[:2]
    flat_views = views.flatten(0, 1)
    embeddings = encoder(flat_views)
    projected = projector(embeddings).reshape(batch, num_views, -1).transpose(0, 1)
 
    # MINIMAL.md implementation: view invariance around per-sample mean.
    pred_loss = (projected.mean(dim=0, keepdim=True) - projected).square().mean()
    sigreg_loss = sigreg(projected)
    lejepa_loss = lambda_sigreg * sigreg_loss + (1.0 - lambda_sigreg) * pred_loss
 
    # Online linear probe is logged/trained but detached from SSL representation update.
    probe_logits = probe(embeddings.detach())
    repeated_labels = labels.repeat_interleave(num_views)
    probe_loss = torch.nn.functional.cross_entropy(probe_logits, repeated_labels)
    return lejepa_loss + probe_loss, {
        "lejepa": lejepa_loss,
        "sigreg": sigreg_loss,
        "pred": pred_loss,
        "probe": probe_loss,
    }

3.5 复杂度与“无 heuristic”的意义

SIGReg 的核心计算是 batch embeddings 乘以 $D\times M$ 的 direction matrix，再在 $N\times M$ 投影值上计算 cos/sin 均值和 quadrature。相对 pairwise contrastive loss 或 covariance whitening，它不需要 $N^2$ pair matrix，也不需要 $D^2$ covariance matrix；论文表 2 在 Tesla V100-SXM2-16GB 上测得，例如 $N=512,M=512,16$ integration points 时 mean time 为 $0.465236$ ms，$N=8192,M=8192,16$ points 时为 $8.685009$ ms，$N=32768,M=512,16$ points 时为 $26.373118$ ms。

“无 heuristic”不是指没有任何超参，而是 objective 本身不需要 stop-gradient、teacher-student、predictor、register tokens 才能避免坍缩。ImageNet-10 launcher 明确设置 ++teacher_student=false ++predictor=false ++random_erasing_p=0 ++drop_path_rate=0 ++multi_crop=false，而 minimal example 使用普通 ViT、小 MLP projector、AdamW、bf16 autocast、online linear probe。实验中仍需常规训练配置（epochs、batch、LR、weight decay、view 数），但 collapse avoidance 的主要机制来自 SIGReg，而不是额外训练 trick。

4. Experimental Setup (实验设置)

论文的实验覆盖 10+ datasets、60+ architectures，并强调同一 objective 可跨 domain、scale 和 backbone 使用。按论文与代码中明确给出的信息，可整理如下。

Datasets and scale：ImageNet-1K 用于大规模 pretraining/linear evaluation，论文报告 ViT-L、ConvNeXtV2-Huge、ViT-H/14、ViT-g/14 等；ImageNet-100 用于 400 epoch ResNet-50/ViT-small/ViT-tiny ablation；INet10/Imagenette 在 scripts/launch_inet10.py 与 architecture sweep 中使用，launch script 写 ++dataset_name="inet10"；Galaxy10 含约 11,000 / 表中 11,008 training samples、10 galaxy classes；表 5 的 in-domain datasets 还包括 Flowers102（1020 train samples）、CIFAR100（50,000）、Food101（75,750）、INet10（13,000）、CIFAR10（50,000）。Few-shot transfer 表覆盖 DTD、Aircraft、Cars、CIFAR10、CIFAR100、Flowers102、Food101、Pets；这些 transfer dataset 的 sample counts 未在论文表中逐一列出。

Baselines：主要视觉 representation baselines 包括 I-JEPA ViT-H（IN-1K, 300 epochs）、I-JEPA ViT-H + STOP（IN-1K, 300 epochs）、I-JEPA ViT-H (22K)（IN-22K, 900 epochs）、DINOv2 Small、DINOv3 ViT-S/16。Galaxy10 中还比较 DINOv2/DINOv3 natural-image transfer 与 LeJEPA in-domain pretraining。论文强调 LeJEPA 在某些 transfer 设置用更少 epochs（100 vs I-JEPA 300）和更小模型（ViT-L 304M vs ViT-H 632M）达到可比或更优结果。

Evaluation metrics：主指标是 frozen-backbone linear probe top-1 accuracy；Galaxy10 同时报 full finetuning 与 frozen backbone 在 All/1/2/5/10/100/1000 samples per class 下的 top-1；training-loss quality 使用 Spearman correlation ${\rho }_s$，并考察 C^{(\alpha)}=\rho_s(\text{train_loss}/\lambda^{\alpha},\text{test_accuracy})；可视化包括 PCA feature maps、CLS attention thresholding 的 unsupervised video segmentation；效率指标是 SIGReg loss compute time（ms）。

Training config from actual code / launch scripts：scripts/launch_inet10.py 对 INet10 architecture sweep 使用 bstat_name="epps_pulley"、bstat_num_slices=1000、max_epochs=400、batch_size=512、bstat_lambda=0.01,0.02,0.05,0.1、embedding_dim=512、projector_dim=512、projector_arch="MLP"、lr=3e-3,1e-4、weight_decay=3e-2,1e-5、gpus_per_node=2、resolution=224、n_views=8、teacher_student=false、predictor=false。

MINIMAL.md 的 runnable demo 使用 vit_small_patch8_224、input size 128、projector MLP(512,[2048,2048,proj_dim])、SIGReg(knots=17)、256 random slices、AdamW、warmup one epoch + cosine scheduler；推荐 Imagenette command 是 +lamb=0.02 +V=4 +proj_dim=16 +lr=2e-3 +bs=256 +epochs=800。论文主文推荐默认起点为 $\lambda =0.05$、$V_g=2$、$V_l=8$、batch size $\ge 128$。

Figure 7 解读：Epps-Pulley 需要对 frequency $t$ 做积分。图中展示 trapezoidal quadrature 在多种分布下收敛很快，支持论文/代码中使用少量 knots（例如 17）近似积分，而不必把 characteristic-function test 变成昂贵的高精度数值积分。

5. Experimental Results (实验结果)

5.1 稳定性：$\lambda$、views、batch、SIGReg 超参都不易导致 collapse

ImageNet-100 上 ResNet-50 训练 400 epochs 的 $\lambda$ / views ablation 显示性能在较宽区域内稳定。表 3 中，当 views=4 时，$\lambda =0.005,0.010,0.020,0.025$ 分别为 $83.04,84.36,84.68,84.33$；views=8 时，$\lambda =0.050$ 达 $84.32$，$\lambda =0.100$ 为 $83.66$，$\lambda =0.500$ 仍有 $77.72$。这说明 loss trade-off 有推荐区间但不是脆弱点。

Figure 8 解读：图中 x-axis 是 $\lambda$，不同曲线对应 view 数。过小 $\lambda$ 使反坍缩约束不足，过大 $\lambda$ 会削弱 prediction/invariance，但中间区域比较宽。作者据此推荐 $\lambda =0.05$ 作为稳健默认值，并指出 view 数增加时最优 $\lambda$ 可轻微调整。

ImageNet-1K 上 ViT-Large/14 100 epoch frozen linear probe 的表 4 显示：Epps-Pulley integration domain $[-3,3]$、num_slices=2048、n_points=5/17/41 分别为 $75.02,74.68,74.77$；batch size 128/256/512/1024 分别为 $72.20,74.15,74.72,74.07$；global views/local views 组合中 $V=10,V_g=2$ 达 $74.06$，$V=10,V_g=4$ 达 $75.08$；register tokens 0/1/2/4/8 在 num_slices=4096 时分别为 $75.61,75.58,75.67,75.63,75.84$。关键结论不是某个值最优，而是没有出现 catastrophic collapse。

5.2 LeJEPA training loss 可以预测 downstream performance

Figure 9 解读：三列分别展示不同 dataset/model 上 SIGReg loss 与 prediction loss 构成的二维平面，颜色是 downstream accuracy。低 loss 区域与高 accuracy 区域大体对齐，说明 LeJEPA 的两个 loss 项不是单纯的优化 surrogate，而和最终 representation quality 有可观相关性。论文进一步报告 combined training loss 与 frozen linear accuracy 的 Spearman correlation 约 $85\%$，经 ${\lambda }^{\alpha }$ scaling 后可提升到接近 $99\%$。

Figure 10 解读：这里横轴是 scaling law 中的 $\alpha$，纵轴是 LeJEPA training loss 与 downstream accuracy 的 Spearman correlation。$\alpha =0$ 相当于直接使用 raw training loss，已经给出高相关；调到约 $0.4$ 后相关性进一步上升。这一点对实践很重要：模型选择可以少依赖有标签 probe，尤其适合新 domain 的 SSL。

5.3 In-domain pretraining 胜过 frontier transfer，尤其在 Galaxy10 等非自然图像 domain

Figure 11 解读：Galaxy10 是与自然图像分布差异明显的天文形态分类。LeJEPA 直接在 Galaxy10 上从随机初始化进行 in-domain self-supervised pretraining，并与 DINOv2/DINOv3/I-JEPA transfer 比较。图和表 1 显示，在 full finetuning（Freeze Backbone = No）下 ResNet-34 全量样本达到 $83.28$，ConvNeXt-V2 Nano 1-shot 达 $29.42$、100 samples/class 达 $75.34$；frozen backbone 下 ResNet-34 在 1-shot、2-shot、5-shot、10-shot、100-shot、1000-shot、All 分别为 $31.08,38.33,52.26,60.63,74.77,78.62,78.17$，均强于 DINOv2 Small 的 $27.68,32.22,40.72,47.72,62.49,67.89,67.62$，也强于 DINOv3 ViT-S/16 的 $30.17,36.65,45.74,51.51,65.90,71.35,71.38$。

表 5 的 in-domain frozen linear results 进一步说明 small architectures 不只是 Galaxy10 上有效：Flowers102 上 LeJEPA resnext26ts 8M 达 $82.19$，IJEPA-inet22k ViT-H/14 630M 为 $85.76$；CIFAR100 上 LeJEPA ResNet-34 达 $70.44$；Food101 上 LeJEPA Swin-Tiny 27M 达 $78.40$；INet10 上多种 LeJEPA 小模型达到 $90.81$ 到 $92.87$；CIFAR10 上 ResNet-34 达 $93.16$；Galaxy10 上 ResNet-34 达 $77.29$，明显高于 IJEPA-inet22k 的 $62.93$。这支持作者“domain-specific SSL beats generic transfer learning”的主张，但注意该结论主要针对目标 domain 有足够无标签数据可预训练的场景。

5.4 架构与尺度：从小模型到 1.8B ViT-g

Figure 12 解读：INet10 上作者用 50 个 timm models、8 个 model families 做 frozen linear evaluation。曲线/点云显示不同架构之间有差异，但 LeJEPA out-of-the-box 在大多数架构上都能学习非平凡表示，没有出现需要为每个 backbone 重写 objective 的现象。这是论文“scalable without heuristics”的主要实证支撑之一。

在更大规模上，论文报告 ImageNet-1K pretraining：ViT-Large（0.3B）在线 linear probe accuracy $77.1\%$，ConvNeXtV2-Huge（0.6B）为 $78.5\%$；abstract 还报告 LeJEPA ViT-H/14 在 ImageNet-1K pretraining + frozen linear evaluation 达 $79\%$。transfer table 中，LeJEPA ViT-L（304M, IN-1K, 100 epochs）在 10-shot DTD/Flowers102/Food101 分别为 $64.72/92.53/50.90$，优于 I-JEPA ViT-H（632M, IN-1K, 300 epochs）的 $57.68/88.24/43.97$；all-shot 平均 LeJEPA ViT-L 为 $79.48$，I-JEPA ViT-H 为 $78.50$，I-JEPA + STOP 为 $80.70$。因此 LeJEPA 不总是在所有列上最高，但在更少 epochs、更小模型的前提下，在 fine-grained tasks 上有明显优势。

Figure 13 解读：该训练曲线展示 1.8B ViT-g/14 的 loss/accuracy 随 epoch 稳定变化。它的作用不是给出最终 SOTA leaderboard，而是证明 LeJEPA 的 Epps-Pulley/SIGReg 目标在大模型上仍可优化，没有因为去掉 teacher-student 或 stop-gradient 而失控。

5.5 表征语义：PCA 与无监督视频分割

Figure 14 解读：论文把最后一层 attention/feature map threshold 成 mask，得到没有 segmentation label 的 foreground tracking。这里的 dog video 示例显示 LeJEPA 表征不仅满足分布约束，还保留可解释的对象级结构。它缓解一个潜在担忧：把 embedding 推向高斯会不会牺牲语义？作者的 PCA 和视频结果表明，至少在视觉任务上，SIGReg 与 prediction loss 的组合仍能产生 object-background separation 和 temporal coherence。

5.6 局限与阅读 caveats

作者没有单列 limitations section，但从论文和 released code 可以读出几个 caveats。第一，isotropic Gaussian optimality 是在 probe 风险、固定 covariance 标量约束、smoothness/regularity 等理论假设下成立；它是对未知 downstream task 的稳健先验，不等价于每个具体任务都需要完全高斯 embedding。第二，SIGReg 通过随机 slices 近似全方向检验，理论上依赖 embedding distribution 的 smoothness 与训练中不断 resampling directions；如果 embedding 分布极不光滑或 batch 极小，有限 slice 的覆盖仍可能不足。第三，公开代码当前更像 research package + minimal example + launcher，而不是完整复现实验仓库；例如主文的大规模 ImageNet-1K/ViT-g 训练脚本和所有配置细节没有以一键复现形式完整展开。第四，Galaxy10/in-domain 结论很有价值，但它假设目标 domain 有可用无标签数据做 SSL；如果只有极少样本，frontier transfer 仍可能更现实。

总体来看，结果证明了三件事：LeJEPA 的 loss 能稳定优化且与 downstream performance 强相关；SIGReg 让 JEPA 不依赖 stop-gradient/teacher-student 等 heuristic 也能避免 collapse；in-domain SSL 在非自然图像 domain 上可以胜过大规模自然图像 foundation model transfer。论文最重要的贡献不是某个单点 accuracy，而是把 JEPA 的反坍缩目标从经验工程改写成“匹配 isotropic Gaussian 的可微统计检验”。