Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations

Paper: arXiv:2602.01456 Code: YilunKuang/rectified-lp-jepa Code reference: main @ 5ae61ab4 (2026-02-15)

1. Motivation (研究动机)

这篇论文要解决的是 JEPA / non-contrastive SSL 中一个比较具体的问题：现有的分布匹配式防坍塌正则化通常把表示推向 isotropic Gaussian，因此能防止 collapse、鼓励高熵和多样性，却天然偏向 dense representation；而稀疏、非负、可控激活恰恰是生物视觉、signal processing、sparse coding、ReLU 网络里反复出现的高效表示结构。作者认为，如果 JEPA 只能学到“像 Gaussian 一样到处都有小激活”的表示，它就缺少一种重要 inductive bias：让少数维度承担语义、其余维度精确为零，同时仍然保持足够的信息量和下游可用性。

背景是 Joint-Embedding Predictive Architectures 通过让同一输入的两个 stochastic views 在 latent space 里一致来学习表示。写成最简单形式，就是给定两种增强视图 $x,x^{\prime }$，用 encoder/projector 得到 $z=f_{\theta }(x)$、$z^{\prime }=f_{\theta }(x^{\prime })$，最小化 $\Vert z-z^{\prime }{\Vert }_2$ 或其平方。但只做 invariance 会有平凡解：所有样本都映射到同一个向量，或者只占用低维子空间，得到 complete collapse / dimensional collapse。因此 LeJEPA 等工作引入 projection-based distribution matching，例如 SIGReg：沿很多随机方向 $c$ 匹配 projected feature marginals，让整体表示接近 isotropic Gaussian。这个选择有很强的理论优点：Gaussian 在固定 ${\ell }_2$ energy 约束下最大熵，方向近似均匀，且 Cramér–Wold theorem 允许用一维投影逼近高维分布匹配。

问题在于 Gaussian target 的优点和缺点来自同一个假设：如果只约束 expected ${\ell }_2$ norm，maximum-entropy 解就是 dense Gaussian。它会把能量铺在很多坐标上，而不是显式鼓励 ${\ell }_0$ sparsity。稀疏性不是一个审美性质，而是会影响几个实际能力：一是计算与存储上更高效，很多维度为零可以降低后续模块负担；二是可解释性更强，少量 active coordinates 更像 parts-based / factorized code；三是 OOD 或 transfer 时，激活稀疏度本身可能成为 domain shift 的信号；四是在 world-model / JEPA 语境中，稀疏 latent 可能更利于把长期预测与规划建立在少数 task-relevant factors 上。

本文的目标不是简单给 JEPA 加一个 ${\ell }_1$ penalty。直接惩罚 ${\ell }_1$ 或 ${\ell }_0$ 容易和防坍塌目标冲突：惩罚过强会把所有特征推向零，惩罚过弱又只得到 dense code 的轻微收缩。作者希望找到一个 target distribution，它本身同时编码两件事：第一，像 Gaussian / Generalized Gaussian 一样有 maximum-entropy 解释，能防坍塌；第二，通过 rectification 产生一个在零点有 Dirac mass 的混合分布，使 expected ${\ell }_0$ norm 可由参数 $\mu ,\sigma ,p$ 显式控制。这样，稀疏性不再是事后加在表示上的惩罚项，而是分布匹配目标的一部分。

Figure 1 解读：左图给出 Rectified LpJEPA 的整体动机：两个 view 经过同一个 encoder/projector 后，再用 final ReLU 得到非负表示，invariance term 让两者接近，RDMReg 则把每个 batch 的 rectified feature distribution 对齐到 Rectified Generalized Gaussian。右图说明为什么不能沿用 LeJEPA 的 closed-form Gaussian projected marginal：Gaussian 对线性组合封闭，但 ReLU 后的 Rectified Gaussian 沿不同投影方向会得到形状完全不同的一维边缘分布，因此必须用 sample-based two-sample matching。

2. Idea (核心思想)

核心 insight 是：稀疏 JEPA 不必靠外加 ${\ell }_1$ penalty 才能得到，完全可以通过选择一个“最大熵但带零点质量”的 target distribution 来实现。Rectified Generalized Gaussian (RGG) 等价于先从 ${\mathcal{G}\mathcal{N}}_p(\mu ,\sigma )$ 采样再 ReLU，它既继承 expected ${\ell }_p$ constraint 下的 maximum-entropy 结构，又因为负半轴被折到 0 而产生可控的 ${\ell }_0$ sparsity。

关键创新有两层。第一层是分布族：作者从 Generalized Gaussian、Truncated Generalized Gaussian 推到 Rectified Generalized Gaussian，并证明 expected ${\ell }_0$ norm 由 $d\cdot {\Phi }_{{\mathcal{G}\mathcal{N}}_p(0,1)}(\mu /\sigma )$ 控制，同时用 Rényi information dimension / $d(\xi )$-dimensional entropy 处理 Dirac + Lebesgue mixed measure 下的熵。第二层是训练目标：由于 RGG 不对线性投影封闭，RDMReg 用 sliced 2-Wasserstein two-sample test 直接匹配 feature projections 与 RGG target samples，而不是像 SIGReg 那样用 target characteristic function 的 closed form。

和 LeJEPA 的根本区别在于 target geometry。LeJEPA/SIGReg 匹配 isotropic Gaussian，特征被推向 dense、符号对称、高维球壳上的最大熵分布；Rectified LpJEPA 匹配 ReLU 后的 Generalized Gaussian product distribution，特征被限制到 positive orthant，并且零坐标比例可由 $\mu$、$p$、$\sigma$ 调节。和 VICReg / NVICReg 的区别也很明确：VICReg 类方法主要通过 variance/covariance 二阶统计避免 collapse，而 RDMReg 通过一维投影的两样本 Wasserstein matching 约束更完整的 feature distribution。

3. Method (方法)

3.1 总体框架：invariance + rectified projector + RDMReg

Rectified LpJEPA 保留 JEPA 的基本结构：对同一图像生成两个 stochastic views $x,x^{\prime }$，用同一个 encoder $g_{{\theta }_1}$ 和 projector $g_{{\theta }_2}$ 得到 latent，然后在 projector 输出处显式加 ReLU： $z=f_{\theta }(x)=\mathrm{ReLU}\left(g_{{\theta }_2}(g_{{\theta }_1}(x))\right),z^{\prime }=f_{\theta }(x^{\prime })=\mathrm{ReLU}\left(g_{{\theta }_2}(g_{{\theta }_1}(x^{\prime }))\right).$ 训练目标由两项组成。第一项是 view-invariance，使同一语义对象的两个增强视图接近；第二项是 distribution matching，使 batch feature distribution 接近 RGG target： ${\min }_{\theta }{\mathbb{E}}_{z,z^{\prime }}\left[\Vert z-z^{\prime }{\Vert }_2^2\right]+{\mathbb{E}}_c\left[\mathcal{L}(P_{c^{\top }z}\Vert P_{c^{\top }y})\right]+{\mathbb{E}}_c\left[\mathcal{L}(P_{c^{\top }{z}^{\prime }}\Vert P_{c^{\top }y})\right],$ 其中 $y\sim {\prod }_{i=1}^d{\mathcal{R}\mathcal{G}\mathcal{N}}_p(\mu ,\sigma )$，$c$ 是单位 ${\ell }_2$ sphere 上的随机投影向量。直觉上，invariance 项负责“同一对象不同视图保持一致”，RDMReg 负责“不同样本和不同坐标不能塌缩到一小团”，而 final ReLU 把表示空间改成正正交锥，使 target 的 Dirac-at-zero mass 能真正对应 feature 的 exact zeros。如果去掉 ReLU，模型最多匹配 Generalized Gaussian 的 dense heavy/light-tail 形状，很难得到严格零；如果去掉 RDMReg，只靠 ReLU 和 invariance 又会出现所有维度都变小甚至坍塌的风险。

3.2 从 Generalized Gaussian 到 Rectified Generalized Gaussian

作者先定义 Generalized Gaussian： $f_{{\mathcal{G}\mathcal{N}}_p(\mu ,\sigma )}(x)=\frac{p^{1-1/p}}{2\sigma \Gamma (1/p)}\exp \left(-\frac{|x-\mu {|}^p}{p{\sigma }^p}\right).$ 当 $p=1$ 时是 Laplace distribution；当 $p=2$ 时是 Gaussian。把支撑限制到 $S$ 后得到 Truncated Generalized Gaussian： $f_{{\mathcal{T}\mathcal{G}\mathcal{N}}_p(\mu ,\sigma ,S)}(x)=\frac{1_S(x)}{Z_S(\mu ,\sigma ,p)}\exp \left(-\frac{|x-\mu {|}^p}{p{\sigma }^p}\right).$ 论文证明，在给定 expected ${\ell }_p$ norm 的约束下，多变量 truncated generalized Gaussian product distribution 是最大 differential entropy 分布。也就是说，$p=1$ 连接 sparse coding 常见的 Laplace / ${\ell }_1$ 约束，$p=2$ 连接 Gaussian / ${\ell }_2$ energy，而 $0<p<1$ 还覆盖更接近 ${\ell }_0$ 的非凸 quasi-norm 区域。

RGG 的关键一步是 rectification。定义为： $\begin{array}{rl}{f}_{{\mathcal{R}\mathcal{G}\mathcal{N}}_p(\mu ,\sigma )}(x)& ={\Phi }_{{\mathcal{G}\mathcal{N}}_p(0,1)}\left(-\frac{\mu }{\sigma }\right)1_{\{0\}}(x)\\ & +\frac{p^{1-1/p}}{2\sigma \Gamma (1/p)}\exp \left(-\frac{|x-\mu {|}^p}{p{\sigma }^p}\right)1_{(0,\infty )}(x).\end{array}$ 等价采样方式非常简单：先采 $u\sim {\mathcal{G}\mathcal{N}}_p(\mu ,\sigma )$，再返回 $\mathrm{ReLU}(u)$。这会把所有负值累积成 $x=0$ 处的点质量，因此 ${\mathcal{R}\mathcal{G}\mathcal{N}}_p$ 不是普通 Lebesgue density，而是 Dirac measure 与 positive half-line density 的混合。这个混合结构正是 expected ${\ell }_0$ 可控的原因。

Figure 2 解读：这张图把 $p=1$ 的 Rectified Laplace 和 $p=2$ 的 Rectified Gaussian 放在同一框架里。上半部分是 truncated distribution 在 positive orthant 上的最大熵解释；下半部分是把一部分概率质量混到 Dirac measure ${\delta }_0$ 后得到 RGG。左侧强调 expected ${\ell }_p$ norm 的 maximum-entropy 来源，右侧强调 expected ${\ell }_0$ norm 的稀疏控制，中心的 Rectified Generalized Gaussian 是连接两者的统一族。

3.3 稀疏性与 $d(\xi )$-dimensional entropy

对 $d$ 维 product RGG，Proposition 3.5 给出 expected ${\ell }_0$ norm： $\mathbb{E}[\Vert x{\Vert }_0]=d\cdot {\Phi }_{{\mathcal{G}\mathcal{N}}_p(0,1)}\left(\frac{\mu }{\sigma }\right)=\frac{d}{2}\left(1+\mathrm{sgn}\left(\frac{\mu }{\sigma }\right)P\left(\frac{1}{p},\frac{|\mu /\sigma {|}^p}{p}\right)\right),$ 其中 $P(\cdot ,\cdot )$ 是 lower regularized gamma function。这个公式说明 $\mu$ 越负，采样落在正半轴的概率越低，feature 中非零坐标比例越低；$p$ 改变尾部和峰度，从而改变稀疏-性能曲线的形状。

因为 RGG 含有零点 Dirac mass，普通 differential entropy 不再适用。Theorem 3.6 使用 Rényi information dimension：若 $\xi \sim {\prod }_{i=1}^D{\mathcal{R}\mathcal{G}\mathcal{N}}_p(\mu ,\sigma )$，则 $d(\xi )=D\cdot {\Phi }_{{\mathcal{G}\mathcal{N}}_p(0,1)}(\mu /\sigma ),$ 并且每个维度的 $d(\xi )$-dimensional entropy 可分解为 positive continuous part 的 ${\mathbb{H}}_1({\mathcal{T}\mathcal{G}\mathcal{N}}_p)$ 加上 Bernoulli support indicator 的 ${\mathbb{H}}_0$。直观解释是：非零坐标仍像一个 continuous high-entropy code，零/非零开关本身又提供 discrete entropy；稀疏化并不等于把表示信息全部抹掉，而是把信息重新组织到“哪些维度 active”和“active 维度取什么值”两部分。

Figure 5 解读：三个 panel 展示 $p=0.5,1,2$ 时 Generalized Gaussian 与 rectified 后分布形状的差异。$p$ 越小，密度越尖、越偏向稀疏；rectification 则把负半轴质量压到零点，使分布既保留 positive continuous tail，又产生 exact-zero mass。它帮助理解为什么 $p$ 和 $\mu$ 是控制稀疏度的主要旋钮。

3.4 RDMReg：两样本 sliced 2-Wasserstein 匹配

LeJEPA 的 SIGReg 能使用 one-sample goodness-of-fit，是因为 Gaussian 对线性组合封闭：如果 $y\sim \mathcal{N}(0,I)$，那么 $c^{\top }y$ 仍是一维 Gaussian，target projected marginal 有解析形式。RGG 不满足这一点。即使每个坐标独立服从 Rectified Gaussian，$c^{\top }y$ 也会因投影方向不同出现不同形状，不能用一个固定 closed-form marginal 代替。因此 RDMReg 把 feature samples 和 target samples 都投影到同一组方向上，然后在每个方向上做一维 two-sample Wasserstein matching。

给定 batch feature matrix $Z,Y\in {\mathbb{R}}^{B\times D}$ 和投影向量 $c_i$，RDMReg 的一维 loss 是： ${\mathcal{L}}_{\mathrm{RDMReg}}(P_{c_i^{\top }z}\Vert P_{c_i^{\top }y}):=\frac{1}{B}{\Vert (Z{c}_i{)}^{\uparrow }-(Y{c}_i{)}^{\uparrow }\Vert }_2^2,$ 其中 $(\cdot {)}^{\uparrow }$ 表示沿 batch 维排序。排序后逐点相减就是一维 empirical 2-Wasserstein 距离的离散形式。实现上，一次训练 step 会对两个 view 分别计算 SWD，再取平均；投影可用纯 random projections，也可混合 covariance eigenvectors，但默认 ImageNet-100 配置使用 random 且 num_projections=8192。

3.5 Released code grounded pseudocode

下面的伪代码按 released code main@5ae61ab4 抽象，而不是只按论文公式重写。

import torch
import torch.nn.functional as F
 
 
def sample_generalized_gaussian(shape, p, mu, sigma, device, dtype):
    if p == 1.0:
        dist = torch.distributions.Laplace(loc=mu, scale=sigma)
        return dist.sample(shape).to(device=device, dtype=dtype)
    gamma = torch.distributions.Gamma(concentration=1.0 / p, rate=1.0)
    g = gamma.sample(shape).to(device=device, dtype=dtype)
    sign = torch.randint(0, 2, shape, device=device).to(dtype) * 2 - 1
    return mu + sigma * sign * (p * g).pow(1.0 / p)
 
 
def sample_rgg(shape, p, mu, sigma, device, dtype):
    # RGN_p(mu, sigma) = ReLU(GN_p(mu, sigma))
    return torch.relu(sample_generalized_gaussian(shape, p, mu, sigma, device, dtype))

def rdmreg_one_view(features, projections, p, mu, sigma):
    B, D = features.shape
    target = sample_rgg((B, D), p=p, mu=mu, sigma=sigma,
                        device=features.device, dtype=features.dtype)
    proj_z = features @ projections.T
    proj_y = target @ projections.T
    proj_z = torch.sort(proj_z, dim=0).values
    proj_y = torch.sort(proj_y, dim=0).values
    return ((proj_z - proj_y) ** 2).mean()
 
 
def rdmreg_loss(z1, z2, projections, p, mu, sigma):
    return 0.5 * (rdmreg_one_view(z1, projections, p, mu, sigma) +
                  rdmreg_one_view(z2, projections, p, mu, sigma))

class RectifiedLpJEPATrainStep(torch.nn.Module):
    def __init__(self, backbone, projector, p=1.0, mu=0.0,
                 lambda_inv=25.0, lambda_dist=125.0,
                 num_projections=8192, sigma=None):
        super().__init__()
        self.backbone = backbone
        self.projector = projector  # released code uses rectified_mlp with final ReLU
        self.p, self.mu, self.sigma = p, mu, sigma
        self.lambda_inv = lambda_inv
        self.lambda_dist = lambda_dist
        self.num_projections = num_projections
 
    def forward(self, x1, x2):
        z1 = self.projector(self.backbone(x1))
        z2 = self.projector(self.backbone(x2))
        D = z1.shape[-1]
        c = torch.randn(self.num_projections, D, device=z1.device, dtype=z1.dtype)
        c = c / c.norm(dim=1, keepdim=True)
        sim_loss = F.mse_loss(z1, z2)
        dist_loss = rdmreg_loss(z1, z2, c, self.p, self.mu, self.sigma)
        return self.lambda_inv * sim_loss + self.lambda_dist * dist_loss

论文公式与 released code 实现差异：论文 Appendix 的 Optimization 写 ResNet-50 ImageNet-100 默认 encoder LR 为 $0.0825$、linear classifier LR 为 $0.0275$；released YAML scripts/pretrain/imagenet-100/rectified_lpjepa_imagenet.yaml 在 main@5ae61ab4 中写的是 optimizer.lr=0.165、classifier_lr=0.055。本文笔记的训练配置以 actual launch config 为准，同时把论文 Appendix 数字标为 paper-side description。另一个实现细节是 code 的 training_step 返回 loss_val + class_loss + projector_class_loss，但 classifier heads 使用 detached features / detached projector features，因此这些在线 probe loss 主要训练分类头，不改变表示目标的两项结构。

Code reference: main @ 5ae61ab4 (2026-02-15) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
Rectified projector / final ReLU	solo/methods/rectified_lpjepa.py	RectifiedLpJEPA.__init__, projector_type="rectified_mlp"
RGG / Generalized Gaussian sampling	solo/losses/rectified_lpjepa.py	sample_lp_distribution, determine_sigma_for_lp_dist, choose_sigma_for_unit_var
Sliced 2-Wasserstein RDMReg	solo/losses/rectified_lpjepa.py	sliced_wasserstein_distance_for_one_view, rdmreg_loss
Weighted JEPA objective	solo/losses/rectified_lpjepa.py	rectified_lp_jepa_loss
Projection vector generation	solo/methods/rectified_lpjepa.py	Projections.generate_random_projections, get_projection_vectors
ImageNet-100 launch config	scripts/pretrain/imagenet-100/rectified_lpjepa_imagenet.yaml	method_kwargs, optimizer, max_epochs, devices
Standalone CIFAR-100 example	MINIMAL.md	RectifiedLpJEPA, sample_rgg, rdmreg_loss, ssl_loss

4. Experimental Setup (实验设置)

Datasets：主实验是 ImageNet-100 self-supervised pretraining 和 linear probe；transfer evaluation 使用 DTD、CIFAR-10、CIFAR-100、Flowers-102、Food-101、Oxford-IIIT Pets 六个下游数据集。论文没有在正文逐项列出每个数据集样本数；按标准版本，ImageNet-100 是 ImageNet-1k 的 100-class 子集，CIFAR-10 为 60,000 张 10 类图像，CIFAR-100 为 60,000 张 100 类图像，Flowers-102 为 8,189 张 102 类图像，Food-101 为 101,000 张 101 类图像，Oxford-IIIT Pets 为 7,349 张 37 类图像，DTD 为 5,640 张 texture images。transfer protocol 报告 1-shot、10-shot、all-shot 三种 label regimes，冻结 encoder 或 projector features 后训练 linear classifier。

Baselines：dense baselines 包括 VICReg、SimCLR / CL、LeJEPA；sparse baselines 包括 NCL、Non-Negative VICReg (NVICReg)，以及 ReLU / RepReLU 变体；方法内部还比较 LpJEPA，即匹配 non-rectified features 到 Generalized Gaussian 的版本，用来验证“只在 evaluation 后 ReLU”不等价于训练时直接匹配 RGG。

Metrics：主要下游指标是 linear probe Acc1 (%)，分别在 encoder features 与 projector features 上评估；稀疏性用 $m_{{\ell }_0}(x)=(1/D)\mathbb{E}[\Vert x{\Vert }_0]$ 和 $m_{{\ell }_1}(x)=(1/D)\mathbb{E}[\Vert x{\Vert }_1^2/\Vert x{\Vert }_2^2]$，数值越低表示越稀疏。论文作图时也使用 $1-m_{{\ell }_0}$ 或 $1-m_{{\ell }_1}$ 表示“零比例 / sparsity”。统计独立性用 normalized HSIC 作为 total correlation 的可计算 surrogate；entropy 分析使用 marginal $d(\xi )$-dimensional entropy。

Training config（actual released config）：ImageNet-100 默认配置来自 scripts/pretrain/imagenet-100/rectified_lpjepa_imagenet.yaml，使用 ResNet-50 backbone，3-layer MLP projector，proj_hidden_dim=2048、proj_output_dim=2048、projector_type="rectified_mlp"，target distribution 为 rectified_lp_distribution，默认 $p=1.0$、$\mu =0.0$、mode_of_sigma="sigma_GN"。

loss 权重为 invariance_loss_weight=25.0、rdm_reg_loss_weight=125.0，num_projections=8192，projection type 为 random。优化器为 LARS，batch_size=128、optimizer.lr=0.165、classifier_lr=0.055、weight_decay=1e-4、eta=0.02，max_epochs=1000，precision=16-mixed，devices=[0]。

论文 Appendix 另外说明单次 ImageNet-100 1000-epoch ResNet-50 run 约 2d 7h，单 NVIDIA L40S GPU；ViT-Small 版本用 AdamW、batch size 128、LR $5\times 10^{-4}$、weight decay $10^{-4}$，同为 1000 epochs，约 2d 6h。

Data augmentation：两视图 augmentation 使用 random resized crop scale $[0.2,1.0]$、resolution $224\times 224$、horizontal flip $p=0.5$、color jitter $p=0.8$ 且 brightness/contrast/saturation/hue 分别为 $0.4/0.4/0.2/0.1$、grayscale $p=0.2$、Gaussian blur $p=0.5$、solarization $p=0.1$。transfer linear probe 训练 100 epochs，Adam LR $10^{-2}$、batch size 512、无 weight decay；输入 resize short side 到 256 后 center crop $224\times 224$，使用 ImageNet normalization，不使用额外 augmentation。

5. Experimental Results (实验结果)

5.1 ImageNet-100 主结果：稀疏性与准确率不是零和

Table 1 的主结论是 Rectified LpJEPA 在 Acc1 和 sparsity 之间给出更好的 Pareto trade-off。最强 encoder Acc1 是 ${\mathcal{R}\mathcal{G}\mathcal{N}}_{2.0}(0,{\sigma }_{\mathrm{GN}})$ 与 ${\mathcal{R}\mathcal{G}\mathcal{N}}_{2.0}(1.0,{\sigma }_{\mathrm{GN}})$，都达到 85.08；projector Acc1 最强是 ${\mathcal{R}\mathcal{G}\mathcal{N}}_{1.0}(0.25,{\sigma }_{\mathrm{GN}})$ 的 80.76。相较 LeJEPA 的 encoder/projector Acc1 84.80/79.52 且 ${\ell }_0=1.0000$ 完全 dense，Rectified LpJEPA 可在保持或略高准确率的同时把 ${\ell }_0$ 降到 0.6940、0.7298、0.7437 或 0.8668。极端稀疏设置 ${\mathcal{R}\mathcal{G}\mathcal{N}}_{1.0}(-3.0,{\sigma }_{\mathrm{GN}})$ 把 ${\ell }_0$ 降到 0.0098，但 Acc1 也降到 82.72，说明过度稀疏最终会损伤语义信息。

Family	Method	Encoder Acc1	Projector Acc1	L1 Sparsity	L0 Sparsity
Rectified LpJEPA	${\mathcal{R}\mathcal{G}\mathcal{N}}_{1.0}(0,{\sigma }_{\mathrm{GN}})$	84.72	80.40	0.2726	0.6940
Rectified LpJEPA	${\mathcal{R}\mathcal{G}\mathcal{N}}_{2.0}(0,{\sigma }_{\mathrm{GN}})$	85.08	80.00	0.3412	0.7298
Rectified LpJEPA	${\mathcal{R}\mathcal{G}\mathcal{N}}_{1.0}(0.25,{\sigma }_{\mathrm{GN}})$	84.98	80.76	0.3745	0.7437
Rectified LpJEPA	${\mathcal{R}\mathcal{G}\mathcal{N}}_{2.0}(1.0,{\sigma }_{\mathrm{GN}})$	85.08	80.54	0.6278	0.8668
Rectified LpJEPA	${\mathcal{R}\mathcal{G}\mathcal{N}}_{2.0}(-2.5,{\sigma }_{\mathrm{GN}})$	82.02	67.82	0.0137	0.0224
Rectified LpJEPA	${\mathcal{R}\mathcal{G}\mathcal{N}}_{1.0}(-3.0,{\sigma }_{\mathrm{GN}})$	82.72	71.88	0.0058	0.0098
Sparse baseline	NVICReg-ReLU	84.48	77.74	0.5207	0.7117
Sparse baseline	NCL-ReLU	82.58	76.88	0.0037	0.0085
Dense baseline	VICReg	84.18	78.88	0.7954	1.0000
Dense baseline	SimCLR	83.44	77.90	0.6338	1.0000
Dense baseline	LeJEPA	84.80	79.52	0.6365	1.0000

Figure 3a–3c 解读：Figure 3a 说明 rectification 必须同时作用在 feature 和 target distribution 上；只把非 rectified feature 匹配到 GN 或把 rectified feature 匹配到普通 Gaussian 都会破坏 trade-off。Figure 3b 验证 Proposition 3.5：改变 $\mu$ 时，经验 ${\ell }_0$ norm 跟理论曲线一致，且不同 $p$ 的排序也保持。Figure 3c 显示 accuracy 随 sparsity 增加先缓慢下降，直到超过约 95% zeros 后才出现 cliff-like drop，这支持“图像表示里存在大量可利用稀疏性”的判断。

Figure 11b / 13c 解读：左侧 continuous mapping theorem ablation 说明“先训练 dense LpJEPA，再在评估时 ReLU”不等价于训练时直接匹配 RGG；post-hoc rectification 会造成 probe accuracy 明显下降。右侧 sampling efficiency 显示 RDMReg 不一定需要无限多投影，较小且与维度无关的随机投影数也能逼近较好性能，但 released ImageNet-100 配置仍采用 8192 projections 作为稳健默认值。

5.2 熵、独立性与 OOD sparsity pattern

Figure 4 给出三个补充证据。第一，$d(\xi )$-dimensional entropy 与 sparsity 形成 Pareto frontier：稀疏性提高会降低可用连续维度，但不是 collapse；在合理区间内仍能保持较高 entropy。第二，Rectified LpJEPA 的 normalized HSIC 低于 VICReg / NVICReg 这类只显式惩罚二阶 covariance 的方法，说明 sliced distribution matching 也减少了 higher-order dependence。第三，Rectified LpJEPA 在不同 transfer datasets 上的 ${\ell }_1$ 和 ${\ell }_0$ sparsity relative MAD 更高，表示其激活稀疏度会随数据域改变；这可能是 OOD 检测或 domain diagnostics 的有用信号。

Figure 4a–4c 解读：左图把 entropy 和 $1-m_{{\ell }_1}$ 放在同一坐标系里，展示不是所有 sparse 表示都会 collapse；中图的 nHSIC 比较说明 RDMReg 对高阶统计依赖有实际影响；右图的 relative MAD 说明 Rectified LpJEPA 的稀疏模式不是固定常数，而会对 DTD、CIFAR、Flowers、Food、Pets 等 transfer 数据集产生不同响应。

5.3 $\sigma$、$\mu$、$p$ 的消融

作者讨论两种 $\sigma$ 选择：${\sigma }_{\mathrm{GN}}=\Gamma (1/p{)}^{1/2}/(p^{1/p}\Gamma (3/p{)}^{1/2})$ 保证 rectification 前的 GN variance 为 1；${\sigma }_{\mathrm{RGN}}$ 则通过 bisection 使 rectification 后的 variance 为 1。默认使用 ${\sigma }_{\mathrm{GN}}$，因为它闭式简单、计算稳定。Appendix 的 sigma analysis 表明，$\mu$ 控制稀疏度最直接；$p$ 控制分布形状和 sparse-performance 曲线；$\sigma$ 改变负半轴质量和 positive tail 的尺度。如果 $\mu$ 太负，expected non-zero fraction 太小，准确率下降；如果 $\mu$ 太大，表示接近 dense，稀疏优势消失。

Figure 9 解读：这一组 appendix 曲线把 accuracy 分别对 $\mu$、${\ell }_0$ sparsity、${\ell }_1$ sparsity 作图，展示可调 target distribution 的核心用途：研究者可以沿一条连续曲线选择需要的稀疏度，而不是在 dense SSL 与极端 sparse penalty 之间二选一。它也提示默认 $p=1,\mu =0$ 是安全起点，但不是唯一最优点。

5.4 Transfer、ViT 与 qualitative analysis

Transfer 结果显示 Rectified LpJEPA 的 encoder features 在多数据集上保持竞争力。1-shot encoder avg 中，Rectified LpJEPA 的若干设置达到 27.01、25.47、25.39、24.44、27.20、17.76；dense LeJEPA 为 27.06，SimCLR 为 27.23，说明 encoder transfer 基本同量级。10-shot encoder avg 中，Rectified LpJEPA 最高 50.45，LeJEPA 为 50.03，VICReg 为 47.88；all-shot encoder avg 中，Rectified LpJEPA 最高 72.82，LeJEPA 为 71.94，VICReg 为 70.33。Projector features 的 transfer 波动更大：all-shot projector avg 中 Rectified LpJEPA 最好设置为 43.76，SimCLR 为 48.34，NCL-ReLU 为 45.35，说明 projector space 更受 target distribution 形状影响，不应只看 projector probe 断言整体优劣。

ViT-Small mean-shift sweep 也支持 controllability：${\mathcal{R}\mathcal{G}\mathcal{N}}_{1.0}(0.0,{\sigma }_{\mathrm{GN}})$ 达到 encoder/projector Acc1 75.44/67.16，${\ell }_1=0.2730$、${\ell }_0=0.7721$；当 $\mu$ 降到 $-3.0$，Acc1 为 71.64/57.46，但 ${\ell }_1=0.0132$、${\ell }_0=0.0220$。这说明方法不依赖 ResNet-50，但同样存在“更稀疏换更低准确率”的边界。

Figure 12 解读：transfer sparsity 图展示同一个 pretrained representation 在不同 downstream datasets 上的 ${\ell }_0$ / ${\ell }_1$ 稀疏度差异。对 dense baselines，${\ell }_0$ 基本接近 1；对 Rectified LpJEPA，稀疏度会随数据集变化，这说明 RGG target 学到的不是一个机械固定的 zero mask，而是输入依赖的 sparse activation pattern。

Figure 16 解读：histogram 进一步显示 transfer setting 下表示稀疏度的分布，而不只是平均值。阅读这张图的重点是分布宽度和偏移：Rectified LpJEPA 的 sparse activation 并非对所有样本完全相同，因此下游任务可能同时利用“有多少维 active”和“哪些维 active”。

Figure 17 解读：pirate ship 近邻检索展示不同 mean-shift / sparsity 设置如何影响 projector feature space 的语义邻近关系。稀疏模型仍能检索语义相关样本，说明 exact zeros 没有简单抹掉所有细粒度信息；但不同稀疏强度会改变模型更关注对象主体还是背景上下文。

Figure 20 解读：attribution map 用来检查 sparse representation 关注区域。作者的 qualitative conclusion 是：当 query 中 foreground cat 与 laptop/desk background 竞争时，不同模型的近邻与 attribution 会发生偏移；裁掉背景后，各模型更集中到 cat 区域。这说明 Rectified LpJEPA 的稀疏性并不自动等价于完美 object-centric，但提供了可观察的 feature selection 行为。

5.5 局限与结论

作者明确展示了一个 trade-off，而不是声称 sparse 永远更好。最主要局限是：过度稀疏会损伤 accuracy，特别是 $\mu$ 很负时，non-zero fraction 太低，ImageNet-100 Acc1 和 transfer projector probe 都会下降；因此 $\mu ,p,\sigma$ 需要按任务选择。第二，所有主实验集中在 image classification / ImageNet-100 规模，虽然 JEPA 背景指向更广泛 world-model representation，但论文没有验证 video JEPA、planning、robotics 或 long-horizon prediction。第三，RDMReg 每步使用 8192 projections，虽然 Appendix 说明较少 projections 也可工作，但 full setting 仍增加计算成本。第四，released code 与 paper Appendix 在学习率数字上存在差异，复现实验时必须优先查看实际 YAML 和命令行 override。

整体结论是：Rectified LpJEPA 把“防 collapse 的 maximum-entropy distribution matching”和“可控 exact-zero sparsity”放进同一个 target distribution 设计里。实验表明，在合理 sparsity 区间内，它能达到与 LeJEPA、VICReg、SimCLR 相当或更好的 ImageNet-100 linear probe，同时把 ${\ell }_0$ non-zero fraction 从 dense baseline 的 1.0000 降到约 0.69–0.87；更激进设置可以降到 0.01–0.02，但会牺牲精度。对读者来说，最值得带走的是一个设计原则：如果希望 JEPA 学到某种 representation geometry，不一定要在 loss 上硬加 penalty；可以先定义一个有信息论解释的 target distribution，再用 projection-based matching 把模型表示推向这个分布。