Why pure vision isn’t scaling

vision scaling 要先看 objective，不只是看数据和模型大小

这篇文章把 scaling 定义为“大数据 + 大模型能学到更可泛化的 abstractions”，因此瓶颈不只是数据够不够多，而是 objective 能不能把数据里的结构变成稳定的学习信号。一个可 scale 的 objective 需要三件事同时成立：每步梯度有足够的 objective signal-to-noise，目标里有足够多的 accessible information，而且这些信息语义覆盖足够宽。ImageNet 分类这类窄监督目标的问题不在于没有信号，而在于信号只逼模型服务于有限标签集合，容易得到 fragmented features。读视觉 scaling 相关工作时，这个框架会把问题从“有没有更多数据”改成“objective 实际让模型学到了哪一层 abstraction”。

objective SNR 和 data SNR 不是同一个量

同一批数据可以因为 objective 设计不同而产生完全不同质量的梯度信号。作者用图像生成解释这个区别：图像数据本身有足够的语义宽度和信息量，但 VAE 式 one-shot pixel prediction 会把全局语义、局部纹理和像素级不确定性压进同一个重建目标，objective SNR 很容易被噪声拉低。Diffusion 的 denoising factorization 把生成问题拆成逐步去噪任务，每一步的条件和目标更干净，所以在 pixel-space generation 上更容易 scale。这个区别说明，objective 可以在不改变 data SNR 的情况下改变训练是否有效。

text 能 scale，是因为 token prediction 直接暴露了高覆盖的信息

文本 next-token prediction 的优势在于 supervision 本身噪声较低，并且预测目标直接落在大规模语义丰富的数据上。模型不是先经过一个人为压缩的 latent bottleneck 再学习剩余信息，而是直接面对语言中的事实、语法、推理、风格、代码和世界知识。这样的 objective 同时满足较高 SNR、足够信息量和较宽语义覆盖，所以扩大数据和模型时更容易持续逼出 generalisable abstractions。对比视觉任务时，关键差异不是“文本天然更高级”，而是文本的训练目标更少把可学习信息提前屏蔽掉。

latent SSL 提高了视觉 objective SNR，也可能删掉了 scaling 所需的信息

纯 pixel prediction 太 noisy，视觉自监督常用 latent 或 representation objective 来抑制低层噪声，这确实能让目标更干净。但文章指出，这种做法是在用减少 accessible information 换取更高 objective SNR，而且被删掉的信息通常不是随机的：高空间频率、局部几何、纹理等 abstraction hierarchy 的区域可能被系统性弱化。模型因此更难学习那些本来需要预测被屏蔽信息的 factors。评估 latent 视觉方法时，不能只问 representation 是否更稳定，也要问它为了稳定性牺牲了哪些未来可被 scale 利用的信息。

视觉 scaling law 需要的是不永久压制信息的干净目标

作者最后给出的方向不是简单回到像素预测，也不是完全押注 latent 方法，而是寻找一种 objective：能提高 objective signal-to-noise，同时不永久压制 accessible information。Diffusion 提供的是一个启发性例子，因为它通过 factorization 改善学习信号，而不是把大量视觉信息直接丢掉。这个判断对设计下一代视觉自监督目标很有用：如果一个方法只解决噪声，却长期缩窄信息量或语义覆盖，它很可能只能得到局部改进，很难形成类似语言模型的 scaling law。