Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models
Paper: arXiv:2508.09968
Code: ExplainableML/HyperNoise
Code reference:main@9c9e7d8e(2025-12-05)
1. Motivation（动机）
这篇论文讨论的是扩散/流匹配生成模型里一个越来越常见的矛盾：测试时扩展计算（test-time scaling）确实能让生成结果更符合某个偏好或奖励，但它通常把一次生成变成一次优化过程，延迟和成本会急剧上升。对于文本到图像模型，典型做法包括 best-of-N 采样、用奖励模型对初始噪声或中间状态做梯度优化、或者让 LLM 反复改写 prompt。它们的共同点是都把“更好的输出”外包给推理阶段的额外搜索；共同问题是推理时间被放大，尤其在需要批量生成或交互式生成时很难落地。
论文的出发点不是否定测试时优化，而是问一个更具体的问题：能否把测试时优化学到的“如何改初始噪声才更容易得到高奖励样本”的知识，在训练后阶段摊销进一个小网络里？如果可以，推理时就不再需要每个 prompt 都做多步 reward-guided optimization，而是只额外前向一次噪声调制网络，然后用冻结的 few-step generator 生成结果。这个问题属于“Reasoning & Test-Time Scaling”范畴：它不是单纯的采样加速，也不是传统偏好微调，而是在视觉生成中把测试时搜索/优化的收益蒸馏成可复用的推理策略。
Figure 1 解读：图中固定同一个初始随机噪声，比较 base generator 与 HyperNoise 调制后的生成。关键不是换一个更大的主干模型，而是让一个训练后的噪声调制器把同一个随机种子推向更高奖励、更符合文本或偏好的区域。这样的对比能突出论文的核心诉求：不通过推理时搜索获得每张图的单独最优噪声，而是学习一个对噪声分布整体有效的变换。
传统直接微调也看似能解决“推理慢”的问题，但论文指出它对 step-distilled generators 并不干净。目标分布可以写成 reward-tilted distribution：在 base model 的输出分布上，对高奖励样本加权；理想上应同时提升奖励并保持接近原始模型分布。对普通生成模型做参数微调时，理论目标里包含与 base distribution 的 KL 正则；但对于少步或一步蒸馏模型，data-space KL 很难估计，训练时容易变成“只追奖励分数”的 reward hacking。论文用 redness reward 的小实验展示了这个问题：直接 LoRA 微调可以把图像变红，但同时破坏自然图像质量；Noise Hypernetwork 则把约束放到噪声空间，使偏移更可控。
Figure 3 解读：redness reward 是一个故意简单的可微奖励，用来观察方法是否只会投机地提高指标。直接微调主模型时，输出会出现明显伪影；HyperNoise 的优化对象是初始噪声的残差，配合噪声空间正则，倾向于在 base generator 已经学到的自然图像流形附近移动。因此它不是“直接把模型改成喜欢红色”，而是学习哪些初始噪声更可能经过冻结生成器产生高 redness 且仍自然的图像。
这篇工作的实际假设有三个边界：第一，base generator 是高效的 distilled model，例如 SD-Turbo、SANA-Sprint、FLUX-Schnell；第二，奖励函数可以对生成图像给出可用于训练的信号，论文主要使用 ImageReward、HPSv2.1、PickScore 与 CLIP score 的组合，也包含 redness toy reward；第三，训练后阶段可以接受一次性成本，但线上推理必须接近 base model 的速度。这个定位使它不同于通常的 diffusion post-training：它不更新主模型权重来改变整个生成器，而是学习一个“噪声初始化策略”，在推理时作为可插拔的前置模块使用。
2. Idea（核心思想）
核心思想可以压缩成一句话：把 reward-guided test-time noise optimization 从“每次生成时迭代求一个好噪声”，改成“训练一个 Noise Hypernetwork (f_\phi)，一次前向预测初始噪声残差 (\Delta x_0)，让冻结生成器 (g_\theta) 从 (x_0+\Delta x_0) 生成高奖励样本”。它的本质创新不是提出新的奖励模型，也不是提出新的 diffusion backbone，而是把 reward-tilted distribution 的学习目标搬到噪声空间，使正则项可计算、推理成本可摊销。
论文先把 step-distilled generator 写成 (x=g_\theta(x_0))，其中 (x_0\sim p_0=\mathcal{N}(0,I))。base 输出分布是 (p^{base}=(g_\theta)_\sharp p_0)。如果希望按奖励 (r(x)) 偏置输出，理想目标是 tilted distribution：
[ p^\star(x)\propto p^{base}(x)\exp(r(x)). ]
这个式子的直觉是：仍然从 base model 能生成的分布出发，但高奖励样本的概率被指数放大。直接微调主模型相当于让某个 (p^\phi) 靠近 (p^\star)，然而在 distilled generator 上，保持 (p^\phi) 不偏离 (p^{base}) 的 KL 约束难以精确计算。Noise Hypernetwork 的转折点是改学输入噪声分布 (p_0^\phi)，而不是改输出分布或主模型参数。理论上，对应的 tilted noise distribution 可写为：
[ p_0^\star(x_0)\propto p_0(x_0)\exp(r(g_\theta(x_0))). ]
这意味着“好输出”的偏好可以反推到“哪些初始噪声更好”。如果能学习一个变换 (T_\phi(x_0)=x_0+f_\phi(x_0))，使 (T_\phi) 推出的噪声分布接近 (p_0^\star)，那么冻结的 (g_\theta) 就会把调制后的噪声映射到更高奖励的输出。和 ReNO 这类测试时噪声优化相比，目标相似，都是改噪声而不是改 prompt；不同点是 ReNO 对每个样本/每个 prompt 做迭代优化，HyperNoise 则把这件事 amortize 成一个训练好的函数。
Figure 2 解读：训练时，Noise Hypernetwork 接收 base noise 和条件文本，输出噪声残差；冻结 generator 用调制后的噪声生成图像；奖励模型和噪声正则共同产生损失。推理时，流程被缩短为一次 (f_\phi) 前向加一次 (g_\theta) 生成，不再需要逐样本 reward gradient loop。这个结构解释了“amortizing test-time compute”：额外计算从推理阶段转移到训练后阶段，并以 LoRA 参数形式保存。
和已有方法的关键差异如下。Best-of-N 依赖重复采样和排序，计算随 N 线性增加；ReNO 依赖每个样本的噪声优化，效果强但慢；prompt optimization 可能需要额外 LLM 调用，并且对视觉奖励的控制是间接的；direct LoRA fine-tuning 推理快，但容易在奖励方向上过拟合并损害 base distribution。HyperNoise 介于这些方案之间：它仍利用 reward signal，但优化变量是噪声残差；它仍保留主模型参数冻结，但推理时能改变每个输入噪声；它仍有额外网络，但通过 LoRA 复用主干结构，参数量和推理开销相对小。
一个重要直觉是：噪声空间的 KL 比图像空间的 KL 更易处理。若 (p_0^\phi=(T_\phi)\sharp p_0)，最初的目标可看作在提升奖励的同时限制 (D{KL}(p_0^\phi|p_0))。数据处理不等式说明，经过固定 (g_\theta) 后，输出分布之间的 KL 不会超过输入噪声分布之间的 KL；因此控制噪声空间偏移，可以作为控制输出分布偏离的上界。这不保证每个样本都最优，但给了一个比直接奖励微调更有原则的正则路径。
3. Method（方法）
方法分成四个层次：目标分布、噪声变换、可训练的 LoRA hypernetwork、训练/推理算法。
第一层是目标。论文希望学到的不是某个单点最优噪声，而是一个分布级策略。给定 base noise (x_0\sim p_0)，Noise Hypernetwork 输出 (f_\phi(x_0,c))，其中 (c) 是文本条件或其他条件。调制后噪声为：
[ \hat{x}0=x_0+f\phi(x_0,c). ]
冻结生成器输出 (x_1=g_\theta(\hat{x}0,c))。训练目标从 (D{KL}(p_0^\phi|p_0^\star)) 推导而来，可写成“噪声空间 KL 正则减奖励”的形式。论文进一步用小扰动近似把 KL 正则化为噪声残差的 L2 惩罚，得到最终实用损失：
[ \mathcal{L}{noise}(\phi)=\mathbb{E}{x_0\sim p_0}\left[\frac{1}{2}|f_\phi(x_0)|^2-r(g_\theta(x_0+f_\phi(x_0)))\right]. ]
这个式子非常关键：它把“保持接近 base model”落实为 (|f_\phi(x_0)|^2)，把“朝偏好方向移动”落实为 reward term。相比直接图像空间 KL，它不需要真实样本、不需要从 (p^\star) 或 (p^{base}) 采样标注目标，也不需要估计 distilled model 的 likelihood。训练所需只有 base noise、冻结 generator、reward function，以及条件数据集中的 prompt。
第二层是参数化。论文没有从零训练一个独立 MLP 来输出噪声，因为文本条件、多尺度 latent 和 backbone 归纳偏置都很复杂；实际实现中直接复用 base generator 架构，并在其上挂 LoRA，把 LoRA 的输出解释为噪声残差。这样做的好处是：条件路径已经会理解文本；空间结构和 latent shape 与原模型一致；只训练 LoRA adapter，内存和参数量较小。初始化也被设计成 (f_\phi(\cdot)=0)：LoRA 的第二矩阵置零，最终层只输出 LoRA 产生的 perturbation。初始时 (\hat{x}_0\approx x_0)，即 (p_0^\phi\approx p_0)，训练从 base model 行为开始，不会一开始就破坏分布。
第三层是算法。论文算法可按如下伪代码理解：
输入：冻结的 distilled generator gθ、奖励函数 r、可选条件集合 C
初始化：在 gθ 上加入 LoRA，令 Noise Hypernetwork fϕ 初始输出为 0
循环训练：
1. 采样初始噪声 x0 ~ N(0, I)
2. 如果是条件生成，从 C 采样 prompt/condition c
3. 用 fϕ(x0, c) 预测噪声残差 Δx0
4. 用冻结 gθ 从 x0 + Δx0 生成图像 x1
5. 计算 L = 1/2 ||Δx0||^2 - r(x1)
6. 只更新 LoRA 参数 ϕ，冻结 gθ 主权重
输出：Noise Hypernetwork 的 LoRA 权重这个伪代码来自论文算法，但在代码里 reward 项以“可最小化的 loss”实现：HPS/CLIP/PickScore 都把相似度或 logit score 转成常数减分数，ImageReward 使用 (2-\text{score})，redness 使用 ((G+B)/2-R)。因此代码中的 total_loss 是多个 reward loss 的加权和，再加 L2 正则；最小化它等价于最大化对应奖励。
第四层是推理。训练好后，推理并不需要 reward model，也不需要梯度循环。给定 prompt 与随机噪声，先让 LoRA-enabled noise network 预测 (\Delta x_0)，再把 adapter 关闭，用冻结 generator 对 (x_0+\Delta x_0) 生成图像。这一点在代码里也很清楚：训练 step 中先 enable_adapters() 得到 pred_latents，如果 enable_modulate_noise 为真就把它作为残差加到原 latent 上，然后 disable_adapters() 再调用 base pipeline 的 apply_fn 生成图像。
Figure 4 解读：redness reward 的 trade-off 图展示了本文正则项的作用。直接 fine-tuning 可以提升 redness，但 ImageReward 下降，说明模型可能学到非自然伪影；HyperNoise 在 redness 提升时维持更好的 ImageReward，说明噪声空间 L2/KL 约束在实践中确实限制了偏离 base distribution 的程度。
4. Code & Implementation（代码与实现）
公开代码仓库为 ExplainableML/HyperNoise，本笔记锚定当前 HEAD：main@9c9e7d8e（2025-12-05）。仓库结构非常直接：main.py 负责解析参数、加载模型、挂 LoRA、创建训练器；training/trainer.py 是核心训练逻辑；models/RewardSana.py、models/RewardFlux.py、models/RewardStableDiffusion.py 封装各个 base pipeline；rewards/*.py 实现 reward losses；scripts/*.sh 给出 SANA、FLUX、SD-Turbo 的训练启动配置。
4.1 代码映射表
| Paper Concept | Source File | Key Class/Function |
|---|---|---|
| Noise Hypernetwork as LoRA on base generator | main.py | setup_model_with_lora, peft.LoraConfig, get_peft_model |
| Training config / runtime config | arguments.py, main.py | parse_args, create_training_config, create_runtime_config |
| Core training loop | training/trainer.py | NoiseNetworkTrainer.step, NoiseNetworkTrainer.train |
| L2 / noise-space regularizer | training/trainer.py | _compute_regularization |
| Reward-loss aggregation | training/trainer.py, rewards/*.py | _compute_total_loss, HPSLoss, ImageRewardLoss, PickScoreLoss, CLIPLoss, RedRewardLoss |
| SANA-specific latent and text hooks | training/trainer.py | create_sana_functions |
| FLUX-specific latent and text hooks | training/trainer.py | create_flux_functions |
| SD-Turbo-specific latent and text hooks | training/trainer.py | create_sdturbo_functions |
| Inference / qualitative grid | sana_inference.py | SANA inference with/without HyperNoise weights |
| Released launch configs | scripts/sana_hypernoise.sh, scripts/flux_hypernoise.sh, scripts/sd-turbo_hypernoise.sh | model-specific hyperparameters |
4.2 训练循环如何对应论文公式
NoiseNetworkTrainer.step 的实际执行顺序可以写成贴近代码的伪代码：
latents, extra = prepare_latents_fn(init_latents, batch_size)
encoding = encode_prompt_fn(prompts)
if train_type == "noise":
noise_network.enable_adapters()
pred_latents = noise_network_forward_fn(latents, encoding, extra)
if enable_modulate_noise:
latents = latents + pred_latents
else:
latents = pred_latents
noise_network.disable_adapters()
images = apply_fn(latents, encoding)
total_loss = sum(weight_i * reward_loss_i(images, prompts))
if pred_latents is not None:
total_loss += reg_weight * mean(square(pred_latents))
total_loss = total_loss / accumulation_steps
backward()
if accumulation boundary:
log grad_norm, clip gradients, optimizer.step(), scheduler.step()这里 pred_latents 在 enable_modulate_noise=True 时就是 (\Delta x_0)，latents + pred_latents 对应论文中的 (x_0+f_\phi(x_0,c))。_compute_regularization 默认 reg_type="l2" 时返回 mean(square(pred_latents))，再乘 regularization_weight；这与论文式子里的 (1/2|f_\phi(x_0)|^2) 是同一类噪声幅度惩罚，但代码没有显式固定 (1/2)，而是通过 reg_weight 控制强度。若 reg_type 不是 l2，代码还有一个基于 latent norm 的替代正则，但发布脚本主要使用 L2 路径。
4.3 不同 backbone 的 hook
SANA 路径中，prepare_latents_fn 直接使用传入 latent；encode_prompt_fn 调用 pipe.encode_prompt；noise_network_forward_fn 调用 pipe.transformer，传入 hidden_states=latents、文本 embedding、attention mask、guidance 与 timestep=1.0，输出 .sample；apply_fn 再用 pipe.apply 生成图像。FLUX 路径需要 prepare_latents 返回 latent image ids，forward 时还传入 pooled prompt embeddings、text ids、image ids，并以 return_dict=False 取第一个输出。SD-Turbo 路径则调用 UNet：sample=latents、timestep=999.0、encoder_hidden_states=prompt_embeds，推理应用时 num_inference_steps=1、guidance_scale=0.0。
这些 hook 说明论文方法不是绑定某一个模型的 trick，而是抽象成一组 model-specific functions：准备 latent、编码条件、用 LoRA-enabled backbone 预测噪声、用 frozen backbone 生成图像。只要 base model 能以 latent/noise 为输入，并能在固定步数生成图像，HyperNoise 就可以挂在其前面。
4.4 奖励实现与符号差异
论文写成最大化 (r(x))，代码写成最小化 loss。HPSLoss 计算 (1-\langle image,text\rangle)，PickScoreLoss 计算常数 (30) 减缩放后的相似度，CLIPLoss 计算常数 (100) 减 CLIP logit score，ImageRewardLoss 返回 (2-\text{ImageRewardScore})。redness toy reward 返回 ((G+B)/2-R)，最小化后会增加红色通道。这个符号差异在读代码时很重要：_compute_total_loss 里的 total_loss += loss * weighting 不是和论文公式矛盾，而是把“奖励越大越好”改写成“损失越小越好”。
4.5 发布脚本中的训练配置
仓库脚本给出的当前配置如下，属于 main@9c9e7d8e 的可复现实验入口，而不是从 README 默认值推断：
scripts/sana_hypernoise.sh:model=sana,task=all,train_type=noise,lr=1e-3,epochs=30,batch_size=18,accumulation_steps=3,optim=sgd,lora_rank=128,alpha_multiplier=2,reg_weight=0.5,latent_type=batch,grad_clip=1.0。scripts/flux_hypernoise.sh:model=flux,task=all,train_type=noise,lr=2e-5,epochs=30,batch_size=7,accumulation_steps=4,optim=adamw,lora_rank=128,alpha_multiplier=5,reg_weight=0.5,latent_type=batch,grad_clip=1.0。scripts/sd-turbo_hypernoise.sh:model=sd-turbo,task=all,train_type=noise,lr=1e-3,epochs=100000,batch_size=18,accumulation_steps=1,optim=sgd,lora_rank=128,alpha_multiplier=1,last_layer_name=conv_out,reg_weight=0.5,latent_type=batch,grad_clip=10.0。
论文附录的 Human-preference 表格报告：SD-Turbo Noise Hypernetwork 使用 lr=1e-3、LoRA rank 128、alpha 256、SGD、batch size 48、训练约 25 epochs、512×512；SANA fine-tuning 与 SANA Noise Hypernetwork 使用 lr=1e-3、rank 128、alpha 256、SGD、batch size 18、accumulation 3、约 25 epochs、1024×1024；FLUX Noise Hypernetwork 使用 lr=2e-5、rank 128、alpha 5、AdamW、batch size 7、accumulation 4、约 25 epochs、512×512。当前代码脚本与论文表格在 SD-Turbo 的 batch/epoch 表述上不完全一致，因此复现时应明确引用脚本 commit；论文结果解读则以论文表格为准。
Figure 6 解读：直接 reward fine-tuning 的失败案例与代码里的 loss 设计相互印证。只要 reward loss 可以被局部伪影降低，主模型参数就可能朝伪影方向移动；HyperNoise 只改输入噪声，并用 mean(square(pred_latents)) 限制残差幅度，因此不容易把整个 generator 的表示空间扭曲掉。
5. Experimental Results（实验结果）
实验分为 toy redness、GenEval 主表、泛化/多步分析、T2I-CompBench/DPG-Bench、diversity 与定性结果。
5.1 Redness reward：验证正则是否抑制 reward hacking
在 redness toy setting 中，模型为 SANA-Sprint，直接 fine-tuning 与 Noise Hypernetwork 都使用 LoRA rank 128、alpha 256、SGD、batch size 3、训练 200 epochs、30 个训练 prompts、1024×1024 图像；fine-tuning 学习率是 (1e-4)，Noise Hypernetwork 是 (1e-3)。结果的重点不是 redness 这个任务本身，而是 trade-off：直接微调能强行让图更红，但 ImageReward 下降，出现伪影；HyperNoise 也能提高 redness，但更好地保持自然图像质量。这个实验支持论文的理论直觉：在噪声空间限制分布偏移，比在参数空间直接追 reward 更安全。
5.2 GenEval 主结果：接近测试时优化收益但显著更快
Table 1 的 GenEval 结果显示，HyperNoise 在三个 base models 上都提升 mean score，同时推理时间只小幅增加：
| Model | Params | Time | Mean | Single | Two | Counting | Colors | Position | Attribution |
|---|---|---|---|---|---|---|---|---|---|
| SD-Turbo | 0.8B | 0.2s | 0.49 | 0.99 | 0.51 | 0.38 | 0.85 | 0.07 | 0.14 |
| SD-Turbo + HyperNoise | 1.1B | 0.3s | 0.57 | 0.99 | 0.65 | 0.50 | 0.89 | 0.14 | 0.22 |
| SANA-Sprint | 0.6B | 0.2s | 0.70 | 1.00 | 0.80 | 0.64 | 0.86 | 0.41 | 0.51 |
| SANA-Sprint + HyperNoise | 0.9B | 0.3s | 0.75 | 1.00 | 0.88 | 0.71 | 0.85 | 0.51 | 0.55 |
| FLUX-schnell (4-step) | 12.0B | 0.7s | 0.68 | 0.99 | 0.88 | 0.66 | 0.78 | 0.27 | 0.48 |
| FLUX-schnell + HyperNoise | 13.0B | 0.9s | 0.72 | 0.99 | 0.93 | 0.67 | 0.83 | 0.30 | 0.59 |
和更重的测试时方法相比，HyperNoise 不是最高上界，但成本差距巨大。SD-Turbo 上 ReNO mean 0.63、time 20.0s，Best-of-N mean 0.60、time 10.0s，prompt optimization mean 0.59、time 95.0s；SANA-Sprint 上 ReNO mean 0.81、time 30.0s，Best-of-N mean 0.79、time 15.0s，prompt optimization mean 0.75、time 95.0s；FLUX 上 ReNO mean 0.76、time 40.0s。HyperNoise 的定位是恢复相当一部分收益，而不是每个指标都超过昂贵的测试时搜索。对部署而言，0.2s→0.3s 或 0.7s→0.9s 的增量，比 15s、30s、40s、95s 更可接受。
Figure 5 解读：定性图展示了 HyperNoise 在 SANA-Sprint 与 FLUX-Schnell 上的同噪声对比。它不是通过 cherry-pick 一个更好 seed 来取胜，而是在同一初始噪声下改变噪声初始化，使输出在属性绑定、物体关系和文本对齐上更接近 prompt。论文也把它与 SD3.5-Turbo 等流行蒸馏模型放在一起，强调方法是插在 base model 前的调制器。
5.3 多步泛化：训练在一步，测试可扩展到多步
论文重点展示了 SANA-Sprint 的多步泛化。主文 Table 2 报告：
| SANA-Sprint setting | NFEs | GenEval Mean |
|---|---|---|
| One-step | 1 | 0.70 |
| + LoRA fine-tune | 1 | 0.67 |
| + HyperNoise | 2 | 0.75 |
| Two-step | 2 | 0.72 |
| + LoRA fine-tune | 2 | 0.66 |
| + HyperNoise | 3 | 0.76 |
| Four-step | 4 | 0.73 |
| + LoRA fine-tune | 4 | 0.62 |
| + HyperNoise | 5 | 0.77 |
这个表有两个结论。第一，HyperNoise 加到 one-step SANA 上，mean 0.75 已超过 base four-step 的 0.73，说明学到的噪声偏移不是只在训练步数上有效。第二，直接 LoRA fine-tune 在一、二、四步上都下降，尤其 four-step 0.73→0.62，说明“同样 reward objective + 同样 LoRA 容量”并不足以安全提升；优化位置在噪声空间还是参数空间，影响很大。
附录 Table 8 进一步扩展到更多 NFEs：one-step 0.70→HyperNoise 0.75；two-step 0.72→0.76；four-step 0.73→0.77；eight-step 0.74→0.76；sixteen-step 0.73→0.75；thirty-two-step 0.71→0.72。随着 base inference steps 增加，额外收益变小，这是合理的：多步 base model 本身已经有更多生成计算，单次噪声调制能补的空间减少。
5.4 T2I-CompBench、DPG-Bench 与多样性
附录 T2I-CompBench 的 attribute binding 任务显示，SANA-Sprint + HyperNoise 在 color/shape/texture 上普遍提高。one-step 从 color 0.72、shape 0.49、texture 0.63 提升到 0.75、0.53、0.64；two-step 从 0.73、0.50、0.64 提升到 0.76、0.53、0.64；four-step 从 0.73、0.50、0.64 提升到 0.76、0.54、0.65。DPG-Bench 上，one-step 77.59→79.20，two-step 79.07→79.74，four-step 79.54→80.82。论文也指出当前 reward models 多依赖 CLIP/BLIP 类编码器，对超过 77 tokens 的长 prompt 改善空间有限；未来若 reward model 支持 Long-CLIP 或 LLM-decoder/VQA 类评分，长文本 prompt 的受益可能更明显。
多样性分析中，论文用 GenEval 的 553 prompts，每个 prompt 50 seeds，报告 SANA-Sprint LPIPS (0.608\pm0.074)、DINO (0.780\pm0.103)，HyperNoise 后 LPIPS (0.592\pm0.059)、DINO (0.825\pm0.090)。这表示多样性有一定变化，但没有出现典型 reward hacking 导致的模式坍塌。LoRA rank 分析也说明 rank 64 基本能接近 rank 128：one-step SANA 0.70，LoRA-rank 128 + HyperNoise 0.75，rank 64 + HyperNoise 0.75，rank 16 为 0.71，rank 8 为 0.70；four-step下 rank 128 HyperNoise 0.77，rank 64 为 0.76。也就是说，方法不完全依赖极大 LoRA 容量，过低 rank 才明显不够。
Figure 7 解读：更多定性结果显示，HyperNoise 主要改善文本属性、物体关系和整体偏好，而不是简单改变风格或亮度。由于 base 和 HyperNoise 使用相同初始噪声，对比更接近“同一个生成轨迹被调制后是否更好”，而不是比较不同 seed 的偶然差异。
Figure 8 解读：non-cherry-picked 对比很重要，因为 reward-guided 方法容易只展示成功案例。这里的随机样本说明 HyperNoise 的收益不是只存在于少量精选 prompt；但也能看到它不是万能修复器，复杂空间关系、计数和长组合 prompt 仍会有失败。
5.5 局限与复现注意事项
论文的主要局限有三类。第一，方法依赖 reward model 的覆盖范围。如果 reward model 对长 prompt、细粒度空间关系或多对象绑定不敏感，HyperNoise 学到的偏移也会受限；DPG-Bench 讨论中作者明确提到 CLIP/BLIP encoder 的上下文长度限制。第二，HyperNoise 需要为目标 reward 和 base model 做 post-training；它摊销的是推理时计算，不是完全免训练。第三，虽然噪声空间 L2 正则比直接微调更稳，但它仍只是近似 KL；如果 reward 非常尖锐、与 base distribution 冲突很强，或者 (f_\phi) 容量/权重过大，仍可能出现质量下降。
复现时还应注意代码与论文表格的粒度不同。论文表格报告的是实验设置和结果，当前 GitHub 脚本给的是一个可运行入口；二者在部分 SD-Turbo 参数上并非完全一致。严谨复现应固定 main@9c9e7d8e，记录脚本参数、模型 checkpoint、reward model 版本、prompt 数据来源，并分别报告 paper table 设置与 released script 设置。若要迁移到视频、音频或多模态生成，最关键的问题不是公式本身，而是：是否存在可微或可训练用的 reward、base generator 的初始噪声/latent 是否可被稳定调制、以及 reward 模型是否会诱导跨模态 reward hacking。
总体来看，Noise Hypernetworks 的贡献是把视觉生成中的 test-time scaling 明确做成一种可摊销的分布学习问题：用噪声空间的可控变换近似 reward-tilted distribution，在推理时以一次前向替代多步优化。它不追求完全替代 ReNO 这类昂贵上界，而是给出一个部署友好的折中点：比 base distilled model 更强，远快于逐样本测试时优化，并且比直接 reward fine-tuning 更有理论和实践上的正则保障。