关于不同生成模型 dynamic 的思考

generation dynamic 是生成模型的核心假设，不是采样细节

生成模型之间的差别不只在 architecture、loss 或采样速度，也在于它们如何规定生成过程。自回归把生成写成一个线性展开过程，前面生成的内容成为后面的条件；扩散把生成写成从噪声到样本的逐步去噪过程。这些 dynamic 都是在规定模型如何消解不确定性。比较新生成模型时，需要先看它的状态如何初始化、每一步更新什么、是否允许重写、什么时候停止。只换网络但不改变生成路径，未必触及生成过程本身的问题。

AR 和 diffusion 的真正差异是两种不确定性消解路径

自回归适合离散序列，因为它把联合分布拆成顺序条件概率，训练简单、扩展性好。但它的路径很硬，早期错误会成为后续条件，模型很难自然回头修正。扩散适合图像、视频、音频等连续信号，因为它可以全局更新，从粗糙状态逐步收敛到样本。但扩散也有强预设：初始状态通常是噪声，生成过程依赖 noise schedule 和 solver。两者不是谁绝对更自然，而是各自选择了一条不同的熵压缩路线。

“熵下降”需要允许局部反悔

好的生成过程通常会从高不确定性走向低不确定性，先确定结构和语义，再补局部细节。但这个过程不能被理解成每一步都必须单调变确定。图像局部关系出错、视频运动方向偏移、物体交互不一致时，模型需要重新打开局部不确定性，再生成一次。严格单调的熵下降会让模型过早锁死，只能在错误上继续修补。更合理的 dynamic 是整体逐渐收敛，但局部允许重采样、重写和修正。

未来生成器更像草稿管理器，而不是固定 sampler

固定 sampler 每一步执行预设动作，例如去噪一次或生成下一个 token。更通用的生成器应该维护一个内部工作区：哪些区域已经确定，哪些区域仍不稳定，哪些约束尚未满足，下一步应该补全、局部重写、全局 refine，还是调用 verifier。这样的系统更适合长视频、机器人和可编辑生成，因为这些任务需要持续维护状态和修复错误。生成能力不只体现在最终样本，还体现在模型能否管理中间草稿。

生成轨迹应该进入 eval

只看最终样本会隐藏生成过程中的问题。模型可能最后画面质量高，但早期结构已经锁死，局部错误无法修复；视频可能单帧不错，但长期状态漂移。评估 generation dynamic 时，需要看模型是否能识别不确定区域、是否能把算力分配给困难部分、是否允许局部重写、是否能被 verifier 拉回。对长程生成和交互式编辑来说，轨迹弹性会比单次样本分数更能说明模型能力。