生成式模型的热点新闻和进展

passion！！！

本帖子纯属是对生成式的发展很感兴趣，因此想着做一个集锦来收集该领域都发生了哪些事情。哈哈哈哈哈哈

20241112 Tue.

1. 扩散模型失宠？端侧非自回归图像生成基础模型Meissonic登场，超越SDXL！
   summary: Meissonic模型提出了全新的解决方案，基于非自回归的掩码图像建模（MIM），为高效、高分辨率的T2I生成设定了新标准。 而这一切，都只需SDXL 1/3的推理时间和1/2的显存占用。值得注意的是，Meissonic可以在8GB显存下运行，让中低端显卡的用户也能受益。

2. 【他山之石】DuoDiff：提升浅层Transformer 性能的扩散模型，双Backbone件扩散模型在图像处理中的应用 ！
   summary：扩散模型在图像生成方面取得了前所未有的性能，但由于其迭代采样过程，推理速度较慢。 为了解决这个问题，最近提出了早期终止（Early-exiting）的方法。在这里，作者发现在当前自适应扩散模型的采样过程中存在一个有趣的“相变”：在初始采样步骤中，去噪网络始终过早地退出，直到突然切换到使用整个网络。基于这个发现，作者提出了一种加速生成的方法：在初始采样步骤中使用较浅的去噪网络，而在后续步骤中使用较深的网络。有趣的是, 作者发现生成过程的早期（即, 对于大的t），只有去噪网络的少量层处于活动状态,而当 接近 0 时，整个网络都被利用. 这表明扩散模型中的生成过程开始于一个更容易的阶段，然后是更具有挑战性的阶段。受这些发现启发，作者在每个采样步骤上都消除了动态的早期退出, 并引入了一种（静态）双 Backbone 设计, 即DuoDiff。

3. 真·打字P图！字节发布新模型SeedEdit，一句话爆改世界名画，可免费体验
   summary: 11 月 11 日，字节跳动豆包大模型团队推出了最新图像编辑模型 SeedEdit，主打一句话轻松 P 图。它是国内首个产品化的通用图像编辑模型，无需描边涂抹，仅使用简单的自然语言，就能换背景、转风格，或者在指定区域进行元素的增删和替换。 该工作发现，AI 生成式图像编辑的关键，在于在保持原始图像（图像重建）和生成新图像（图像生成）之间的平衡。 这就意味着若想让图像生成的 AI 模型拥有修图能力，就需要在大量相应的成对数据上训练这个模型。因此，SeedEdit 采取的方式是从一个弱生成器（文本到图像生成模型）开始，再在上述两个方向之间创建多样化的图像对，以此来逐步训练模型，最终获得我们所需要的平衡。