基于文生图模型的创新应用
1. IN-CONTEXT LORA FOR DIFFUSION TRANSFORMERS
论文地址
解决的问题
如何低成本快速实现组图的生成
核心原理
利用基础模型的生成能力，使用lora+sdedit（inpainting）实现组图的生成，并保证组图间内容的关联和连续性。仅通过lora激活和加强基础模型生成组图能力，并设计构建prompt实现组图的输出
prompt的构建
prompt构建方式：整个组图描述+每张图的具体描述，用[IMAGE*]来标识每张图片的起始描述，用<*>来定义任务，以保持组图内人物id的连续性
SDEdit
无参考图时直接文生图生成大图，然后切分成需要的小图；
有参考图时采用SDEdit方案（inpainting），输入含参考图的大图，剩余部分mask掉，让模型去生成：
