网站备案到期了怎么办,门户型网站模板,零基础学电脑的自学软件,做钓鱼网站软件下载阿里提出UniPortrait#xff0c;能根据用户提供的文本描述#xff0c;快速生成既忠实于原图又能灵活调整的个性化人像#xff0c;用户甚至可以通过简单的句子来描述多个不同的人物#xff0c;而不需要一一指定每个人的位置。这种设计大大简化了用户的操作#xff0c;提升了…阿里提出UniPortrait能根据用户提供的文本描述快速生成既忠实于原图又能灵活调整的个性化人像用户甚至可以通过简单的句子来描述多个不同的人物而不需要一一指定每个人的位置。这种设计大大简化了用户的操作提升了个性化生成的效率和效果。 UniPortrait以统一的方式定制单 ID 和多 ID 图像提供高保真身份保存、广泛的面部可编辑性、自由格式的文本描述并且无需预先确定的布局。
亮点直击 UniPortrait是一种创新的人类形象个性化框架该框架统一了具有高面和可控性的单ID定制和多ID定制 文中提出了一个新颖的ID嵌入模块具有脱钩策略该模块嵌入了详细的面部身份信息同时保持良好的编辑性。 文中介绍了ID路由机制该机制解决了多ID自定义中的身份混合问题但并不损害每个身份完整性生成的图像多样性和迅速设计灵活性。
相关链接
论文地址http://arxiv.org/abs/2408.05939v1
项目地址https://aigcdesigngroup.github.io/UniPortrait-Page/
论文阅读 UniPortrait用于保留身份的单人和多人图像个性化的统一框架
摘要
本文介绍了一种创新的人体图像个性化框架 UniPortrait它将单 ID 和多 ID 定制与高人脸保真度、广泛的人脸可编辑性、自由形式的输入描述和多样化的布局生成统一起来。UniPortrait 仅包含两个即插即用模块ID 嵌入模块和 ID 路由模块。ID 嵌入模块使用解耦策略为每个 ID 提取多功能可编辑人脸特征并将它们嵌入到扩散模型的上下文空间中。然后ID 路由模块将这些嵌入自适应地组合和分布到合成图像中的各自区域实现单 ID 和多 ID 的定制。通过精心设计的两阶段训练方案UniPortrait 在单 ID 和多 ID 定制中均实现了卓越的性能。定量和定性实验证明了我们的方法优于现有方法的优势以及良好的可扩展性例如与现有生成控制工具的通用兼容性。
方法
UniPortrait由两个即插即用的模块组成ID 嵌入模块和 ID 路由模块。ID 嵌入模块使用针对每个 ID 的解耦策略提取多功能可编辑面部特征ID 路由模块自适应地组合和分配这些嵌入到各自的位置而无需提示和布局的干预。该框架的整个训练过程分为两个阶段即单 ID 训练阶段和多 ID 微调阶段。 UniPortrait仅由两模块组成ID嵌入模块和ID路由模块。
ID嵌入模块使用Stable Diffusion模型接受文本提示并生成对应图像。该模块通过提取面部特征并在嵌入过程中采用多层感知机模型确保ID信息的高保真度和可编辑性。同时通过将深层次的特征与结构特征相结合UniPortrait能够有效地解耦身份信息和外部干扰信息消除过拟合的可能性。
在ID路由模块中UniPortrait引入了位置无关的ID嵌入将每个潜在面部区域与一个独特ID相连从而有效解决多ID生成中的身份混淆问题。训练过程分为两个阶段单ID训练阶段和多ID微调阶段。这样的设计确保了模型不仅支持单一身份的定制还能处理复杂的多身份任务。
实验
文本到单一 ID 个性化示例 文本到多 ID 个性化示例 与之前作品的比较 对单一 ID 图像定制的不同方法进行定性比较。 对多 ID 图像定制的不同方法进行定性比较。为了与 FastComposer 兼容数字复数表达例如two men被转换为由and连接的单数短语例如a man and a man。 多 ID 定制的其他示例。UniPortrait 能够使用自由格式提示定制多 ID 图像并生成不同的布局。
多样化应用 UniPortrait 在对齐 ID、保持及时一致性以及增强生成图像的多样性和质量方面的卓越性能为大量潜在的下游应用铺平了道路。
结论
我们介绍了UniPortrait该模型是为单IID图像的统一定制而开发的。 UniPortrait结合了一个高级ID嵌入模块可确保高保真和可编辑的身份嵌入。此外已经集成了一个模块化的插件ID路由组件以解决多个ID生成过程中身份混合物的挑战。经验结果表明UniPortrait通过提供不仅具有高质量和多样性的合成而且提供了强大的编辑性和强大的身份保真度来优于现有方法。我们希望我们的单一图案将在该领域内作为新的基线工作提供所有研究机构可以遵循复制和优化的基准。
限制。 考虑到路由决策路由器仅基于人类ID信息我们的 ID路由模块当前无法自定义与面对身份无关的属性例如服装和动作 对于多ID世代中的每个ID。可能的解决方案是为了将所有感兴趣属性的表示形式送入指导ID路由的路由器即属性绑定ID路由。我们将其留给以后的研究。
