Stable Diffusion XL 1.0官方大模型

使用介绍

最初发布于 Hugging Face，并经 Stability AI 许可在此分享。

SDXL 由用于潜在扩散的两步管道组成：首先，我们使用基本模型来生成所需输出大小的潜在。在第二步中，我们使用专门的高分辨率模型，并将一种称为 SDEdit（https://arxiv.org/abs/2108.01073，也称为“img2img”）的技术应用于第一步中生成的潜伏，使用同样的提示。

型号说明

• 开发者：Stability AI
• 模型类型：基于扩散的文本到图像生成模型
• 模型说明：这是一个可以根据文字提示生成和修改图像的模型。它是一个潜在扩散模型，使用两个固定的、预训练的文本编码器（OpenCLIP-ViT/G和CLIP-ViT/L）。
• 有关更多信息的资源： GitHub 存储库。

模型来源

• 存储库： https://github.com/Stability-AI/generative-models
• 演示[可选]： https://clipdrop.co/stable-diffusion

用途

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括

• 艺术品的生成以及在设计和其他艺术过程中的使用。
• 在教育或创意工具中的应用。
• 生成模型的研究。
• 安全部署可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏差。

排除的用途如下所述。

超出范围的使用

该模型并未经过训练以真实或真实地表示人或事件，因此使用该模型生成此类内容超出了该模型的能力范围。

局限性和偏见

局限性

• 该模型没有达到完美的真实感
• 模型无法呈现清晰的文本
• 该模型难以应对涉及组合性的更困难的任务，例如渲染与“蓝色球体顶部的红色立方体”相对应的图像
• 一般情况下，面孔和人物可能无法正确生成。
• 模型的自动编码部分是有损的。

偏见

虽然图像生成模型的能力令人印象深刻，但它们也会强化或加剧社会偏见。

上图评估了用户对 SDXL（有或没有细化）相对于 Stable Diffusion 1.5 和 2.1 的偏好。 SDXL基础模型的性能明显优于之前的变体，并且与细化模块相结合的模型实现了最佳的整体性能。

github项目地址：https://github.com/Stability-AI/generative-models

基础模型下载地址：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors

细化模型下载地址：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0.safetensors