使用介绍
AntiBlur Lora 已经有了显著的改进!
新版 Lora 的改进:
- DoF 可以通过 Lora 的权重进行调整。
因此,权重为 0 将产生较浅的 DoF,这对于 Flux 生成来说是典型的。
默认权重 1.0 会将景深降低到(希望)更令人愉悦的图像,而不会对风格和构图产生重大影响。目标是让权重为 1.0 的景深完全符合您的预期:这里或那里出现轻微的良好散景,而不会像 Flux 那样过度散景(稍后会详细介绍)
权重超过 1.0 时,可以拍摄具有深景深的照片。Lora 可以处理高达 3.0 及以上的权重,且不会显著降低质量。
- 风格中性
数据集由使用 Flux 创建的数百张图像组成,以免风格与原始模型相差太远,同时使用少量真实照片来防止 Flux 的构图质量下降(当你在自己的图片上训练 AI 时就会发生这种情况)
- 与 Hires 完美搭配。修复
这款 Lora 与 hiresfix 配合使用效果很好,可让您进一步增加细节并尽量减少浅景深。基本 Flux 并非如此,因为尝试对浅景深模糊图像进行 hires.fix 时,图像仍会保持模糊并保持相同的景深效果。您只需要细节开始出现在图像中,hires.fix 即可进一步改善它们。
- 不再有触发词
只需连接 Lora,它就能完成工作
- 更少的伪影
使用 Flux 生成的图像可最大限度地减少伪影。我还训练了很多模型,并使用anashel 提供的工具将其中最好的模型合并(这可以平滑导致伪影的各个模型的边缘。此外,合并对于使模型在风格上更加多样化特别有用。)
为什么 Lora 的重量为 655mb
在我看来,具有“深景深”效果的 Lora 应该很小,因为它不会引入新的风格或概念,它只需要去除浅景深。
因此,我尝试了不同的 Lora 等级,但结果发现,有关背景的信息在潜在空间中无处不在,模型越大,结果就越好。这就是我选择 128 等级 Lora 的原因。
可以隔离 Lora 的图层,只使用包含 DoF 信息的图层,但事实证明,有关 DoF 的信息分散在大多数图层中。例如,在生成微距镜头时,DoF 是从第一层生成的。背景中出现的信息实际上在模型中无处不在,恒定的浅 DoF 就是 Flux 的训练数据。更糟糕的是,Flux 对 DoF 和模糊的概念理解非常差。因此,它不仅比 SD1.5/SDXL 存在的数量大得多,而且对它的控制也比 SD1.5/SDXL 差得多。
这个Lora是怎么做出来的
首先,我使用焦点堆叠技术和深度景深技术整理出一个巨大的数据集,并在此基础上训练了一个新的 Lora。接下来,我使用这个 Lora 为新数据集创建了图像。
我有数百种“防模糊”Lora 变体,从中挑选出各有优点的最佳变体,并将它们组合成一个均衡的模型。
下一步是什么?
由于等级越高,质量越好,因此改善结果的明显方法是训练完整的微调(并有效地触及潜在空间的每个角落,那里有与背景相关的信息),然后提取 Lora。
另一个理论选择是在 Flux 潜在空间中找到“模糊”或“dof”概念/权重,然后通过倒置权重构建 Lora。不过,这种方法对于基于 SD 的模型中的 dof 控制效果不佳。
不过,到目前为止,我对结果很满意。这个模型在一段时间内仍是我最好的努力成果
作品参照
<lora:no-blur:1>,no blur,award-winning photography,award-winning idea,bold composition,the background is three muslim women in black robes sat together,the close-up is a woman in a red dress pass by,the red dress is motion blur,minimalism,white wall,
Negative prompt: bad hands,
Steps: 30, CFG scale: 1, Sampler: Euler, Seed: 2473151814, Size: 680x1024, Model: flux1DevV1V2Flux1_flux1DevBNBNF4V2, Version: f2.0.1v1.10.1-latest-673-g0d8eb4c5, Model hash: d3532ec6fd, Hires upscale: 2, Schedule type: Simple, Hires upscaler: 4x-UltraSharp, ADetailer model: face_yolov8s.pt, ADetailer version: 24.8.0, Denoising strength: 0.1, ADetailer mask blur: 4, ADetailer model 2nd: face_yolov8n.pt, ADetailer model 3rd: hand_yolov8s.pt, Distilled CFG Scale: 3, ADetailer confidence: 0.3, ADetailer dilate erode: 4, ADetailer mask blur 2nd: 4, ADetailer mask blur 3rd: 4, ADetailer confidence 2nd: 0.3, ADetailer confidence 3rd: 0.3, ADetailer inpaint padding: 32, ADetailer dilate erode 2nd: 4, ADetailer dilate erode 3rd: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding 2nd: 32, ADetailer inpaint padding 3rd: 32, ADetailer denoising strength 2nd: 0.4, ADetailer denoising strength 3rd: 0.4, ADetailer inpaint only masked 2nd: True, ADetailer inpaint only masked 3rd: True
blurry glass fortress in background, analog photography, pale colors, moody ambient, sad energy, mysterious blurry silhouettes in colorful attire in front of the camera <lora:AntiBlur:1.5>
Negative prompt: blur, dof
Steps: 30, CFG scale: 1, Sampler: Euler, Seed: 1339, Size: 1128x976, Model: [flux1]-dev, Version: f2.0.1v1.10.1-previous-317-g4bb56139, Module 1: [flux] ae, Module 2: clip_l, Module 3: t5xxl_fp16, Model hash: 5be71bf8f4, Hires upscale: 1.65, Schedule type: Simple, Hires upscaler: 4x-UltraSharp, Denoising strength: 0.61, Distilled CFG Scale: 3.5
dramatic composition with close up of a knight on a horse looking at snow covered mountain with a castle, fire at a castle with a lot of smoke, eroded interiors, intel core, dark cyan and orange, made of wrought iron, birds fly in the sky, heavy shading, heavy wind, extreme weather, dark time <lora:AntiBlur:1.7>
Negative prompt: blur, dof
Steps: 30, CFG scale: 1, Sampler: Euler, Seed: 1346, Size: 1208x920, Model: [flux1]-dev, Version: f2.0.1v1.10.1-previous-317-g4bb56139, Module 1: [flux] ae, Module 2: clip_l, Module 3: t5xxl_fp16, Model hash: 5be71bf8f4, Hires upscale: 1.65, Schedule type: Simple, Hires upscaler: 4x-UltraSharp, Denoising strength: 0.55, Distilled CFG Scale: 3.5