Description
FLUX.1-Dev&Schnell MIX FP8-魔改组 AiARTiST
近期stable diffusion的部分核心开发同学，推出了全新的图像生成模型FLUX.1。
从模型架构上看，FLUX.1和SD3有很多相似之处，都是基于FlowingMatching调度的模型，都通过引入T5来增强prompt的依从性。而比较显著的区别在于：flux模型引入了一种叫DoubleStreamBlock的结构，具体来说在前几层layer中，采用了txt和img embedding独立过各自的transformer块，然后再拼到一起过统一的transformer块，我们推测是为了进一步对齐图像和文本特征，但是这部分还没有更具体的技术报告。
魔改组在schnell与dev基础上进行了50：50融合，并且量化为FP8版本。
实测显存占用8~12G，内存占用22G 基本上达到了全民可用的程度
此版本支持Liblib平台ComfyUI模式下工作流加载，兼顾速度与质量！
推荐步数：8 | 采样器：Euler | 调度器：simple | 专属vae：ae.sft | T5: xxl fp8
FLUX.1在文本控制能力，多主体生成能力，手部生成能力等取得了很好的效果。
FLUX.1提供三种型号：
| 模型版本 | 模型链接 | License |
| FLUX.1 [schnell] | https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell | apache-2.0 |
| FLUX.1 [dev] | https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev | FLUX.1-dev Non-Commercial License |
| FLUX.1 [pro] | 仅可通过API访问 | AutoDecoder的权重也在模型repo中一起开源，且开源协议为Apache-2.0。 因为dev版本模型size达到12B，为了可以在消费级显卡使用，社区开发者也分享了fp8版本。 |
下载和部署ComfyUI
clone代码，并安装相关依赖：
#@title Environment Setup
from pathlib import Path
OPTIONS = {}
UPDATE_COMFY_UI = True #@param {type:"boolean"}WORKSPACE = 'ComfyUI'OPTIONS['UPDATE_COMFY_UI'] = UPDATE_COMFY_UI
WORKSPACE = "/mnt/workspace/ComfyUI"%cd /mnt/workspace/
![ ! -d $WORKSPACE ] && echo -= Initial setup ComfyUI =- && git clone https://github.com/comfyanonymous/ComfyUI%cd $WORKSPACE
if OPTIONS['UPDATE_COMFY_UI']: !echo -= Updating ComfyUI =- !git pull
!echo -= Install dependencies =-模型下载
#@markdown ###Download standard resources
FLUX1-DEV!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/unet/ flux1-dev.sft!modelscope download --model=AI-ModelScope/flux-fp8 --local_dir ./models/unet/ flux1-dev-fp8.safetensors
Download text encoder model!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp16.safetensors!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ clip_l.safetensors!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp8_e4m3fn.safetensors
vae!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/vae/ ae.sft
----------------------------------------------------------------------
AiARTiST 提供模型训练/工作流搭建/内容制作服务 开源知识库：
https://x1f3ewlrcf.feishu.cn/wiki/BjJ1waQaLitPB4k7Lbvc0MaVnzb
----------------------------------------------------------------------
Lib会员可享有在线加速生成，方便在线搭配CADS系列LoRA使用。
模型清单： https://www.liblib.art/search?keyword=AiARTiST
免费模型占比 55% ，开源模型占比 95%
会员模型占比 40% ，闭源模型占比 5%
商用模型：
AiARTiST-CADS2.0 XL 商业广告辅助系统（企业定制）
https://www.liblib.art/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f <<点击直达
----------------------------------------------------------------------
其他模型推广：
开源模型 UNIT-lib XL（已包含1GIRL权重，叠加使用可加强人像）：
AiARTiST XL 基础单元 CADS2 LoRA 兼容版 站内链接
https://www.liblib.art/modelinfo/b10dfccc06f34dfa9031f1d070d846ee
UNIT2XL基础单元2-图形设计与IP形象AiARTiST 站内链接
https://www.liblib.art/modelinfo/a202d2e89e2946539a52a5a4e937262d
UNIT-lib XL 开放会员下载，支持融合，会员同时享有在线加速生成
更明亮的3D效果，请搭配 ACG Playground V6 开源版 ：
https://www.liblib.art/modelinfo/4bb107737a1349f7a053bbf618e46977 <<免费下载
ControlNET 配置优化方案及本地配置方案，请加群：
联系方式见 https://afdian.net/a/AiARTiST-lib 发电用户专享
----------------------------------------------------------------------
模型用途声明：
1. 您不得将此模型及其衍生版本（如融合模型版本）托管于计划赚取收入或捐赠的网站/应用程序。
2. 您不得直接售卖此模型及其衍生版本（如融合模型版本），除非您对此模型进行了足够程度的人工修改，使其在法律意义上可以被完全判定为您的个人作品。如果您违反本条，所造成的一切法律后果由您个人承担，请恕本人概不负责。
3. 您不能使用该模型故意制作或共享非法或有害的内容传播和输出，请您遵守公序良德，将此模型用于积极正面的用途。
----------------------------------------------------------------------
测试问题请留言，业务合作看个人首页 +V Zyuan980
AiARTiST | Metaverse 中国·山东 数字人/AiGC/元宇宙方向
做好工具人 服务艺术家 联系方式：K.F.C. 开源模型魔改组飞书资料库