FLUX.1-Dev&Schnell-High Quality 8-Step Modified Version FP8

FLUX.1-Dev&amp;Schnell MIX FP8-魔改组 AiARTiST近期stable diffusion的部分核心开发同学，推出了全新的图像生成模型FLUX.1。从模型架构上看，FLUX.1和SD3有很多相似之处，都是基于FlowingMatching调度的模型，都通过引入T5来增强prompt的依从性。而比较显著的区别在于：flux模型引入了一种叫DoubleStreamBlock的结构，具体来说在前几层layer中，采用了txt和img embedding独立过各自的transformer块，然后再拼到一起过统一的transformer块，我们推测是为了进一步对齐图像和文本特征，但是这部分还没有更具体的技术报告。 魔改组在schnell与dev基础上进行了50：50融合，并且量化为FP8版本。实测显存占用8~12G，内存占用22G 基本上达到了全民可用的程度 此版本支持Liblib平台ComfyUI模式下工作流加载，兼顾速度与质量！ 推荐步数：8 | 采样器：Euler | 调度器：simple | 专属vae：ae.sft | T5: xxl fp8 FLUX.1在文本控制能力，多主体生成能力，手部生成能力等取得了很好的效果。 FLUX.1提供三种型号： <table style="width: auto;"><tbody><tr><td colSpan="1" rowSpan="1" width="auto">模型版本</td><td colSpan="1" rowSpan="1" width="auto">模型链接</td><td colSpan="1" rowSpan="1" width="auto">License</td></tr><tr><td colSpan="1" rowSpan="1" width="auto">FLUX.1 [schnell]</td><td colSpan="1" rowSpan="1" width="auto"><a href="https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell" target="">https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell</a></td><td colSpan="1" rowSpan="1" width="auto">apache-2.0</td></tr><tr><td colSpan="1" rowSpan="1" width="auto">FLUX.1 [dev]</td><td colSpan="1" rowSpan="1" width="auto"><a href="https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev" target="">https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev</a></td><td colSpan="1" rowSpan="1" width="auto">FLUX.1-dev Non-Commercial License</td></tr><tr><td colSpan="1" rowSpan="1" width="auto">FLUX.1 [pro]</td><td colSpan="1" rowSpan="1" width="auto">仅可通过API访问</td><td colSpan="1" rowSpan="1" width="auto"> AutoDecoder的权重也在模型repo中一起开源，且开源协议为Apache-2.0。 因为dev版本模型size达到12B，为了可以在消费级显卡使用，社区开发者也分享了fp8版本。</td></tr></tbody></table> <img src="https://liblibai-online.liblib.cloud/img/d6178593b5834f9fa487bca389ce5d83/ed7da2a181d6c702abf4a6b26a6f820dcf0508e16090be3c5e3b974f4b6dd99a.png?x-oss-process=image/resize,w_1290,m_lfit/format,webp" alt="" data-href="https://liblibai-online.liblib.cloud/img/d6178593b5834f9fa487bca389ce5d83/ed7da2a181d6c702abf4a6b26a6f820dcf0508e16090be3c5e3b974f4b6dd99a.png?x-oss-process=image/resize,w_1290,m_lfit/format,webp" style=""/><h2 style="text-align: left;"></h2><h2 style="text-align: left;">下载和部署ComfyUI</h2>clone代码，并安装相关依赖：<pre><code class="language-Plaintext">#@title Environment Setup
from pathlib import Path
OPTIONS = {}
UPDATE_COMFY_UI = True #@param {type:"boolean"}WORKSPACE = 'ComfyUI'OPTIONS['UPDATE_COMFY_UI'] = UPDATE_COMFY_UI
WORKSPACE = "/mnt/workspace/ComfyUI"%cd /mnt/workspace/
![ ! -d $WORKSPACE ] && echo -= Initial setup ComfyUI =- && git clone https://github.com/comfyanonymous/ComfyUI%cd $WORKSPACE
if OPTIONS['UPDATE_COMFY_UI']: !echo -= Updating ComfyUI =- !git pull
!echo -= Install dependencies =-</code></pre><h2 style="text-align: left;">模型下载</h2><pre><code class="language-Plaintext">#@markdown ###Download standard resources
FLUX1-DEV!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/unet/ flux1-dev.sft!modelscope download --model=AI-ModelScope/flux-fp8 --local_dir ./models/unet/ flux1-dev-fp8.safetensors

Download text encoder model!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp16.safetensors!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ clip_l.safetensors!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp8_e4m3fn.safetensors

vae!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/vae/ ae.sft
</code></pre> ----------------------------------------------------------------------AiARTiST 提供模型训练/工作流搭建/内容制作服务 开源知识库： <a href="https://x1f3ewlrcf.feishu.cn/wiki/BjJ1waQaLitPB4k7Lbvc0MaVnzb" target="_blank">https://x1f3ewlrcf.feishu.cn/wiki/BjJ1waQaLitPB4k7Lbvc0MaVnzb</a> ----------------------------------------------------------------------Lib会员可享有在线加速生成，方便在线搭配CADS系列LoRA使用。模型清单： <a href="https://www.liblib.art/search?keyword=AiARTiST" target="_blank">https://www.liblib.art/search?keyword=AiARTiST</a>免费模型占比 55% ，开源模型占比 95%会员模型占比 40% ，闭源模型占比 5% 商用模型：AiARTiST-CADS2.0 XL 商业广告辅助系统（企业定制）<a href="https://www.liblib.art/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f" target="_blank">https://www.liblib.art/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f </a>&lt;&lt;<a href="https://www.liblib.art/modelinfo/a56ebacdba7d4e30b97bb124bc3fc28f" target="_blank">点击直达</a>----------------------------------------------------------------------其他模型推广： 开源模型 UNIT-lib XL（已包含1GIRL权重，叠加使用可加强人像）：AiARTiST XL 基础单元 CADS2 LoRA 兼容版 站内链接<a href="https://www.liblib.art/modelinfo/b10dfccc06f34dfa9031f1d070d846ee" target="_blank">https://www.liblib.art/modelinfo/b10dfccc06f34dfa9031f1d070d846ee</a> UNIT2XL基础单元2-图形设计与IP形象AiARTiST 站内链接<a href="https://www.liblib.art/modelinfo/a202d2e89e2946539a52a5a4e937262d" target="_blank">https://www.liblib.art/modelinfo/a202d2e89e2946539a52a5a4e937262d</a>UNIT-lib XL 开放会员下载，支持融合，会员同时享有在线加速生成 更明亮的3D效果，请搭配 ACG Playground V6 开源版 ：<a href="https://www.liblib.art/modelinfo/4bb107737a1349f7a053bbf618e46977" target="_blank">https://www.liblib.art/modelinfo/4bb107737a1349f7a053bbf618e46977</a> &lt;&lt;<a href="https://www.liblib.art/modelinfo/4bb107737a1349f7a053bbf618e46977" target="_blank">免费下载</a> ControlNET 配置优化方案及本地配置方案，请加群：联系方式见 <a href="https://afdian.net/a/AiARTiST-lib" target="_blank">https://afdian.net/a/AiARTiST-lib</a> 发电用户专享 ----------------------------------------------------------------------模型用途声明： 1. 您不得将此模型及其衍生版本（如融合模型版本）托管于计划赚取收入或捐赠的网站/应用程序。2. 您不得直接售卖此模型及其衍生版本（如融合模型版本），除非您对此模型进行了足够程度的人工修改，使其在法律意义上可以被完全判定为您的个人作品。如果您违反本条，所造成的一切法律后果由您个人承担，请恕本人概不负责。3. 您不能使用该模型故意制作或共享非法或有害的内容传播和输出，请您遵守公序良德，将此模型用于积极正面的用途。----------------------------------------------------------------------测试问题请留言，业务合作看个人首页 +V Zyuan980AiARTiST | Metaverse 中国·山东 数字人/AiGC/元宇宙方向做好工具人 服务艺术家 联系方式：K.F.C. <a href="https://x1f3ewlrcf.feishu.cn/wiki/BjJ1waQaLitPB4k7Lbvc0MaVnzb" target="_blank">开源模型魔改组飞书资料库</a>

Files with SHA256: bb85116e07c183337e3ee24ea7cdaa47aff09263ede18c0548ba51716a094106