Loading...

文章背景图

Qwen-Image:通义千问开源图像生成基座模型安装与使用指南

2026-09-20
0
- 字
- 分钟
|

Qwen-Image:通义千问开源图像生成基座模型安装与使用指南

官方信息

项目名称Qwen-Image
仓库地址https://github.com/QwenLM/Qwen-Image
官方网站https://qwenlm.github.io
最新更新2026-09-20
Star 数约 5k+
项目定位阿里巴巴通义千问团队开源的图像生成基座模型,支持中英文提示词、文字渲染、高分辨率出图与图像编辑

项目背景

Qwen-Image 是阿里巴巴通义千问(Qwen)团队于2025年推出的文生图像基座模型,是Qwen大模型家族在图像生成领域的重要组成部分。与FLUX、SDXL等海外模型相比,Qwen-Image最大的优势在于原生支持中文提示词和中文文字渲染,对国内用户来说无需费心翻译提示词,生成的中文海报、字帖、招牌也更加自然。

Qwen-Image 采用 200 亿参数的 DiT(Diffusion Transformer)架构,基于Qwen2.5-VL视觉语言模型作为文本编码器,能够深度理解复杂的中文语义和场景描述。模型在超过10亿高质量图文对上训练,覆盖了写实、动漫、国风、插画、产品设计等多种风格。

除了基础文生图能力,Qwen-Image 还提供了图像编辑(Qwen-Image-Edit)、参考图生成(Qwen-Image-Reference)等衍生模型,形成了完整的图像生成工具链。官方仓库同时提供了ComfyUI自定义节点、Diffusers Pipeline和Web Demo,方便不同技术水平的用户接入使用。

核心特性

  • 原生中文理解:以中文为主要训练语言之一,中文提示词理解能力远超海外模型
  • 优秀中文文字渲染:能在图片中生成清晰可读的中文汉字,适合做海报、字帖、招牌
  • 200亿参数DiT架构:基于Qwen2.5-VL文本编码器,语义理解深度领先开源模型
  • 高分辨率输出:原生支持1328×1328分辨率,可扩展到2K以上
  • 图像编辑能力:衍生模型Qwen-Image-Edit支持指令式局部编辑("把天空改成日落")
  • 参考图生成:Qwen-Image-Reference支持以图生图、人物一致性
  • 完全开源可商用:采用Apache 2.0协议,权重免费下载,可商用

环境要求

项目最低要求推荐配置
GPU 显存16GB(FP8量化)24GB+(FP16原版)
CUDA12.1+12.4
Python3.103.10 / 3.11
系统Ubuntu 22.04 / Windows 11Ubuntu 22.04 LTS
磁盘空间40GB80GB+(含所有衍生模型)

详细部署步骤

方式一:Diffusers Pipeline(推荐)

  1. 创建环境
    conda create -n qwenimage python=3.10 -y
    conda activate qwenimage
    # 或
    python -m venv venv
    source venv/bin/activate
  2. 安装PyTorch 2.4+(CUDA 12.1)
    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
  3. 安装Diffusers与依赖
    pip install -U diffusers transformers accelerate sentencepiece
    pip install qwen-vl-utils  # Qwen-VL工具集
  4. 下载并推理
    import torch
    from diffusers import QwenImagePipeline
    from diffusers.utils import load_image
    
    pipe = QwenImagePipeline.from_pretrained(
        "Qwen/Qwen-Image",
        torch_dtype=torch.bfloat16,
        trust_remote_code=True
    )
    pipe.to("cuda")
    
    # 中文提示词直接用
    image = pipe(
        prompt="一只穿着汉服的橘猫,坐在西湖边的长椅上,背景是雷峰塔,水彩画风格",
        negative_prompt="模糊,低质量,变形,文字错误",
        width=1328,
        height=1328,
        num_inference_steps=30,
        true_cfg_scale=4.0,
        generator=torch.Generator("cuda").manual_seed(42)
    ).images[0]
    
    image.save("qwen_output.png")

    首次运行会自动从HuggingFace下载约40GB权重,建议提前配置国内镜像:export HF_ENDPOINT=https://hf-mirror.com

方式二:官方源码部署(带Web Demo)

  1. 克隆仓库
    git clone https://github.com/QwenLM/Qwen-Image.git
    cd Qwen-Image
  2. 安装依赖
    python -m venv venv
    source venv/bin/activate
    pip install -e .
    pip install -r requirements.txt
  3. 下载模型权重(ModelScope国内推荐)
    # 安装ModelScope
    pip install modelscope
    
    # 方式A:ModelScope下载(国内速度快)
    modelscope download --model Qwen/Qwen-Image --local_dir ./Qwen-Image
    
    # 方式B:HuggingFace(海外)
    huggingface-cli download Qwen/Qwen-Image --local-dir ./Qwen-Image
  4. 启动Web Demo(Gradio)
    python demo/app.py \
      --model-path ./Qwen-Image \
      --port 7860 \
      --share  # 可选,生成公网临时链接

    浏览器打开 http://127.0.0.1:7860 即可看到可视化界面。

方式三:ComfyUI 自定义节点

  1. 安装ComfyUI-Qwen-Image节点
    cd ComfyUI/custom_nodes
    git clone https://github.com/ComfyUI-Qwen/ComfyUI_Qwen_Image.git
    cd ComfyUI_Qwen_Image
    pip install -r requirements.txt
  2. 下载模型到ComfyUI目录
    # 主模型放到 ComfyUI/models/diffusion_models/
    # 文本编码器放到 ComfyUI/models/text_encoders/
    # VAE放到 ComfyUI/models/vae/
  3. 重启ComfyUI,在节点列表中搜索"Qwen"即可找到相关节点。

方式四:Docker部署

docker run -d --name qwen-image \
  --gpus all \
  -p 7860:7860 \
  -v /data/qwen_models:/models \
  -v /data/qwen_outputs:/app/outputs \
  registry.cn-hangzhou.aliyuncs.com/qwen/qwen-image:latest \
  python demo/app.py --model-path /models/Qwen-Image --listen 0.0.0.0

显存优化:FP8量化部署(16GB显存可跑)

# 使用FP8量化版权重
from diffusers import QwenImagePipeline
import torch

pipe = QwenImagePipeline.from_pretrained(
    "Qwen/Qwen-Image-Edit",  # 或Qwen/Qwen-Image
    torch_dtype=torch.float8,
    variant="fp8",
    trust_remote_code=True
)
pipe.enable_model_cpu_offload()  # 8-16GB显存必开

# 推理
image = pipe(
    prompt="赛博朋克风格的上海外滩夜景,霓虹灯闪烁",
    width=1024,
    height=1024,
    num_inference_steps=20
).images[0]

使用方法

图像编辑示例(Qwen-Image-Edit)

from diffusers import QwenImageEditPipeline
import torch
from diffusers.utils import load_image

pipe = QwenImageEditPipeline.from_pretrained(
    "Qwen/Qwen-Image-Edit",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)
pipe.to("cuda")

# 加载原图
origin = load_image("input.jpg")

# 指令式编辑
edited = pipe(
    image=origin,
    prompt="把背景改成雪山,人物穿着红色冲锋衣",
    generator=torch.Generator("cuda").manual_seed(0)
).images[0]

edited.save("edited_output.png")

参考图生成(保持人物一致性)

from diffusers import QwenImageReferencePipeline

pipe = QwenImageReferencePipeline.from_pretrained(
    "Qwen/Qwen-Image-Reference",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)
pipe.to("cuda")

result = pipe(
    prompt="同一个人物,穿着商务西装,在办公室场景",
    reference_image=load_image("portrait.jpg"),
    generator=torch.Generator("cuda").manual_seed(42)
).images[0]

提示词技巧

  • 中文直接写自然语言描述即可,不需要像SD那样堆砌关键词
  • 风格词可以写:"水墨风格"、"赛博朋克"、"吉卜力动画"、"产品摄影"
  • 要生成文字时,直接写:"图片中有文字'你好世界',书法字体"
  • 负面提示词建议加:"低质量,模糊,变形,多余手指"

常见问题(FAQ)

Q1: 模型下载太慢怎么办?

国内用户强烈推荐使用ModelScope(魔搭社区)下载,速度可达10MB/s以上。设置环境变量:export HF_ENDPOINT=https://hf-mirror.com 也可以加速HuggingFace下载。

Q2: 24GB显存跑不动怎么办?

使用FP8量化版本(Qwen/Qwen-Image-fp8),并开启 enable_model_cpu_offload()。16GB显存即可正常推理。如果还是OOM,可以降低输出分辨率到1024×1024。

Q3: 生成的中文文字还是有错误?

Qwen-Image的中文渲染能力已经比FLUX好很多,但复杂汉字仍可能出错。建议:提示词中明确写出文字内容和字体;文字不要太多;生成后可用PS或局部重绘修正。

Q4: Qwen-Image和SDXL/FLUX比哪个好?

各有优势:Qwen-Image在中文理解、中文文字渲染、东方美学上领先;FLUX在英文文字、写实摄影、复杂构图上更强;SDXL生态最成熟但质量已落后。建议根据使用场景选择,国内用户优先Qwen-Image。

Q5: 可以商用吗?

Qwen-Image采用Apache 2.0协议,权重完全免费开源,可自由商用、二次分发、微调。这对国内创业者和企业非常友好。

跳转链接

评论交流

文章目录