企业官网建设流程全解析

大家做多模态大模型微调时，最常见的困惑不是“要不要微调”，而是“从哪一步开始”。装环境、准备数据、选微调方案、跑训练、看出图效果，每一步都有坑。尤其到了 Qwen3-VL 这类支持图像、视频、文本统一输入的多模态模型，很多人连数据集格式都搞不清，训练跑完 loss 也降了，结果模型只会复读训练集答案。

这篇文章会将整个微调流程拆成一条完整链路：从 Qwen3-VL 的核心能力讲起，给出不需要商用级显卡的 LoRA 微调思路，再用一份多模态工具调用数据集跑通 LLaMA-Factory 实战训练，最后把模型接入 Agent 场景做效果验证。新手可以照着命令逐步执行，有基础的开发者可以直接跳到数据集准备和训练参数部分。

1. 先理解 Qwen3-VL 与多模态微调

1.1 Qwen3-VL 是什么

Qwen3-VL 是通义千问团队推出的开源多模态大模型，相比早期的 Qwen-VL 系列，它在文本、图像、视频的联合理解上有明显提升，同时保留了强大的指令跟随能力。你给它一张图片，它能回答图片里的物体、场景、文字内容，也能结合图片上下文完成复杂的推理任务。

在模型结构上，Qwen3-VL 采用了类似视觉编码器 + 大语言模型主干 + 多模态投影层的主流架构。视觉编码器负责把图像转换成视觉特征，投影层负责把视觉特征映射到文本语义空间，最后大语言模型负责综合文本和视觉信息生成回复。这种结构意味着：如果只是通用图片理解，直接用官方权重就够；但如果要处理特定领域的图片和文字，就需要通过微调来调整模型对视觉特征的解读方式。

从能力上看，Qwen3-VL 很适合做以下场景：

• 图像问答：例如“这张图里有哪些安全隐患”。
• 光学字符识别（OCR）与文档理解：例如发票、表格、截图内容提取。
• 视频理解：理解短视频中的关键动作和场景变化。
• 多模态 Agent：模型可以“看到”界面截图后，决定调用哪个工具。

1.2 为什么需要微调

很多初学者会问：大模型不是开箱即用吗，为什么还要微调？这里要区分两个概念：提示词工程和微调。

提示词工程是在不改变模型权重的情况下，通过设计 prompt 来引导模型输出。它的优点是成本低、见效快，适合通用能力问题。但它的局限也很明显：如果模型本身不知道某个领域知识、不理解特定数据格式、无法输出符合业务要求的结构化结果，提示词怎么设计也不行。

微调则是通过一批高质量的“问题-答案”数据，更新模型的部分或全部参数，让模型学习到特定领域的输入输出模式。多模态微调还有一个独特价值：它可以更新视觉编码器与语言模型的对齐方式，让模型学会“看”特定类型的图像特征。

具体到 Qwen3-VL，以下情况建议微调：

1.3 微调方法的选型：全量微调还是 LoRA

微调大模型并不是只有一种做法。全量微调会对模型所有参数进行更新，效果上限最高，但显存开销和训练时间也非常高。一个 Qwen3-VL-8B 级别的模型，全量微调在单卡环境下基本不可行，需要多卡并行。对于大多数个人开发者、小型团队，LoRA 是性价比最高的方案。

LoRA 的核心思想是：冻结原始模型的全部参数，在 Attention 层和 MLP 层旁边添加低秩矩阵作为可训练参数。训练时只更新这些低秩矩阵，推理时可以把它合并回原模型。这样做的好处是显存占用大幅降低，训练速度更快，同时在数据量不是特别大的场景下，效果与全量微调差距不大。

在后续实战中，我们会采用 LoRA 方案。它能够用一张 24GB 显存的显卡跑 Qwen3-VL-2B/4B 级别的微调，如果是量化版本还可以进一步降低显存要求。

2. 环境准备与硬件说明

2.1 硬件与软件基础

微调 Qwen3-VL 对环境有基本要求，先看两个硬性条件：

• 显卡：NVIDIA GPU，显存建议 16GB 及以上。如果显存不足，可以尝试 2B 模型加 4-bit 量化。
• 系统：Linux 环境（Ubuntu 20.04/22.04 比较常见），Windows 也可以跑，但很多训练框架的 CUDA 支持在 Linux 下更稳定。
• Python：3.10 或 3.11。
• CUDA：建议 11.8 或 12.1 以上。不同版本的 PyTorch 对应不同 CUDA 版本，安装时要匹配。

先用命令确认基础环境：

nvidia-smi python --version

nvidia-smi的输出中需要看两个信息：显卡型号和显存大小。如果输出中有 Error 提示，说明驱动没装好，需要先解决 NVIDIA 驱动问题。

2.2 创建虚拟环境并安装依赖

不推荐直接在系统 Python 里安装训练依赖，因为 PyTorch、transformers、CUDA 版本之间很容易产生冲突。这里使用 conda 创建独立环境：

conda create -n qwen-vl-finetune python=3.10 conda activate qwen-vl-finetune

接着安装 PyTorch。选择哪个 CUDA 版本，要看本机驱动支持的 CUDA 版本。一般建议使用 PyTorch 官方命令安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

如果你的 CUDA 版本是 11.8，可以把末尾的cu121替换成cu118。这里要注意 PyTorch 版本和 Python 版本的对应关系，统一使用较新的稳定版本即可。

2.3 安装 transformers 与 LLaMA-Factory

Qwen3-VL 是较新的模型，依赖较新版本的transformers、accelerate等库。建议安装最新稳定版本：

pip install transformers accelerate datasets peft pip install lmdeploy

其中lmdeploy不是必装项，但在后续做多模态推理时非常方便。接下来安装 LLaMA-Factory。LLaMA-Factory 是一个开源的模型微调工具，封装了训练、评估、推理的完整流程，对 Qwen 系列支持很好：

git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .

到这里环境就基本准备完毕。版本号不建议死记，因为项目迭代很快，关键是保持各库之间的兼容性。如果训练过程中报某个库的 API 不兼容，优先查看 LLaMA-Factory 官方 README 的 requirements 文件。

3. 核心原理：LoRA 是如何在多模态模型中生效的

3.1 LoRA 的低秩适配思想

这一节单独拆出来讲，因为很多教程只让你跑命令，不解释原理。如果你后续需要调参、排查问题，不理解 LoRA 的原理会很被动。

LoRA 的核心是低秩分解。假设原始模型某一层的权重矩阵为 W，它是一个很大的矩阵。微调时，理论上我们要学习一个新的权重矩阵 W'，使得模型适应当前任务。LoRA 不直接学习 W'，而是学习两个小矩阵 A 和 B，其中 A 的维度是 r x d，B 的维度是 d x r，r 远小于 d。最终的权重变化量可以表示为：

W' = W + B * A

在这个公式中，B*A 就是一个低秩矩阵。LoRA 认为大模型微调时的参数变化是“低秩”的，也就是说真正有效的参数变化集中在少数方向，没有必要把整个权重矩阵都重新学一遍。通过控制 r 的大小，可以控制可训练参数量。

在多模态模型中，LoRA 通常作用于语言主干部分的 Attention 层（q_proj、k_proj、v_proj、o_proj）和 MLP 层（gate_proj、up_proj、down_proj），视觉编码器部分可以冻结。

3.2 为什么 LoRA 特别适合多模态模型微调

多模态模型往往比纯文本模型更大，因为除了语言模型参数，还有视觉编码器参数。Qwen3-VL 的视觉编码器在输入图片时会产生大量的视觉 token，这部分计算开销本身就比较大。如果做全量微调，反向传播的显存开销量非常惊人。

LoRA 的优势主要有三点：

1. 可训练参数量少，显存占用低。同一个模型，全量微调可能需要 80GB 以上的显存，LoRA 可能只需要 20GB 到 30GB。
2. 训练速度更快。因为反向传播只需要计算低秩矩阵的梯度，不需要更新全部参数。
3. 方便切换任务。微调后得到的 LoRA 权重文件只有几十到几百 MB，可以随时卸载、加载，不影响原始模型。

3.3 Qwen3-VL 微调中的关键训练参数

用 LLaMA-Factory 训练 LoRA 时，有几个参数需要重点理解：

在后面的实战中，我会给出一个直接可用的配置组合，你可以在理解参数含义的基础上再做调整。

4. 微调数据准备：多模态数据集的格式与质量

4.1 Qwen3-VL 的对话数据格式

微调数据是所有训练的基础。对于多模态模型来说，数据格式比纯文本模型更复杂，因为每条数据的 user 消息里不仅要有文本，还要有图片路径或视频路径。

Qwen3-VL 在 LLaMA-Factory 中常用的数据格式是消息数组结构：

[ { "messages": [ { "role": "system", "content": "你是一个图像信息助手，请根据图片内容回答问题。" }, { "role": "user", "content": [ {"type": "image", "image": "images/demo1.jpg"}, {"type": "text", "text": "描述这张图片中的场景，并判断是否包含安全帽。"} ] }, { "role": "assistant", "content": "图片中有一位工人，他头部佩戴了安全帽，符合施工安全要求。" } ] } ]

这种格式需要注意几个细节：

• content字段如果是数组，说明是多模态输入，其中type: "image"表示传入图片，type: "text"表示传入文本。
• image字段可以是本地相对路径，也可以是一个可访问的 URL。本地路径建议放在数据文件同一目录下，方便加载。
• 图片路径不是必须和 JSON 在同一目录，但建议保持目录结构清晰，避免训练时找不到文件。
• messages数组可以从几条到几十条不等，每条消息都对应一段对话历史。

4.2 设计微调任务：以“图片驱动的工具调用”为例

纯粹做图片描述的微调，很多人已经写过，这里我换一个有实际项目价值的任务：让模型学会根据图片内容输出结构化的工具调用指令。这个任务非常贴近 Agent 场景。

业务背景假设是：一个 Agent 系统收到用户上传的环境照片后，需要调用“安全检查工具”来判断现场是否合规。工具输入要求是一个特定格式的 JSON：

{ "tool": "safety_inspection", "args": { "has_helmet": true, "has_safety_vest": false, "risk_level": "medium" } }

通用模型在没有微调时，虽然能“看图说话”，但要输出这种固定结构经常出错，有时会漏字段，有时会改变键名。通过微调，我们可以让模型在看到图片后，直接输出规范的工具调用结果。

这种设计的另一个好处是：它把多模态理解能力和 Agent 能力结合在了一起，训练完成后可以直接接入 Agent 框架。

4.3 数据量与数据质量控制

多模态微调需要多少数据？这取决于任务复杂度。

• 如果只是让模型学会一种输出格式，几百条高质量数据就够了。
• 如果希望模型具备较强的领域泛化能力，数据量建议 2000 条以上。
• 如果数据量很少，比如几百条，重点应该放在数据质量上，而不是盲目增加数据。

高质量数据有三个标准：

1. 图文对齐。图片内容必须与问答内容严格匹配，不能出现“图片里没有某个物体，但答案说有”的情况。
2. 标注一致。同一个物体在不同图片中的标注应该一致，比如“安全帽”不要一种地方写成“头盔”，另一种地方写成“帽子”。
3. 输出格式统一。如果要求输出 JSON，所有答案都必须是合法的 JSON，不能有些是文本描述、有些是 JSON。

我们准备一个 mini 示例数据集，包含 30 到 50 条数据，用于跑通流程。真实项目中，可以依据这个格式扩展数据量。

4.4 注册数据集到 LLaMA-Factory

LLaMA-Factory 使用dataset_info.json文件来管理数据集。在 LLaMA-Factory 项目目录下找到data/dataset_info.json，在datasets字段中添加数据集入口：

{ "qwen_vl_safety": { "file_name": "qwen_vl_safety.json", "formatting": "sharegpt", "columns": { "messages": "messages" }, "tags": { "role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant" } } }

这里的formatting选择的是sharegpt，对应我们在 4.1 节中使用的 messages 数组格式。file_name对应数据文件的路径，需要把qwen_vl_safety.json放到data目录下。

数据集注册完成后，训练前可以用llamafactory-cli的校验功能检查数据格式是否合法，避免直接开跑后报错。

5. 完整实战：使用 LLaMA-Factory 微调 Qwen3-VL

5.1 创建项目结构

建议在 LLaMA-Factory 之外单独建一个项目目录，保存训练日志、数据集和输出模型，避免与源码混在一起：

qwen3-vl-finetune/ ├── data/ │ ├── qwen_vl_safety.json │ └── images/ │ ├── demo1.jpg │ ├── demo2.jpg │ └── ... ├── output/ │ └── qwen3vl-lora-safety/ └── train.sh

其中data/存数据集和图片，output/存训练产物，train.sh是训练脚本。

5.2 准备数据集文件

下面给出一个 2 条数据的示例，帮助你理解格式：

[ { "messages": [ { "role": "system", "content": "你是一个工程安全检测助手。输入图片后，请判断现场作业人员是否佩戴安全帽、反光背心，并输出工具调用 JSON。" }, { "role": "user", "content": [ {"type": "image", "image": "images/demo1.jpg"}, {"type": "text", "text": "请检查图中人员的安全装备情况。"} ] }, { "role": "assistant", "content": "{\"tool\": \"safety_inspection\", \"args\": {\"has_helmet\": true, \"has_safety_vest\": false, \"risk_level\": \"medium\"}}" } ] }, { "messages": [ { "role": "system", "content": "你是一个工程安全检测助手。输入图片后，请判断现场作业人员是否佩戴安全帽、反光背心，并输出工具调用 JSON。" }, { "role": "user", "content": [ {"type": "image", "image": "images/demo2.jpg"}, {"type": "text", "text": "请检查图中人员的安全装备情况。"} ] }, { "role": "assistant", "content": "{\"tool\": \"safety_inspection\", \"args\": {\"has_helmet\": true, \"has_safety_vest\": true, \"risk_level\": \"low\"}}" } ] } ]

这里图片路径是相对于项目根目录的。如果图片不在data/目录下，需要配置路径映射或在数据文件中使用绝对路径。在真实项目中，几百条数据不建议手动写 JSON，应该用脚本从数据库或标注平台批量导出。

5.3 编写训练脚本

训练使用 LLaMA-Factory 的命令行工具。虽然也可以使用 WebUI 界面训练，但脚本方式更利于复现，也方便在服务器上后台运行。

创建train.sh文件：

#!/bin/bash CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \ --model_name_or_path Qwen/Qwen3-VL-2B-Instruct \ --adapter_name_or_path None \ --template qwen \ --stage sft \ --finetuning_type lora \ --dataset qwen_vl_safety \ --dataset_dir ./data \ --cutoff_len 2048 \ --learning_rate 1e-4 \ --num_train_epochs 3.0 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 4 \ --lr_scheduler_type cosine \ --optim adamw_torch \ --lora_rank 16 \ --lora_alpha 32 \ --lora_dropout 0.1 \ --logging_steps 10 \ --save_steps 100 \ --output_dir ./output/qwen3vl-lora-safety \ --bf16 True

逐行解释关键参数：

• --model_name_or_path：指定基座模型。这里用的是Qwen/Qwen3-VL-2B-Instruct，也可以是本地路径。如果本地网络无法访问 HuggingFace，可以改用 ModelScope 的模型标识，或者先手动下载到本地。
• --template qwen：使用 Qwen 的对话模板。Qwen3-VL 的对话模板与 Qwen2.5 系列比较接近，但建议以 LLaMA-Factory 实际支持的模板名为准。
• --stage sft：有监督微调。
• --finetuning_type lora：使用 LoRA 微调。
• --dataset qwen_vl_safety：实际使用的数据集名称，需要与dataset_info.json中配置的名字一致。
• --per_device_train_batch_size：每张卡的批大小。多模态模型 batch size 不建议太大，图片中间特征非常占显存。
• --gradient_accumulation_steps：梯度累积步数。实际 batch size = 2 x 4 = 8。
• --bf16 True：使用 BF16 混合精度训练。Ampere 及以上架构的显卡支持 BF16。
• --output_dir：输出目录，LoRA 权重会保存到这里。

5.4 启动训练与观察日志

训练脚本准备好后，先给脚本执行权限，然后运行：

chmod +x train.sh ./train.sh

启动后会出现类似下面的日志：

[INFO] Training started... [INFO] Number of trainable parameters: 12,582,912 [INFO] Total trainable parameters: 12.58M / 2345.67M

这里需要关注的是可训练参数量。如果出现的是亿级别的数字，说明 LoRA 配置可能有问题（例如finetuning_type写成了全量微调）。正常 LoRA 微调 2B 模型，可训练参数量应该在几百万到几千万之间。

训练过程中还需要观察 loss 值的变化趋势：

{'loss': 2.345, 'learning_rate': 1e-4, 'epoch': 0.1} {'loss': 1.231, 'learning_rate': 1e-4, 'epoch': 0.2} {'loss': 0.892, 'learning_rate': 1e-4, 'epoch': 0.3}

loss 整体应该呈下降趋势。如果 loss 不下降，说明数据格式或学习率可能有问题。如果 loss 降到 0.1 以下，要警惕过拟合风险，尤其是训练数据较少的时候。

5.5 训练产物说明

训练完成后，output/qwen3vl-lora-safety目录下会出现以下文件：

• adapter_config.json：LoRA 配置信息，包括 rank、alpha、目标模块等。
• adapter_model.safetensors：LoRA 权重文件。
• trainer_log.jsonl：训练日志。
• tokenizer.json、tokenizer_config.json：分词器配置。
• README.md：训练配置说明。

LoRA 权重文件通常比较小，保存的是增量参数。推理时，需要把它加载到原始 Qwen3-VL 模型之上。

6. 模型加载、推理与 Agent 对接

6.1 加载微调后的模型

训练完成后，不能直接把adapter_model.safetensors当作完整模型使用。需要先用原始模型加载 LoRA 权重。

使用 LLaMA-Factory 提供的 CLI 工具：

llamafactory-cli chat \ --model_name_or_path Qwen/Qwen3-VL-2B-Instruct \ --adapter_name_or_path ./output/qwen3vl-lora-safety \ --template qwen \ --finetuning_type lora

进入对话界面后，可以直接发起多模态问答。不过 CLI 工具对图片路径的支持因版本而异，也可能需要用 Python 脚本来做推理。

6.2 使用 Python 脚本进行多模态推理

我推荐用 Python 脚本封装推理逻辑，这样更容易集成到业务系统中。下面是一个完整的推理示例：

# 文件路径：infer.py import torch from transformers import AutoModelForCausalLM, AutoProcessor from peft import PeftModel model_path = "Qwen/Qwen3-VL-2B-Instruct" adapter_path = "./output/qwen3vl-lora-safety" processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True ) model = PeftModel.from_pretrained(model, adapter_path) image_path = "data/images/demo1.jpg" user_text = "请检查图中人员的安全装备情况。" messages = [ { "role": "user", "content": [ {"type": "image", "image": image_path}, {"type": "text", "text": user_text} ] } ] text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = processor( text=text, images=[image_path], return_tensors="pt" ).to(model.device) output_ids = model.generate( **inputs, max_new_tokens=256, do_sample=False, temperature=0.1 ) output = processor.decode(output_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True) print("模型输出：", output)

这段代码的关键步骤：

1. 先加载处理器和原始模型。
2. 用PeftModel.from_pretrained将 LoRA 权重挂载到模型上。
3. 构造多模态对话消息，图片路径放在content列表的image类型中。
4. 使用processor将文本和图片一起编码。
5. 生成回复，解码时跳过特殊 token。

在推理时，temperature设置得比较低，因为工具调用场景希望模型输出尽量稳定。如果做创意性的图片描述，可以调高temperature。

6.3 微调效果对比

在没有微调的模型上运行同样的图片和问题，输出可能类似：

图片中有一位头戴安全帽的工人，穿着不明显，无法确定是否穿了反光背心。

这个回答本身没有错，但不符合 Agent 系统需要的结构化工具调用格式。而微调后的模型输出：

{"tool": "safety_inspection", "args": {"has_helmet": true, "has_safety_vest": false, "risk_level": "medium"}}

这个输出可以直接被程序解析。这就是多模态微调在业务落地中的实际价值：它把“看图能力”和“业务输出格式”绑定在了一起。

6.4 将模型接入 Agent 框架

微调后的模型可以作为 Agent 的“眼”，负责从图片中提取结构化信息，然后交给 Agent 框架做决策和执行。

下面演示一个最简 Agent 集成思路：

import json def parse_model_output(text): """解析模型输出的 JSON 字符串，并检查关键字段是否存在。""" try: data = json.loads(text) assert "tool" in data, "缺少 tool 字段" assert "args" in data, "缺少 args 字段" return data except (json.JSONDecodeError, AssertionError) as e: raise ValueError(f"模型输出格式错误: {e}") def run_agent(image_path): # 1. 获取模型输出 output = model_generate(image_path) # 2. 解析工具调用 tool_call = parse_model_output(output) # 3. 执行工具 if tool_call["tool"] == "safety_inspection": args = tool_call["args"] if args["risk_level"] == "high": return "风险等级高，需要立即通知安全员。" elif args["risk_level"] == "medium": return "存在风险，建议补充安全装备。" else: return "现场安全，可以继续作业。" print(run_agent("data/images/demo1.jpg"))

这里的model_generate函数可以替换为上一节中的推理逻辑。实际项目中，Agent 框架可以是 ReAct 模式，也可以是 Function Calling，核心思路是一致的：模型输出工具名和参数，代码负责调用工具并返回结果。

7. 常见问题与排查思路

微调过程中，很多问题有固定的排查路径。这里整理几个高频问题。

7.1 显存不足的完整排查流程

显存不足是最常见的报错。如果你看到CUDA out of memory，按以下顺序排查：

第一步，确认当前 batch size 和图片输入尺寸。多模态模型对显存的消耗比纯文本模型大很多，图片特征占用的显存可能超过文本部分。

第二步，减小 batch size 到 1，观察能否正常训练。如果 batch size 为 1 仍然报错，说明单张图片的处理就已经超出显存，需要降低图片分辨率或使用量化模型。

第三步，考虑使用 QLoRA 或 4-bit 量化。LLaMA-Factory 支持--quantization_bit 4参数，可以在降低显存的同时保持较好的效果：

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \ --model_name_or_path Qwen/Qwen3-VL-2B-Instruct \ --template qwen \ --stage sft \ --finetuning_type lora \ --quantization_bit 4 \ --dataset qwen_vl_safety \ --cutoff_len 2048 \ --output_dir ./output/qwen3vl-lora-safety-4bit

不过要注意，量化训练会增加计算开销，训练速度会变慢。

7.2 数据格式错误的排查

如果训练开始时数据加载报错，最可能的原因是dataset_info.json中的配置与 JSON 文件实际结构不一致。建议先直接读取 JSON 文件，检查最外层是数组还是对象，messages字段是否存在。

python -c "import json; data=json.load(open('data/qwen_vl_safety.json')); print(len(data)); print(data[0].keys())"

正常输出应该是：

50 dict_keys(['messages'])

如果输出的是list或缺少messages，说明数据文件格式与 LLaMA-Factory 期望的不一致。

7.3 过拟合问题

很多初学者看到 loss 降得很低就高兴，实际上在小数据集场景下，过拟合是一个高风险问题。

判断过拟合的一个简单方法：训练完成后，用训练集中的图片测试，再用一张全新的同类图片测试。如果训练集上表现很好，新图片上表现很差，说明模型只是在背答案，没有学到真正的视觉判断能力。

应对过拟合的手段：

• 减少 epoch，例如从 3 降到 1。
• 增加 lora_dropout。
• 增加训练数据量，或者做数据增强（旋转、裁剪、亮度调整等）。
• 降低 LoRA 的 rank，减少模型表达能力。

需要注意的是，过拟合在多模态微调中尤其常见，因为图片数据天然带有很高的信息量，模型很容易“记住”图片特征。

8. 最佳实践与工程建议

8.1 数据篇：先保证 200 条高质量数据

很多人一开始就追求数据量，动辄标注一万条，这其实是误区。对于 LoRA 微调来说，200 条经过仔细校对的样本，往往比 2000 条嘈杂样本效果更好。建议先准备一小批种子数据，完成一轮训练验证效果，确认训练流程没有问题后再扩大数据规模。

数据标注时还要注意图片的多样性。同一个场景如果只有一种拍摄角度、一种光线条件，模型很容易过拟合到这些无关特征上。

8.2 训练篇：从最小配置开始验证

不要一上来就用大模型、大 batch size。建议先用 2B 模型、32 条数据、1 个 epoch 跑通流程，确认数据格式、训练脚本、推理链路全部正常。然后逐步增加数据量和训练轮数。这种“最小验证”的思路可以帮你把“流程问题”和“效果问题”分开定位。

训练过程中保留完整的训练日志也很重要。trainer_log.jsonl中记录了每个 step 的 loss，后续如果效果不好，可以通过 loss 曲线来分析是欠拟合还是过拟合。

8.3 模型加载与部署篇

微调完成后的 LoRA 权重需要和基座模型一起使用。在部署到生产环境时，推荐把 LoRA 权重合并到基座模型中，生成一个完整的模型文件，这样可以使用标准的模型服务框架加载，减少推理时的依赖。

合并 LoRA 权重的操作可以使用 LLaMA-Factory 的 export 命令：

llamafactory-cli export \ --model_name_or_path Qwen/Qwen3-VL-2B-Instruct \ --adapter_name_or_path ./output/qwen3vl-lora-safety \ --template qwen \ --finetuning_type lora \ --export_dir ./output/qwen3vl-safety-merged \ --export_size 4 \ --export_device cpu

合并后的模型可以直接用 vLLM 等推理框架部署，也可以保存到本地后用于离线推理。

8.4 安全合规篇

做多模态微调时，要特别关注数据合规问题。图片数据如果涉及人物、隐私场所、商业敏感信息，必须在标注前完成授权和脱敏。训练完成后，模型可能保留训练数据中的某些特征，因此在对外提供服务时，建议对模型的输出内容进行审核。

涉及生产环境变更、模型发布时，务必先在测试环境验证模型效果，再逐步灰度上线，并保留回滚能力。微调模型一旦上线，原始模型和 LoRA 权重都要做好备份。

9. 总结与后续学习方向

通过这篇文章，你已经掌握了一条完整的多模态大模型微调链路：理解 Qwen3-VL 的模型定位、配置 CUDA 环境、设计 LoRA 微调方案、准备带图片的多模态数据集、使用 LLaMA-Factory 完成训练、通过推理脚本验证效果，并成功将模型输出对接到了 Agent 的工具调用场景。

接下来你可以从以下几个方向继续深入：

• 尝试用 Qwen3-VL 做更复杂的多模态 Agent，例如让模型读取多个截图完成自动化操作。
• 研究多模态数据的自动标注技术，用更大的模型生成训练数据，再用小模型做领域微调。
• 学习模型量化部署，把微调后的模型压缩到更低比特，部署到端侧设备。
• 深入理解视觉编码器在微调中的作用，尝试解冻部分视觉层，观察效果变化。

如果你在实操过程中遇到数据集格式验证、显存优化或模型输出不稳定的问题，欢迎在评论区留下具体的报错信息和环境配置，我会尽量帮你定位。同时也建议把这份教程保存收藏，后续训练其他多模态模型时，这套流程可以复用。