企业官网建设流程全解析

如何在自己显卡上微调 Text2SQL 专家模型：DB-GPT 自动化微调框架实战指南

【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI + Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT

如果你希望用户"用大白话提问、直接拿到能跑的正确 SQL"，多半会遇到通用模型写 SQL 不稳定的问题。DB-GPT 的 Text2SQL 自动化微调框架，让你在自己的机器上以最小成本微调一个专用 Text2SQL 模型，内置 Spider 等主流数据集，适配 CodeLlama、Qwen 等开源模型。这篇文章面向没做过模型训练的同学：读完你会清楚要准备什么数据、怎么配参数、如何验证效果，并能完整复跑一遍微调流程。

一、为什么要自己微调 Text2SQL 模型？🧩

直接让通用大模型写 SQL，痛点非常具体：它会"猜"列名（生成数据库里根本不存在的字段）、产出你的数据库跑不动的语法，而且表越多、跨域查询越容易答非所问。根源在于通用模型没有在"你的库表结构 + 你的问法"这个组合上专门学习过。

微调就像给模型上一门"专项课"：喂给它一批（库表结构、自然语言问题、正确 SQL）三元组，它学会的是"照着表结构写 SQL"。相比调用商用 API，自己微调开源模型的好处是：数据不出内网、推理成本可控，而且显卡不够时可以退到 7B 小模型继续跑。

整条流水线的分工很清晰：数据存储 → 数据处理 → 加载基座模型 → 微调（LoRA/QLoRA 等）→ 推理 → 评估。

二、准备工作：数据集、模型、显卡显存一次盘清📦

开始动手前，只需要核对这一张清单。不管用默认数据集还是换别的，都是"换数据文件、改参数"两件事：

一句话总结：数据集决定"练什么"，模型决定"谁来练"，而每个模型对应的lora_target和template（改哪些网络层、用哪种对话模板）必须配对，直接填进训练命令即可。16GB 显存的卡，跑 13B 的 QLoRA 是够的。

三、从数据集到训练产出：5 步实操🚀

第 1 步：搭环境。运行git clone https://gitcode.com/GitHub_Trending/db/DB-GPT拉取代码，创建 Python 3.10 虚拟环境并安装依赖；如果不想折腾脚本，也可以直接pip install dbgpt_hub用 Python 包方式完成同样流程。

第 2 步：处理数据。把 Spider 数据包放进dbgpt_hub/data/spider/目录，执行sh dbgpt_hub/scripts/gen_train_eval_data.sh。脚本用的是"SQL + 表信息"的信息匹配生成法：先把每个库的表结构（表名、列名、主外键关系）翻译成自然语言描述，再拼进指令模板，与（问题，SQL）对组合成 SFT 训练格式。最终得到8,659 条训练集和 1,034 条验证集，每条长这样：

{ "db_id": "department_management", "instruction": "I want you to act as a SQL terminal...Table head has columns such as head_ID, name, born_state, age...", "input": "How many heads of the departments are older than 56 ?", "output": "SELECT count(*) FROM head WHERE age > 56", "history": [] }

数据集名在dataset_info.json里配置（默认example_text2sql），训练命令的--dataset就取这个值。

第 3 步：启动训练。跑 LoRA 微调，核心启动命令如下：

CUDA_VISIBLE_DEVICES=0 python dbgpt_hub/train/sft_train.py \ --model_name_or_path /path/to/CodeLlama-13b-Instruct-hf \ --dataset example_text2sql_train \ --finetuning_type lora \ --lora_target q_proj,v_proj \ --template llama2 \ --lora_rank 64 \ --lora_alpha 32 \ --max_source_length 2048 \ --max_target_length 512 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --learning_rate 2e-4 \ --num_train_epochs 8 \ --lr_scheduler_type cosine_with_restarts --bf16 --plot_loss

参数含义一次讲清：

第 4 步：预测。训练结束后output/adapter/目录会产出一个只有几百 MB 的适配器（adapter）权重，而不是整个模型。执行sh dbgpt_hub/scripts/predict_sft.sh，它会对验证集批量生成预测 SQL，结果落在dbgpt_hub/output/pred/。

第 5 步：评估。运行python dbgpt_hub/eval/evaluation.py --plug_value --input 你的预测文件.sql得到执行准确率，指标含义见第六节。

完整细节可对照 Text2SQL 微调手册 和 dbgpt_hub Python 包用法。

四、微调方法怎么选：LoRA、QLoRA 还是 P-Tuning？🎛️

先说个大白话背景：全参数微调要更新模型全部权重，相当于整栋房子推倒重建，显存开销巨大；参数高效微调（PEFT，即"只训一小撮参数"）则让房子结构不动。LoRA 的思路是"老房子不动，只加装几块功能面板"——冻结原始权重，只在注意力层旁挂两个低秩小矩阵（低秩矩阵：能用更少存储表达权重变化）来学习新知识；QLoRA在 LoRA 之上给模型加4 位量化（用 4 个比特表示一个权重），显存再省一截；P-Tuning则完全不动权重，而是在输入前接一段可训练的"软提示"（一段能学的引导前缀），适合任务较简单的场景。

按显存档位选：

• 显存 16GB 以下：QLoRA 跑 13B（加--quantization_bit 4），或 LoRA 跑 7B；
• 16~32GB：LoRA 跑 13B，官方实验就是这条路线；
• 32GB 以上或多卡：可考虑全参微调（--finetuning_type full）。

五、训练常见坑与对应解法🔧

两个省力的习惯：训练开--plot_loss把 loss 曲线画出来；每 500~2000 步存一个 checkpoint，训多了还能回退。

六、效果如何看：执行准确率与真实示例📊

评估用的是执行准确率（Execution Accuracy）：不比 SQL 字符串和标准答案是否一样，而是把生成的 SQL 真在对应数据库里跑一遍，执行出来的结果集一致才算对——它衡量的是"数据答得对不对"，而不是"写法像不像"，更接近真实使用。

官方基线实验（CodeLlama-13B，Spider 验证集）里，微调带来的提升一目了然：

一行命令就能查看各模型完整分数表：from dbgpt_hub.baseline import show_scores; show_scores()。在指令模板改进、数据扩充、学习率调度等一系列优化之后，总体执行准确率可做到约 82.5%，超过 GPT-4 在该数据集上的直答表现。

真实示例（department_management 数据库）：

• 问题：How many heads of the departments are older than 56?
• 生成 SQL：SELECT count(*) FROM head WHERE age > 56

模型能直接依据指令中携带的表结构产出可执行 SQL，而不再猜列名——这正是微调的价值所在。

写在最后

如果你的场景是企业数据库的自然语言查询，且问法相对固定、表结构清晰，"Spider 数据 + 13B 模型 + LoRA"是一个稳妥的起步组合，之后只需换成自己的业务数据再练一轮即可。把微调好的模型接回 DB-GPT 的数据库聊天场景，"说人话查数"就从演示离生产只差一步。

【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI + Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT