企业官网建设流程全解析

如何对Ornith-1.5-35B-A3B-GGUF做本地微调与领域适配：Unsloth生态实战指南

【免费下载链接】Ornith-1.5-35B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-35B-A3B-GGUF

本指南带你完成 Ornith-1.5-35B-A3B-GGUF 大模型的本地微调（Local Fine-tuning）全流程：使用 Unsloth 生态对 35B 混合专家（MoE）推理模型做 4-bit QLoRA 微调、领域适配，再导出 GGUF 量化格式部署到单机。读完即可用最小显存把这只"小鸟"🐦 调教成懂你行业的专属模型。

为什么 Ornith-1.5-35B-A3B 适合本地微调与领域适配

Ornith-1.5 是面向"自改进（self-improvement）"路线训练的新一代基础模型，35B-A3B 档位总参数约 35B，但每个 token 仅激活约3B 参数，推理成本接近小模型，编码与 Agent 能力却能打过同档甚至更大模型。对做行业落地的人来说，这带来两个好处：

本仓库直接提供 5 个量化档位的 GGUF 权重，从近无损到极限压缩一应俱全，微调完成后可任选档位部署：

另有 mmproj-Ornith-1.5-35B-BF16.gguf 为多模态视觉投影文件，本地多模态推理时与主模型搭配使用。模型能力基线可参考 README.md 中的完整评测表。

⚠️ 注意：微调通常基于原始全精度权重进行，仓库里的 GGUF 主要服务于"微调后的量化导出与本地部署"阶段。

微调前准备：硬件要求与 Unsloth 生态安装

一张 24GB 显卡够不够？

够了。Unsloth 支持 4-bit 量化加载（QLoRA），35B 模型以 4-bit 加载时权重约 18 GB，加上 LoRA 适配器与激活值，24GB 显存即可开训，48GB 显存则可放心开更大 batch 和更长上下文。

Unsloth 生态的三个核心组件，正好覆盖"加载—训练—导出"全链路：

1. FastLanguageModel：加速模型加载，4-bit 加载对 MoE 友好；
2. SFT 训练器：内置梯度检查点、FlashAttention，LoRA 训练开箱即用；
3. GGUF 快速导出：训练合并后一键量化为 Q4_K_M / Q8_0 等 GGUF 档位，直接回灌本仓库的部署方案。

最快安装步骤

pip install unsloth

一行命令装完核心依赖。Unsloth 官方在 README.md 的 Agentic Usage 章节中也确认了对 Ornith 的加载支持（4-bit、长上下文参数均可直接透传）。

首次微调实战：4-bit QLoRA 三步训练 Ornith

第一步：4-bit 加载模型

from unsloth import FastLanguageModel model, tokenizer = FastLanguageModel.from_pretrained( "ornith-ai/Ornith-1.5-35B-A3B", # 模型标识 max_seq_length=4096, # 微调时建议先小后大 load_in_4bit=True, )

max_seq_length建议先从 2048~4096 起步跑通流程，再逐步放大——它是显存的最大变量之一。

第二步：注入 LoRA 并配置训练

model = FastLanguageModel.get_peft_model( model, r=16, # LoRA 秩，领域任务 16 通常足够 lora_alpha=16, target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], lr=2e-4, )

MoE 模型的专家层（gate_proj等）是领域知识的主要存储位，建议一并纳入target_modules。

第三步：准备领域数据并训练

数据用标准聊天格式即可，例如：

[ {"instruction": "用我们内部规范解释这个接口的返回码", "input": "HTTP 418", "output": "按规范 418 表示……"} ]

几点经验能帮新手少走弯路：

• 量不在多：领域适配 500~3000 条高质量样本往往胜过 10 万条噪声数据；
• 保留思维链：Ornith 是推理模型，训练样本的输出若带有推理过程，微调后不易"变笨"；
• 混合通用样本：掺入 10%~20% 通用问答，可显著缓解灾难性遗忘。

领域适配进阶：3 个让模型"入行"的关键动作

1. 风格对齐：把领域内的真实问答、工单、代码评审记录作为主要语料，让模型学到你的术语与格式习惯；
2. 长上下文注入：Ornith 原生支持 256K 上下文，微调时可将领域文档摘要放进instruction，教模型"引用资料再作答"；
3. 工具调用微调：保留<tool_call>格式的样本，微调后的模型仍能产出标准tool_calls，直接接入 Agent 工作流。

训练超参数速查表（领域适配场景的起点）：

推理时官方推荐采样参数为temperature=0.6、top_p=0.95、top_k=20（见 README.md Quickstart 说明）。

GGUF 量化导出：从微调权重回到本地部署

合并 LoRA 后，用 Unsloth 的导出工具直接把模型量化为 GGUF，命名沿用本仓库档位即可无缝替换：

model.save_pretrained_merged("./Ornith-1.5-35B-Domain", tokenizer) model.push_to_hub_gguf("./Ornith-1.5-35B-Domain", tokenizer, quantization_method="q4_k_m")

导出q4_k_m后得到的文件，与 Ornith-1.5-35B-Q4_K_M.gguf 属同一档位，可直接被 llama.cpp、Ollama 等运行时加载。

本地部署：llama.cpp 与 Ollama 一键起服务

微调模型落地后，仓库 README 给出的两条最省事路线：

# llama.cpp：OpenAI 兼容 API，8000 端口 llama-server -hf ornith-ai/Ornith-1.5-35B-A3B-GGUF --port 8000 -c 262144

# Ollama：一行拉起 ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF

服务起来后，任何 OpenAI 兼容客户端（设置OPENAI_BASE_URL指向本机 8000 端口）都能直接对话、调用工具，完成"微调 → 部署 → 接入"闭环。🚀

常见问题速查表

小结

• 选档位：部署按显存选 Q4_K_M~BF16（见上方对照表），微调统一用 4-bit 加载；
• 走 Unsloth 链路：FastLanguageModel加载 → LoRA 微调 → GGUF 导出，全链路单机完成；
• 领域适配靠数据：高质量领域样本 + 保留推理链 + 通用数据兜底，三件套缺一不可。

照此流程，你在一张 24GB 显卡上就能拥有"懂行"的 Ornith-1.5-35B 领域模型，并通过本仓库现成的 GGUF 部署方案即刻投入使用。

【免费下载链接】Ornith-1.5-35B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-35B-A3B-GGUF