企业官网建设流程全解析

• 人工智能
• 大模型
• 模型量化
• 本地部署
• 多模态

Dirk-Qwen3.8-27B-GGUF 是基于 Qwen3.8-27B 的本地 GGUF 量化模型包，内置 Sharp 聊天模板、MTP 推测解码头与视觉能力。本文深度解析其思考强度参数reasoning_effort的三档设置（low/medium/xhigh），教你按任务难度自由控制模型"想多深"，让简单问题快答、难题深想。

为什么"思考强度"值得你关注？

原版 Qwen3.8-27B 有个"用力过猛"的默认行为：每次调用都强制reasoning_effort=xhigh，即所有请求一律顶格思考。查个天气要烧满油，做道数学题也要绕满全场——答案慢，token 还贵。

Dirk 改变了这一点：

• 移除强制 xhigh 默认值，回归模型原生的medium档位
• 配合 README.md 中提到的 Sharp 简洁模板，回答"又短又准"
• 官方与 Unsloth 模板中，medium是不注入任何推理指令的档位，Dirk 默认就停在这里：基线思考 + 精简回答

于是你可以按任务难度自己决定思考深度——这正是本文的核心。

reasoning_effort 三档参数对照表

Dirk 支持每请求动态设置思考强度，取值如下：

两个关键细节：

1. high≠ 中间档。它只是xhigh的别名，不存在"低一档的高"，设置时要留意
2. 不设置参数时，Dirk 使用精简的medium默认值——少写一行配置就是最佳起步

相关机制详解可查阅仓库说明：README.md · Thinking effort。

如何设置思考强度？一步到位的配置方法

reasoning_effort必须通过chat_template_kwargs传入——顶层的 OpenAI 风格reasoning_effort字段会被 llama.cpp 与 oMLX 直接丢弃，写在外面等于没写。

请求体示例（把"high"换成你想要的档位即可）：

{"messages": [...], "chat_template_kwargs": {"reasoning_effort": "high"}}

如何彻底关闭思考？

有时你只想让模型直接干活、别"想半天"。加一个字段即可完全关闭思考模式：

{"chat_template_kwargs": {"enable_thinking": false}}

关闭后模型不再输出思考过程，响应速度拉满，适合批量简单任务。

快速上手：下载与启动命令

让 llama.cpp 自动拉取对应量化（:quant标签必写，该仓库没有Q4_K_M，裸-hf会回退到错误文件）：

# 纯文本（24GB 显存默认档，自动下载到 llama.cpp 缓存） llama-server -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 # 视觉任务：同一标签自动携带 mmproj，无需二次下载 llama-mtmd-cli -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 --image photo.jpg

也可以自行下载文件后用-m指向本地路径（视觉投影文件见 mmproj-F16.gguf，所有量化档共用这一份）：

llama-cli -m Dirk/Dirk-Qwen3.8-27B-UD-Q4_K_XL.gguf -ngl 99

想用 git 完整克隆仓库（含全部量化档）：

git clone https://gitcode.com/hf_mirrors/peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF

12GB / 16GB / 24GB 显存，各选哪个文件？

仓库提供 15 个量化档（8.8GB ~ 31.5GB），覆盖 12GB 到 48GB 显存。选档速查：

选型逻辑说明（完整对照表见 README.md · Run it）：

• 3 bpw 以下用 GSQ-RCO 量化（IST-DASLab 出品），2~3 bit 区间质量保持明显更好
• 3 bpw 以上用 Unsloth Dynamic 3.0（UD）量化，两方法收敛后 UD 更成熟
• 所有档均保留 MTP（nextn）头，支持多 token 推测解码加速

给编程 Agent 用的一个贴心参数

用编码 Agent 驱动llama-server时，加一个参数让思考过程"隐身"：

llama-server -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99 --reasoning-format deepseek

它会把think块放进 OpenAI 的reasoning_content字段，而不是混在正文流里——Agent 就不会把原始思考 token 当成正文处理了。注意不要传--reasoning-format none，那正是让标签留在正文里的选项。

常见疑问速答

Q：为什么我设了 reasoning_effort 没生效？检查是否写进了chat_template_kwargs。顶层字段会被 llama.cpp 丢弃，这是最常见的"踩空"。

Q：high和xhigh到底差在哪？没有差别——high是xhigh的别名，不是独立档位。想要"最高思考强度"，写哪个都行。

Q：默认不设置参数，Dirk 会一直深度思考吗？不会。Dirk 已移除原版强制 xhigh 的默认值，未设置时运行在medium：基线思考 + 简洁回答，这也是同模板家族实测"答案更准、token 更省"的平衡点（同一模板在 Dagger 上的实测：答案组件分数 +7.4，token 数 −59%，见 README.md · Proven on Nail and Dagger）。

Q：思考档位和量化文件有关系吗？没有。三档强度由请求参数决定，与文件无关；量化文件只影响精度与显存占用。

小结

Dirk-Qwen3.8-27B-GGUF 把"想多深"的决定权交还给你：low快答、medium均衡、xhigh深想，high是xhigh的别名，不设置就是精简的medium，enable_thinking: false可直接关思考。配合 15 个覆盖 12~48GB 显存的量化档和一行标签式的 llama.cpp 启动命令，下载即可用——让简单问题秒回、难题深度思考，就是这套组合的正确打开方式。

• 人工智能
• 大模型
• 模型量化
• 本地部署
• 多模态