MyBatis-Plus更新MySQL生成列的解决方案
2026/11/5 4:42:01
Lamma — Qwen3-8B 本地推理环境搭建说明
基于 llama.cpp CUDA 编译版 + Qwen3-8B (Q4_K_M)，RTX 4060 Laptop 8G 实测生成 44 t/s。
目录结构
| 路径 | 内容 |
|---|---|
D:\Lamma | llama.cpp 源码、CUDA 编译产物（build\bin）、转换环境.venv |
D:\Desktop\Lamma | 本项目：main.py对话程序、model\qwen3-8b-q4_k_m.gguf（4.68GB） |
一、源码与工具链（已完成，备查）
# 1. 源码git clone https://github.com/ggml-org/llama.cppD:\Lamma# 2. Python 转换环境（转 GGUF 用，含 CMake 4.4.4）cd D:\Lamma python-m venv.venv D:\Lamma\.venv\Scripts\python.exe-m pip install-r requirements.txt cmake# 3. 编译（Ninja 生成器，自动识别 sm_89）# 依赖：CUDA 13.4 + VS "使用 C++ 的桌面开发" 工作负载cmd/c D:\Lamma\build_cuda.batbuild_cuda.bat内容（vcvars64 + Ninja 路线，已避开两个坑）：
@echo off if exist D:\Lamma\build rd /s /q D:\Lamma\build set "CUDAToolkit_ROOT=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.4" set "CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.4" call "D:\Soft\VisualStudio\Community\VC\Auxiliary\Build\vcvars64.bat" cd /d D:\Lamma D:\Lamma\.venv\Scripts\cmake.exe -B build -DGGML_CUDA=ON -G Ninja -DCMAKE_BUILD_TYPE=Release D:\Lamma\.venv\Scripts\cmake.exe --build build --target llama-cli llama-server llama-quantize -j %NUMBER_OF_PROCESSORS%二、模型转换（HF → GGUF，新版为两步）
# ① 转 f16（用 D:\Lamma\.venv 里的环境）D:\Lamma\.venv\Scripts\python.exe D:\Lamma\convert_hf_to_gguf.py"D:\Desktop\Lamma\model"--outfile"D:\Desktop\Lamma\model\qwen3-8b-f16.gguf"--outtype f16# ② 量化为 q4_k_m（k-quant 已从转换脚本剥离，须用 llama-quantize）D:\Lamma\build\bin\llama-quantize.exe"D:\Desktop\Lamma\model\qwen3-8b-f16.gguf""D:\Desktop\Lamma\model\qwen3-8b-q4_k_m.gguf"q4_k_m转换完可删除 15GB 的 f16 中间产物。
三、日常使用
cd d:\Desktop\Lamma.\.venv\Scripts\python.exe main.py# 交互对话.\.venv\Scripts\python.exe main.py-p"你好"# 单轮.\.venv\Scripts\python.exe main.py--no-think# 关闭 Qwen3 思考模式.\.venv\Scripts\python.exe main.py--system"你是翻译官"对话内命令：/exit退出、/clear清空历史、/system <提示词>改人设。main.py自动拉起/关闭llama-server，自动处理 CUDA 环境变量，IDE 直接点运行即可。
也可单独起服务（OpenAI 兼容 API，端口 8080）：
D:\Lamma\build\bin\llama-server.exe-m"D:\Desktop\Lamma\model\qwen3-8b-q4_k_m.gguf"-ngl 99-c 8192--port 8080四、踩坑记录（关键）
| 现象 | 原因 | 解法 |
|---|---|---|
find_package(CUDAToolkit)找不到 | nvcc 不在 PATH | 设CUDAToolkit_ROOT/CUDA_PATH指向 CUDA v13.4 |
nvcc fatal: Cannot find compiler 'cl.exe' | 普通 PowerShell 无 MSVC 环境 | 先call vcvars64.bat |
VS 生成器报The CUDA Toolkit directory '' does not exist | VS 的 CUDA BuildCustomization 与 CUDA 13 集成缺陷 | 换-G Ninja，直接调 nvcc 绕开 MSBuild |
运行报0xC0000135 | CUDA 13 的 runtime DLL 在bin\x64子目录（CUDA 12 及更早在bin） | PATH 加...\CUDA\v13.4\bin\x64；main.py已内置自动处理 |
--outtype q4_k_m报 invalid choice | 新版转换脚本只输出未量化格式 | 先--outtype f16，再llama-quantize量化 |
流式解析Unterminated string | requestsiter_lines(decode_unicode=True)在 urllib3 2.x 劈断跨包 UTF-8 行 | 按 bytes 切行后自行.decode("utf-8") |
| Qwen3 回复只有思考没有正文 | 思考走reasoning_content字段 | 与content分开处理 |
| IDE 点运行起不来 server | IDE 早于 CUDA 安装启动，环境块缺 CUDA 路径 | main.py启动子进程时自动注入bin\x64 |
五、显存预算参考（8G）
Q4_K_M 权重 4.79GB + KV cache 约 0.15MB/token：-c 8192合计约 6GB，安全；-c 16384约 7.2GB，接近上限。更长上下文需降低量化精度或用--cpu-moe之外的手段（8B 模型建议保持 ≤16k）。