企业官网建设流程全解析

Android端侧AI / On-device LLM / 重客户端本地大模型推理架构

摘要：适用于Android设备的本地化大语言模型推理架构方案，核心是将模型文件控制在300MB以内，实现端侧AI聊天功能。主要推荐使用Qwen2.5-0.5B-Instruct模型的量化版本（Q3_K_S/Q3_K_M约250-300MB），并设计了包含模型管理、设备检测、本地推理等7层架构。方案采用App首次启动后下载模型的模式，通过轻量后端实现模型分发和统计，不依赖服务器推理。针对不同设备性能提供两档模型选择，并详细说明了内存占用、隐私保护等技术细节，为移动端本地化AI应用提供了可行的实施方案。

模型大小从200MB 左右放宽到 300MB 以内后，端侧 AI 架构会更有可行性，尤其是中文普通聊天机器人场景。这时项目定位可以改成：

Android 重客户端本地推理架构：App 内置或下载一个 200MB～300MB 的小型量化 LLM，在用户手机本地完成文本聊天推理；后端只负责模型分发、配置、统计、账号等轻量能力。

一、总体结论

在模型文件不超过 300MB的前提下，主模型优先考虑：

Qwen2.5-0.5B-Instruct GGUF Q3_K_S / Q3_K_M

如果希望更稳，可以准备两个档位：

如果希望更稳，可以准备两个档位：

轻量版：Qwen2.5-0.5B-Instruct Q2_K / IQ2，约 180MB～230MB 标准版：Qwen2.5-0.5B-Instruct Q3_K_S / Q3_K_M，约 250MB～300MB

这样 App 可以根据手机性能自动选择模型：

低端手机：轻量版 中端及以上手机：标准版

不建议一开始就追求 1B、1.5B、3B 级模型，因为即使极低量化，体积、内存、速度、发热都会明显上升，不适合大众 Android App 的首版端侧推理。

二、推荐总体架构

架构可以设计成：

Android App ├── 聊天 UI ├── Prompt 构造层 ├── 本地模型管理器 ├── 本地推理引擎 │ └── llama.cpp / MLC / ExecuTorch ├── 本地模型文件 │ └── Qwen2.5-0.5B-Instruct GGUF 量化模型 ├── 设备能力检测 ├── 本地配置管理 └── 可选云端接口 轻量后端 ├── App 配置下发 ├── 模型版本清单 ├── 模型下载地址 ├── 模型完整性校验 ├── 用户账号，可选 ├── 使用统计，可选 └── 云端兜底聊天，可选 CDN / 对象存储 └── 存放模型文件

核心链路是：

用户输入 ↓ Android App 本地构造 prompt ↓ 调用本地推理引擎 ↓ 加载本地 GGUF 模型 ↓ 手机本地生成回答 ↓ 流式显示到聊天界面

也就是：

不依赖服务器推理 不把用户问题发到服务器 聊天在手机本地完成

三、端侧 AI 架构分层

可以把 Android 端设计成 7 层。

1. 表现层：Chat UI

负责：

聊天列表 输入框 发送按钮 停止生成按钮 生成中状态 错误提示 模型下载提示 设备性能提示

这层不直接接触模型。

它只调用：

ChatViewModel / ChatController

2. 对话控制层：Chat Controller

负责一次聊天请求的完整流程：

接收用户输入 检查模型是否可用 构造 prompt 调用本地推理 接收流式 token 更新 UI 处理取消生成 处理异常

注意：如果仍然坚持“不保留上下文”，那么每次只传：

system prompt + 当前用户输入

如果允许 App 本地短期上下文，也可以只在本机保存，不上传服务器。

3. Prompt 层：Prompt Builder

负责把用户输入转换成模型可理解的格式。

例如：

system: 你是一个友好、简洁、可靠的中文聊天助手。 请用简单易懂的话回答用户问题。 如果不知道答案，请直接说明不知道，不要编造。 user: 用户当前问题

对于 Qwen Instruct 模型，要尽量使用它支持的 chat template。

在架构上建议单独抽出：

PromptBuilder

原因是后续如果换模型，比如：

Qwen SmolLM Phi Gemma

不同模型的 prompt 格式可能不一样。

4. 本地推理层：Local LLM Runtime

这是核心层。

可以选：

llama.cpp Android MLC LLM MediaPipe LLM Inference ExecuTorch ONNX Runtime Mobile

对于当前这个300MB 以内 GGUF 小模型的设想，最直接的是：

llama.cpp Android + GGUF

架构：

Kotlin / Java ↓ JNI C++ Native Wrapper ↓ llama.cpp ↓ GGUF 模型文件

推理层要提供这些能力：

初始化模型 加载模型 生成文本 流式 token 回调 停止生成 释放模型 设置推理参数 获取运行状