企业官网建设流程全解析

1. 项目概述：Docker与Ollama的黄金组合

在本地部署大语言模型时，Ollama凭借其轻量化和易用性成为开发者的首选工具。而Docker的容器化技术则为模型部署提供了环境隔离和便捷分发的解决方案。将二者结合使用，可以快速搭建一个可移植、可复现的AI模型运行环境。

我最近在多个项目中实践了这种部署方式，发现它能完美解决以下痛点：

• 避免污染主机环境
• 一键部署到不同设备
• 方便版本管理和回滚
• 简化依赖项管理

2. 环境准备与工具选型

2.1 Docker安装与配置

对于Windows/macOS用户，推荐直接安装Docker Desktop。Linux用户可通过以下命令安装：

# Ubuntu/Debian sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io # CentOS/RHEL sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install docker-ce docker-ce-cli containerd.io

安装后需要配置国内镜像加速（以阿里云为例）：

sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://<你的ID>.mirror.aliyuncs.com"] } EOF sudo systemctl daemon-reload sudo systemctl restart docker

注意：Windows用户若遇到"virtualisation support not detected"错误，需在BIOS中开启VT-x/AMD-V虚拟化支持，并确保Hyper-V功能已启用。

2.2 Ollama基础镜像选择

官方提供了多个基础镜像变体：

• ollama/ollama:latest- 最新稳定版
• ollama/ollama:0.1.16- 特定版本
• ollama/ollama:cpu- 仅CPU版本

对于国内用户，建议使用阿里云镜像：

docker pull registry.cn-hangzhou.aliyuncs.com/ollama/ollama:latest

3. 容器化部署实战

3.1 基础运行命令

最简单的启动方式：

docker run -d -p 11434:11434 --name ollama ollama/ollama

但实际生产环境中，我们需要更完善的配置：

docker run -d \ --gpus=all \ -p 11434:11434 \ -v ollama_data:/root/.ollama \ -v /data/models:/models \ --restart=always \ --name ollama \ ollama/ollama

参数说明：

• --gpus=all：启用GPU加速（需先安装NVIDIA Container Toolkit）
• -v ollama_data:/root/.ollama：持久化模型数据
• -v /data/models:/models：挂载自定义模型目录
• --restart=always：自动重启

3.2 模型管理与使用

进入容器内部操作：

docker exec -it ollama ollama pull llama2 docker exec -it ollama ollama list

或者通过HTTP API直接调用：

curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "为什么天空是蓝色的？" }'

4. 高级配置技巧

4.1 自定义模型部署

准备自定义模型文件Modelfile：

FROM llama2 PARAMETER num_ctx 4096 SYSTEM """ 你是一个专业的AI助手，回答问题时需要： 1. 使用中文回答 2. 保持专业但友好的语气 3. 必要时提供参考资料 """

构建并运行自定义模型：

docker cp Modelfile ollama:/tmp/ docker exec -it ollama ollama create mymodel -f /tmp/Modelfile docker exec -it ollama ollama run mymodel

4.2 性能优化参数

在docker-compose.yml中配置资源限制：

version: '3' services: ollama: image: ollama/ollama deploy: resources: limits: cpus: '4' memory: 16G devices: - driver: nvidia count: 1 capabilities: [gpu] ports: - "11434:11434" volumes: - ollama_data:/root/.ollama volumes: ollama_data:

5. 常见问题排查

5.1 下载速度慢的解决方案

1. 使用国内镜像源：

docker exec -it ollama ollama pull --insecure-registry llama2@registry.cn-hangzhou.aliyuncs.com/ollama/llama2

2. 预先下载模型文件：

wget https://example.com/llama2.bin -O /data/models/llama2.bin docker exec -it ollama ollama create llama2 /models/llama2.bin

5.2 GPU相关错误处理

若遇到CUDA错误，首先检查驱动版本：

nvidia-smi

然后确认容器内CUDA版本匹配：

docker exec -it ollama nvcc --version

常见修复方案：

1. 升级NVIDIA驱动到最新版
2. 安装匹配版本的NVIDIA Container Toolkit
3. 添加环境变量：

docker run ... -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all ...

6. 生产环境部署建议

6.1 安全加固措施

1. 启用TLS加密：

openssl req -x509 -newkey rsa:4096 -nodes -keyout key.pem -out cert.pem -days 365 docker run -v $(pwd):/certs -e OLLAMA_HOST="0.0.0.0:11434" -e OLLAMA_CERT="/certs/cert.pem" -e OLLAMA_KEY="/certs/key.pem" ...

2. 设置访问控制：

docker run -e OLLAMA_AUTH="username:password" ...

6.2 监控与日志

配置Prometheus监控：

# ollama.yml scrape_configs: - job_name: 'ollama' static_configs: - targets: ['ollama:11434']

查看实时日志：

docker logs -f --tail 100 ollama

设置日志轮转：

docker run --log-driver=json-file --log-opt max-size=10m --log-opt max-file=3 ...

我在实际部署中发现，对于7B参数的模型，至少需要16GB内存才能流畅运行。如果遇到响应缓慢的情况，可以尝试调整num_threads参数：

docker exec -it ollama ollama run llama2 --num_threads 8