企业官网建设流程全解析

1. 从多模态 RAG 的 Token 消耗说起：长期记忆系统为什么先卡在 Key

北大与 MemoraX AI 开源的多模态 Agent 长期记忆系统最近很受关注，它把 RAG 从“文本切片 + 向量召回”推进到图文、视频、音频、文档混合记忆。但真正把项目拉到本地跑起来时，很多人会发现，最容易被卡住的不是记忆结构，而是 RAG 生成阶段的 Token 消耗和模型 Key 配置。一次对话可能先做图片描述、再跑多模态 embedding、再召回几十条记忆片段、再做 rerank、最后让 LLM 生成带长期上下文的回答。每一步都要走模型 API，Key 散落在.env、config.yaml、settings.json里，切换供应商要改半天。本文只做一件事：不重写记忆框架，只把模型 Key 和 Base URL 换到 TaoToken。你可以先到 TaoToken 官网 获取 Key，Base URL 统一设为https://taotoken.net/api。下面给出 RAG 调用配置片段、启动命令和改动前后对照，按本地环境复现即可。

这类多模态长期记忆系统的典型链路可以抽象成：

多模态输入 -> OCR / ASR / 图像描述 -> 多模态 embedding -> 向量库召回 -> rerank 重排 -> 记忆压缩与摘要 -> LLM 生成回答 -> 回写长期记忆

其中真正吃 Token 的通常不是向量库本身，而是“生成”和“压缩”环节。召回的记忆越长、多模态描述越多，拼进 prompt 的上下文就越大。如果还用默认 Key 和默认 Base URL，调试阶段很容易遇到限流、余额分散、模型切换困难。把模型入口统一到 TaoToken 后，记忆系统、RAG 脚本、Claude Code、Codex 可以共用一套 Key 和 Base URL，排障路径会短很多。

2. 先定位多模态长期记忆里的 4 类模型调用

在改配置之前，建议先把项目里的模型调用点找全。不同开源实现的目录名不一样，但多模态 Agent 长期记忆系统通常离不开下面 4 类调用。

第一类是多模态理解：图片转文字描述、视频关键帧描述、音频转写、PDF 表格解析。它们可能走视觉模型，也可能走多模态 LLM。

第二类是向量化：把文本描述、图像描述、记忆摘要转成 embedding，写入向量库。这里经常被忽略，但批量导入历史记忆时 embedding 调用量很大。

第三类是检索后重排：向量召回 Top K 之后，用 rerank 模型或 LLM 做相关性排序。长期记忆系统为了保证“回忆准确”，往往会把 Top 50 甚至更多片段送进重排。

第四类是生成与压缩：把召回的记忆片段拼成上下文，让 LLM 回答用户，同时生成新的记忆摘要、反思、关系图谱。这是 Token 消耗最集中的地方。

你可以先在项目根目录搜索这些关键词：

grep -R "openai\|anthropic\|base_url\|api_key\|chat.completions\|embeddings" \ -n . \ --exclude-dir=.git \ --exclude-dir=node_modules \ --exclude-dir=.venv

如果项目是 Python，大概率会看到类似结构：

your_memory_project/ ├── configs/ │ └── rag_memory.yaml ├── memory/ │ ├── encoder.py │ ├── retriever.py │ └── summarizer.py ├── llm/ │ ├── client.py │ └── prompts.py ├── scripts/ │ ├── ingest_multimodal.py │ └── chat_with_memory.py └── .env

重点看llm/client.py、memory/encoder.py、memory/summarizer.py。这些文件通常集中读取OPENAI_API_KEY、OPENAI_BASE_URL、ANTHROPIC_API_KEY之类的环境变量。改造成 TaoToken 时，原则是：只替换 Key、Base URL 和模型名，不改记忆数据结构，不改向量库 schema，不改检索算法。

3. TaoToken 接入准备：Key、Base URL 与最小连通性测试

第一步是准备 TaoToken Key。进入 TaoToken 官网 后，按控制台提示创建 API Key。如果你已经有账号，可以直接打开 API Keys 页面 创建或复制 Key。本文所有示例都用占位符YOUR_API_KEY，不要把自己的真实 Key 提交到 Git。

Base URL 统一写成：

https://taotoken.net/api

注意：Base URL 不要加 UTM 参数，UTM 只用于官网入口和文档入口。工具配置里只填https://taotoken.net/api。

先设置环境变量：

export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api" export TAOTOKEN_CHAT_MODEL="YOUR_CHAT_MODEL" export TAOTOKEN_EMBEDDING_MODEL="YOUR_EMBEDDING_MODEL" export TAOTOKEN_RERANK_MODEL="YOUR_RERANK_MODEL"

如果你使用 OpenAI 兼容 SDK，可以用下面的 Python 代码做最小连通性测试：

import os from openai import OpenAI client = OpenAI( api_key=os.environ["TAOTOKEN_API_KEY"], base_url="https://taotoken.net/api", ) resp = client.chat.completions.create( model=os.getenv("TAOTOKEN_CHAT_MODEL", "YOUR_CHAT_MODEL"), messages=[ {"role": "system", "content": "你是一个连通性测试助手。"}, {"role": "user", "content": "只回复 pong"}, ], max_tokens=16, temperature=0, ) print(resp.choices[0].message.content)

如果要用 curl 排查，也可以手动请求：

curl -sS "https://taotoken.net/api/chat/completions" \ -H "Authorization: Bearer YOUR_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "YOUR_CHAT_MODEL", "messages": [ {"role": "user", "content": "只回复 pong"} ], "max_tokens": 16 }'

如果返回 401，优先检查 Key 是否复制完整；如果返回 404，检查 Base URL 是否误写成官网首页或带上了多余路径；如果返回 429，先降低并发，不要一上来就把多模态入库脚本开到几十个线程。

4. 改动前 vs 改动后：多模态 RAG 调用配置片段

很多项目的配置是“一个 Provider 一套 Key”。在多模态长期记忆系统里，这种写法会导致 OCR、embedding、rerank、chat、summary 各自读不同环境变量。改造目标不是把项目改成另一个框架，而是把模型出口统一到 TaoToken。

改动前，假设你的configs/rag_memory.yaml类似这样：

llm: provider: openai base_url: https://api.openai.com/v1 api_key: ${OPENAI_API_KEY} model: gpt-4o-mini embedding: provider: openai base_url: https://api.openai.com/v1 api_key: ${OPENAI_API_KEY} model: text-embedding-3-small rerank: provider: openai base_url: https://api.openai.com/v1 api_key: ${OPENAI_API_KEY} model: YOUR_RERANK_MODEL

改动后，只保留 TaoToken 入口：

llm: provider: openai_compatible base_url: https://taotoken.net/api api_key: ${TAOTOKEN_API_KEY} model: ${TAOTOKEN_CHAT_MODEL} embedding: provider: openai_compatible base_url: https://taotoken.net/api api_key: ${TAOTOKEN_API_KEY} model: ${TAOTOKEN_EMBEDDING_MODEL} rerank: provider: openai_compatible base_url: https://taotoken.net/api api_key: ${TAOTOKEN_API_KEY} model: ${TAOTOKEN_RERANK_MODEL}

然后把 Python 客户端改成从环境变量读取：

import os from openai import OpenAI def build_client() -> OpenAI: return OpenAI( api_key=os.environ["TAOTOKEN_API_KEY"], base_url=os.getenv("TAOTOKEN_BASE_URL", "https://taotoken.net/api"), timeout=60, max_retries=2, ) def embed_texts(texts: list[str]) -> list[list[float]]: client = build_client() resp = client.embeddings.create( model=os.environ["TAOTOKEN_EMBEDDING_MODEL"], input=texts, ) return [item.embedding for item in resp.data] def generate_with_memory(query: str, memory_snippets: list[str]) -> str: client = build_client() context = "\n\n".join(memory_snippets) prompt = f"""你是一个带长期记忆的多模态 Agent。 请根据下面的记忆片段回答用户问题。如果记忆中没有相关信息，请明确说明。 【长期记忆片段】 {context} 【用户问题】 {query} """ resp = client.chat.completions.create( model=os.environ["TAOTOKEN_CHAT_MODEL"], messages=[{"role": "user", "content": prompt}], temperature=0.2, max_tokens=1024, ) return resp.choices[0].message.content

改动前后可以这样对照：

启动命令也要跟着改。不要写死在代码里，建议用 shell 注入：

export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api" export TAOTOKEN_CHAT_MODEL="YOUR_CHAT_MODEL" export TAOTOKEN_EMBEDDING_MODEL="YOUR_EMBEDDING_MODEL" export TAOTOKEN_RERANK_MODEL="YOUR_RERANK_MODEL" python -m your_memory_project.server \ --config configs/rag_memory.yaml \ --host 127.0.0.1 \ --port 8000

如果项目提供的是 FastAPI 入口，也可以这样启动：

uvicorn your_memory_project.api:app \ --host 127.0.0.1 \ --port 8000 \ --reload

入库多模态记忆时，建议先小批量验证：

python scripts/ingest_multimodal.py \ --config configs/rag_memory.yaml \ --input ./samples \ --batch-size 4 \ --limit 20

确认 embedding 调用、向量写入、摘要生成都正常后，再扩大批量。

5. 把 TaoToken 接进 Claude Code：settings.json 与 ANTHROPIC_* 三件套

多模态长期记忆系统开发过程中，经常需要让 Claude Code 帮忙读代码、改配置、写脚本。Claude Code 侧不要和 RAG 项目的 Python 配置混在一起，单独用settings.json或环境变量管理。

Claude Code 常用三件套是：

• ANTHROPIC_BASE_URL
• ANTHROPIC_AUTH_TOKEN
• ANTHROPIC_MODEL

在项目根目录或 Claude Code 配置目录中创建settings.json：

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_MODEL": "YOUR_CLAUDE_MODEL", "ANTHROPIC_SMALL_FAST_MODEL": "YOUR_CLAUDE_FAST_MODEL" } }

如果你使用 CC Switch 之类的配置切换工具，按“三件套”填：

供应商名称：TaoToken Base URL：https://taotoken.net/api API Key：YOUR_API_KEY 主力模型：YOUR_CLAUDE_MODEL 快速模型：YOUR_CLAUDE_FAST_MODEL

然后启动：

claude

在 Claude Code 里让它先读一遍 RAG 项目结构：

请扫描当前仓库中和 LLM 调用相关的文件，列出所有 base_url、api_key、model 的读取位置，并给出替换为 TaoToken 的最小改动方案。

如果你需要更完整的 Claude Code 配置说明，可以看 Claude Code 文档。注意：Claude Code 使用ANTHROPIC_*，Codex 不要套这套变量，下面单独讲 Codex。

6. Codex 侧独立配置：config.toml 不要混用 ANTHROPIC_*

Codex 使用 OpenAI 兼容配置，和 Claude Code 是两条线。最忌讳把ANTHROPIC_BASE_URL、ANTHROPIC_AUTH_TOKEN套到 Codex 上，这会导致请求路径和鉴权头都不对。

Codex 的config.toml可以这样写：

model = "YOUR_CODEX_MODEL" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" wire_api = "chat"

然后设置环境变量并启动：

export TAOTOKEN_API_KEY="YOUR_API_KEY" codex

如果你的 Codex 版本要求wire_api = "responses"，以你本地 CLI 版本和 TaoToken 控制台文档为准。核心原则不变：Codex 用TAOTOKEN_API_KEY和https://taotoken.net/api，不要混入ANTHROPIC_*；Claude Code 用ANTHROPIC_*，不要把 Codex 的config.toml照搬过去。

在 Codex 里可以这样下达任务：

读取 configs/rag_memory.yaml 和 llm/client.py，把所有模型出口统一为环境变量 TAOTOKEN_API_KEY、TAOTOKEN_BASE_URL，并保证不破坏原有检索逻辑。

7. 多模态长期记忆系统的启动命令与排障清单

改造完成后，建议按“连通性 -> embedding -> rerank -> chat -> 记忆回写”的顺序逐层验证。不要一上来就跑完整多模态入库。

先测健康检查：

curl -sS http://127.0.0.1:8000/health

再测 embedding：

python - <<'PY' import os from openai import OpenAI client = OpenAI( api_key=os.environ["TAOTOKEN_API_KEY"], base_url="https://taotoken.net/api", ) resp = client.embeddings.create( model=os.environ["TAOTOKEN_EMBEDDING_MODEL"], input=["测试多模态长期记忆向量化"], ) print(len(resp.data[0].embedding)) PY

再测 RAG 生成：

python scripts/chat_with_memory.py \ --config configs/rag_memory.yaml \ --query "总结我昨天上传的图片和文档重点"

常见问题可以按下面排查：

日志里重点看请求的base_url和model。如果项目把 Base URL 写死在代码里，建议改成：

BASE_URL = os.getenv("TAOTOKEN_BASE_URL", "https://taotoken.net/api")

这样以后切换环境时只改环境变量，不改代码。

8. 降低 RAG 生成 Token 的 5 个实用手段

统一 Key 只是第一步。多模态长期记忆系统真正长期运行，还要控制无效 Token。下面这些手段可以和 TaoToken 配置一起用。

第一，缓存 embedding。同一段文本、同一张图片描述不要反复向量化：

import hashlib _EMBEDDING_CACHE: dict[str, list[float]] = {} def cache_key(text: str) -> str: return hashlib.sha256(text.encode("utf-8")).hexdigest() def cached_embedding(client, model: str, text: str) -> list[float]: key = cache_key(text) if key not in _EMBEDDING_CACHE: resp = client.embeddings.create(model=model, input=[text]) _EMBEDDING_CACHE[key] = resp.data[0].embedding return _EMBEDDING_CACHE[key]

第二，入库前做去重。图片 OCR 文本、视频字幕、文档段落经常高度重复，先用哈希或 MinHash 去重，再送 embedding。

第三，分级模型。路由、分类、简单摘要可以用小模型；最终回答和复杂记忆推理用大模型。配置上就是不同任务读不同环境变量：

router: base_url: https://taotoken.net/api api_key: ${TAOTOKEN_API_KEY} model: ${TAOTOKEN_SMALL_MODEL} summarizer: base_url: https://taotoken.net/api api_key: ${TAOTOKEN_API_KEY} model: ${TAOTOKEN_CHAT_MODEL} final_answer: base_url: https://taotoken.net/api api_key: ${TAOTOKEN_API_KEY} model: ${TAOTOKEN_CHAT_MODEL}

第四，控制召回上下文。不要把 Top 50 原始片段全部拼进 prompt。可以先做 rerank，再压成结构化记忆：

【人物】... 【事件】... 【时间】... 【关联图片】... 【相关文档】...

第五，记忆压缩异步化。用户对话结束后，再异步生成摘要和关系，不要阻塞主回答。这样主链路 Token 更可控，长期记忆回写也不会拖慢响应。

9. 文末 CTA：模型对话 → Coding Plan → 创建 Key → Claude Code 文档

如果你准备把多模态 RAG 长期记忆系统跑起来，建议按这个路径操作：

1. 先到 模型对话 验证 TaoToken 的模型调用是否正常，确认 Base URL 填https://taotoken.net/api。
2. 如果后续要长期写代码、调试 Agent、改 RAG 配置，可以看 Coding Plan。
3. 然后去 创建 API Key，把YOUR_API_KEY替换成自己的 Key，并写入本地环境变量。
4. 如果你同时使用 Claude Code，直接参考 Claude Code 文档，用ANTHROPIC_*三件套接入；Codex 则单独用config.toml。

最后再强调一次改造边界：多模态长期记忆系统的记忆结构、向量库、检索算法都不用重写，只需要把模型 Key、Base URL 和模型名换成 TaoToken。统一入口后，RAG 生成、embedding、rerank、Claude Code、Codex 的排障路径会清晰很多。先去 TaoToken 官网 获取 Key，把 Base URL 设为https://taotoken.net/api，然后按本文的配置片段和启动命令，在你自己的本地环境里逐层验证即可。