MemGPT 接入 Groq 的 2 个报错:一份最小排查清单
【免费下载链接】MemGPTPlatform for stateful agents: AI with advanced memory that can learn and self-improve over time.项目地址: https://gitcode.com/GitHub_Trending/me/MemGPT
换成 Groq 模型后,MemGPT 启动提示No API key provided,对话时抛出NotImplementedError: Streaming not supported for Groq。不是代码 bug,是两处配置没到位。
原理速览
如果想把报错想成寄快递:取件码GROQ_API_KEY要填在配置项或环境变量里,两处都空着,包裹直接被拒收;流式是这条线路没开通的加急件,V1 存档源码里GroqClient的stream_async就是一句raise NotImplementedError,勾了加急就会被退单。填好取件码、勾掉加急,链路即通。
解决路径
把密钥写进环境变量
密钥只认配置项或环境变量两处,这里用环境变量,换密钥不用改代码。
export GROQ_API_KEY="gsk_你的密钥" echo 'export GROQ_API_KEY="gsk_你的密钥"' >> ~/.bashrc⚠️ 注意:想走配置文件就把密钥填到model_settings.groq_api_key;环境变量写入~/.bashrc后当前终端不会自动加载,先用export临时生效。
取件码放好了,但加急件(流式)那条路还没修好。
在 LLMConfig 里关掉流式开关
Groq 客户端没实现流式通路,stream必须显式关,别指望默认值。
llm_config = LLMConfig( model="llama3-70b-8192", model_endpoint="https://api.groq.com/openai/v1", stream=False, )⚠️ 注意:stream=False这一行必须显式写出来;想要 32K 上下文就把 model 换成mixtral-8x7b-32768。
配置齐了,发一条最短请求,验证密钥、端点、模型三样是否都通。
发一次最小请求验证链路
用 V1 存档源码里自带的客户端发一条消息,确认全链路有真实回复。
from letta.llm_api.groq_client import GroqClient client = GroqClient() resp = client.request( request_data=client.build_request_data(messages, llm_config), llm_config=llm_config, ) print(resp["choices"][0]["message"]["content"])⚠️ 注意:这条请求走非流式通路,一次返回完整响应,别期待逐字打印;messages换成你自己的对话列表。
打印出模型回复,链路即通;再做一轮自检更稳。
自检清单
- 如果
echo $GROQ_API_KEY输出为空,说明变量没导出,或当前终端没加载~/.bashrc,重开终端再确认。 - 如果
python -c "import os; print(os.environ.get('GROQ_API_KEY'))"打印出密钥,说明 Python 进程内已能读到。 - 如果对话不再抛
NotImplementedError,说明流式开关已生效。 - 如果最小请求打印出模型回复、不再报
No API key provided,说明密钥、端点、模型三样全通 ✅
容易搞混的点
密钥直接写进 settings.py 行吗?行,两处都被读取,任选其一;环境变量换密钥不用动代码。
流式报错能靠重试解决吗?不能,stream_async本就是raise NotImplementedError,只能显式关stream。
llama3-70b 和 mixtral-8x7b 选哪个?要响应快选llama3-70b-8192;长文档、长上下文选mixtral-8x7b-32768。
继续深挖
想看 Letta(MemGPT 现名)的现状与入口,读 README.md;issue 与贡献规范在 CONTRIBUTING.md。
【免费下载链接】MemGPTPlatform for stateful agents: AI with advanced memory that can learn and self-improve over time.项目地址: https://gitcode.com/GitHub_Trending/me/MemGPT
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考