☰
MemGPT 接入 Groq 的 2 个报错:一份最小排查清单
2026/10/3 8:15:48 网站建设 项目流程

MemGPT 接入 Groq 的 2 个报错:一份最小排查清单

【免费下载链接】MemGPTPlatform for stateful agents: AI with advanced memory that can learn and self-improve over time.项目地址: https://gitcode.com/GitHub_Trending/me/MemGPT

换成 Groq 模型后,MemGPT 启动提示No API key provided,对话时抛出NotImplementedError: Streaming not supported for Groq。不是代码 bug,是两处配置没到位。

原理速览

如果想把报错想成寄快递:取件码GROQ_API_KEY要填在配置项或环境变量里,两处都空着,包裹直接被拒收;流式是这条线路没开通的加急件,V1 存档源码里GroqClient的stream_async就是一句raise NotImplementedError,勾了加急就会被退单。填好取件码、勾掉加急,链路即通。

解决路径

把密钥写进环境变量

密钥只认配置项或环境变量两处,这里用环境变量,换密钥不用改代码。

export GROQ_API_KEY="gsk_你的密钥" echo 'export GROQ_API_KEY="gsk_你的密钥"' >> ~/.bashrc

⚠️ 注意:想走配置文件就把密钥填到model_settings.groq_api_key;环境变量写入~/.bashrc后当前终端不会自动加载,先用export临时生效。

取件码放好了,但加急件(流式)那条路还没修好。

在 LLMConfig 里关掉流式开关

Groq 客户端没实现流式通路,stream必须显式关,别指望默认值。

llm_config = LLMConfig( model="llama3-70b-8192", model_endpoint="https://api.groq.com/openai/v1", stream=False, )

⚠️ 注意:stream=False这一行必须显式写出来;想要 32K 上下文就把 model 换成mixtral-8x7b-32768。

配置齐了,发一条最短请求,验证密钥、端点、模型三样是否都通。

发一次最小请求验证链路

用 V1 存档源码里自带的客户端发一条消息,确认全链路有真实回复。

from letta.llm_api.groq_client import GroqClient client = GroqClient() resp = client.request( request_data=client.build_request_data(messages, llm_config), llm_config=llm_config, ) print(resp["choices"][0]["message"]["content"])

⚠️ 注意:这条请求走非流式通路,一次返回完整响应,别期待逐字打印;messages换成你自己的对话列表。

打印出模型回复,链路即通;再做一轮自检更稳。

自检清单

  • 如果echo $GROQ_API_KEY输出为空,说明变量没导出,或当前终端没加载~/.bashrc,重开终端再确认。
  • 如果python -c "import os; print(os.environ.get('GROQ_API_KEY'))"打印出密钥,说明 Python 进程内已能读到。
  • 如果对话不再抛NotImplementedError,说明流式开关已生效。
  • 如果最小请求打印出模型回复、不再报No API key provided,说明密钥、端点、模型三样全通 ✅

容易搞混的点

密钥直接写进 settings.py 行吗?行,两处都被读取,任选其一;环境变量换密钥不用动代码。

流式报错能靠重试解决吗?不能,stream_async本就是raise NotImplementedError,只能显式关stream。

llama3-70b 和 mixtral-8x7b 选哪个?要响应快选llama3-70b-8192;长文档、长上下文选mixtral-8x7b-32768。

继续深挖

想看 Letta(MemGPT 现名)的现状与入口,读 README.md;issue 与贡献规范在 CONTRIBUTING.md。

【免费下载链接】MemGPTPlatform for stateful agents: AI with advanced memory that can learn and self-improve over time.项目地址: https://gitcode.com/GitHub_Trending/me/MemGPT

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询