☰
不到25美元,把普通眼镜改成会认物、能问答的AI眼镜
2026/10/18 1:51:37 网站建设 项目流程

不到25美元,把普通眼镜改成会认物、能问答的AI眼镜

【免费下载链接】OpenGlassTurn any glasses into AI-powered smart glasses项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass

OpenGlass 是一个开源 DIY 项目:用不到 25 美元、以 Seeed Studio XIAO ESP32 S3 为核心的现货组件,把一副普通眼镜改造成能拍照、描述画面、回答问题的 AI 智能眼镜。硬件主要做 3D 打印支架和接线,软件是烧一次固件、配好 API 密钥。整体动手量不大、流程不长,但你需要一台能联网的电脑,并愿意装好 Arduino 环境。

🔍 先看到效果

拍照问答。戴上眼镜后,前端会每 5 秒自动拍一张并推到本地。画面先由 Ollama 的 moondream 模型生成文字描述,再由 Groq 的 Llama3 根据描述回答你随口问的问题——比如"我刚才把车停在哪儿了",这是项目最初想解决的典型场景。

识别画面内容。看向路牌、菜单或白板,图像描述模块会把画面里的内容转写成文字,包括图中出现的文字,而不是只给一句笼统总结。

记录声音。固件同时采集麦克风,通过 BLE 把音频流送进 App,配合 OpenAI 的语音合成,可以把模型的回答直接读出来。

动手前的准备

硬件物料总成本不到 25 美元,额外需要一台电脑、一条 USB 线,以及一台 3D 打印机(或愿意付费外发打印)。

组件作用备注
Seeed Studio XIAO ESP32 S3 Sense主控:跑固件、采集画面与声音Sense 版自带摄像头和麦克风,无需另购模组,不建议替代
EEMB LP502030 3.7V 250mAh 电池给眼镜供电3.7V / 250mAh,购买现货即可
3D 打印眼镜支架外壳固定电路、装到镜腿上仓库提供 STL 文件,可外发 3D 打印

搭建流程

打印并固定支架

目标:得到一个能固定主控板、又能戴在镜腿上的外壳。

操作:用仓库提供的 STL 文件 3D 打印外壳,本地打印或外发服务均可,然后把 XIAO ESP32 S3 Sense 和电池装进外壳。

完成信号:主控板能稳固卡进外壳,且摄像头朝向不受遮挡。

烧录固件

目标:让 XIAO ESP32 S3 跑起 OpenGlass 固件。

操作:用 Arduino IDE 打开 firmware 目录里的 .ino,先添加 ESP32 板包地址并安装 esp32,选中 XIAO_ESP32S3 开发板和一个串口。关键一步是把 Tools 里的 PSRAM 设为 OPI PSRAM,再上传。命令行用户也可用 arduino-cli 一条命令编译上传:

arduino-cli compile --build-path build --output-dir dist -e -u -p COM5 -b esp32:esp32:XIAO_ESP32S3:PSRAM=opi

完成信号:串口不再报错,手机蓝牙扫描列表里出现名为 "OpenGlass" 的设备。

安装前端并配置密钥

目标:在电脑上准备运行环境。

操作:克隆仓库后安装依赖,再把 Groq 和 OpenAI 的密钥填进密钥文件 sources/keys.ts:

git clone https://gitcode.com/GitHub_Trending/op/OpenGlass

完成信号:进入目录执行 npm install 装好依赖,keys.ts 里 groq、openai、ollama 三个字段填上有效值。

部署本地图像模型

目标:让"画面描述"这一步跑在本地,而不是全部走云端。

操作:自托管 Ollama,把服务地址填进 keys.ts,再拉取描述模型:

ollama pull moondream:1.8b-v2-fp16

完成信号:ollama list 能列出 moondream 模型,前端收到的是描述文本而非空值。

启动应用并连接设备

目标:把眼镜和前端连起来,看到实时画面。

操作:运行 npm start(这是一个 Expo 项目),在浏览器打开输出的 localhost 链接,点击 Connect to the device。

完成信号:页面连上设备后开始收到照片,并按 5 秒间隔刷新。

🧩 装好之后还能做什么

  • 换问答后端:groq-llama3.ts 走 Groq Llama3-70B,或 openai.ts 走 GPT 并做语音合成。
  • 本地推理:ollama.ts 集中管理 Ollama 的调用与模型选择。
  • 图像描述入口:imageDescription.ts 可修改 prompt 与使用的视觉模型。
  • 硬件调试:固件引脚定义 列出了摄像头接线的对应关系。

收尾

这套方案适合想折腾硬件、又想要一个能拍照问答的眼镜原型的人,不适合追求开箱即用的产品。局限要说清:它依赖联网,Groq 和 OpenAI 的调用会消耗 API 额度;图像描述走 Ollama 时还需要本地算力。更要紧的是,README 顶部标注项目已迁移到 Omi 仓库、本仓库不再维护,所以它更像一份可学习的参考实现。如果你正打算做这类可穿戴原型,先按上面的流程把硬件和固件跑通,再决定要不要继续投入。

【免费下载链接】OpenGlassTurn any glasses into AI-powered smart glasses项目地址: https://gitcode.com/GitHub_Trending/op/OpenGlass

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询