不花一分钱搜索 X:insane-search 双路关键词发现与推文再验证原理
【免费下载链接】insane-searchAuto-bypass for blocked websites in Claude Code — Phase 0→3 adaptive scheduler, no API keys项目地址: https://gitcode.com/gh_mirrors/in/insane-search
🚀 一句话看懂 insane-search
insane-search是一个专为 Claude Code 打造的免费公开网页读取器:当普通抓取被 403、WAF、验证码挡住时,它会自动升级策略,通过平台公开端点拿到真实的公开内容——全程不需要 API key、不需要代理、不注册、不花钱。
其中最常被问到的能力之一,就是X(Twitter)关键词搜索:你只给一个关键词,它就能找到相关的公开推文,并逐条再验证原文后才返回。整个过程由 x_search.py 驱动,下面拆开讲它是怎么"免费"做到这一点的。
🔍 双路关键词发现:免费搜索引擎 + 可选增强
X 本身早已关闭 RSS,直接抓取又会被挡(详见 twitter.md 中的失败方式清单)。insane-search 的做法是不直接搜 X,而是用公开搜索引擎间接发现 X 推文 URL,并行跑两条免费路线:
| 路线 | 说明 | 是否必须 |
|---|---|---|
| 🆓Brave 搜索 | 用site:x.com "关键词"等查询模板抓搜索结果页,正则提取/status/{id}推文链接 | 始终运行 |
| 🆓Yahoo 搜索 | 同样的查询策略,作为第二路独立信源 | 始终运行 |
| 📡xAI x_search(可选) | 检测到XAI_API_KEY或本地 OAuth 时自动并入,走 xAI 服务端搜索 | 有凭证才启用 |
三条路线用线程池并行执行(见 x_search.py),任何一路失败都会被记录到discovery_errors,但不影响其他路继续出结果——免费路线是基线,付费路线只是锦上添花。
HTTP 请求统一走 x_search_io.py 中的curl_cffiSafari TLS 指纹,比普通 curl 更不容易被识别为机器人。
⚖️ 交叉合并:不让单一信源"霸榜"
一个关键设计是 x_search.py 中的轮询交错合并(interleave):
- 统计每条 URL 被几个信源独立发现;
- 只有单一信源发现的 URL 按"每路取一条"轮流排列,保证多样性;
- 多条信源共同发现的 URL 排在最后补充。
这样即使某家引擎索引更全,它也不可能独占前 N 条结果——多路独立观测是结果可信度的第一道保障。
✅ 推文再验证:snippet 不算数,原文才算
发现到的 URL只是线索,不是结论。每条候选链接都会进入 Phase 0 的tweet-result路由(phase0.py)做二次验证:
- 请求 X 官方公开端点
cdn.syndication.twimg.com/tweet-result(无需登录、无需 key); - 拿到原始 JSON:推文全文、作者、发布时间、点赞数、回复数;
- 验证失败的 URL 被丢弃并记入
rejected_urls,绝不拿搜索引擎摘要或 AI 生成的 summary 充当最终证据。
验证结果统一封装为 x_search_types.py 中的XPost/XSearchResult数据契约,字段清晰、可审计。
📦 看结果,也看"出处"
输出 JSON 里除了posts,还专门留了一组溯源字段(x_search_types.py):
discovery_sources—— 实际用了哪些发现渠道(brave / yahoo / xai);degraded_reason—— 如xai_unavailable、xai_disabled,说明是否处于降级运行;discovery_errors—— 各渠道的具体失败原因;rejected_urls—— 哪些候选没通过原文再验证;- 每条推文的
discovered_by—— 这条推文被哪些信源独立发现。
也就是说,你不仅拿到"别人说了什么",还知道这句话是从哪条免费路线、经过什么验证来的。
🛠️ 快速上手
安装插件后无需记命令,直接对 Claude Code 说"在 X 上搜索 xxx"即可自动触发。想手动跑一遍完整流程:
cd skills/insane-search python3 -m engine.x_search "Claude Code" --limit 10- 想强制纯免费路线:加
--free-only,或设置环境变量INSANE_SEARCH_XAI=off; - 有 xAI 凭证时会自动增强,没有则自动降级为双免费路线,功能不受影响。
更完整的命令与字段说明见 SKILL.md 和 twitter.md。
🧭 边界说明
insane-search 是公开内容读取器,不是绕过登录的工具:遇到登录墙或付费墙会如实报告authentication required,从不冒充用户登录。使用公开端点与标准文档化技术的同时,请遵守各站点服务条款与 robots 约定,详见 DISCLAIMER.md。
一句话总结:双路(可扩展为三路)免费关键词发现 + 官方端点逐条再验证 + 全链路溯源,这就是 insane-search 不花一分钱也能可靠搜 X 的底层原理。
【免费下载链接】insane-searchAuto-bypass for blocked websites in Claude Code — Phase 0→3 adaptive scheduler, no API keys项目地址: https://gitcode.com/gh_mirrors/in/insane-search
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考