Claude-OSINT 自动化引擎完整拆解：recon_pipeline.sh 与多智能体扇出侦察流水线-迪斯科星球

Claude-OSINT 自动化引擎完整拆解：recon_pipeline.sh 与多智能体扇出侦察流水线

【免费下载链接】Claude-OSINT8 Claude skills · 100+ recon capabilities · 80 secret-regex patterns · 80+ dorks · 9 read-only credential validators · 27 attack-path templates · ~10,000 lines of structured tradecraft. Drop-in SKILL.md files that turn Claude into a god-mode external recon operator for authorized red-team and bug-bounty engagements.项目地址: https://gitcode.com/gh_mirrors/cl/Claude-OSINT

Claude-OSINT 是一个将 Claude 变成"上帝模式"外部侦察操作员的开源技能库，其中的osint-autopilot技能内置了自动化侦察引擎：一条命令跑完 6 阶段侦察流水线的前 5 个阶段，再通过多智能体扇出（fan-out）完成逐主机内容枚举，最终自动产出带严重度着色的 Excel 侦察报告。本文带你逐段拆解这条 OSINT 自动化的核心实现。

一个入口命令跑完 5 个侦察阶段 🎯

传统外部侦察要手动串联十几个工具：DNS 查询、子域名枚举、HTTP 探测、JS 密钥扫描、端口扫描……osint-autopilot技能把这些收敛为一条流水线。它的执行手册定义在 SKILL.md，核心驱动脚本是 recon_pipeline.sh：

bash recon_pipeline.sh <domain>

脚本会创建~/Research/engagements/<domain>/工程目录，然后按阶段落盘证据（evidence），全程写入带 UTC 时间戳的run-log.jsonl运行日志。

阶段 1：种子发现 —— DNS、WHOIS、RDAP、邮件安全四件套

recon_pipeline.sh 第 25-32 行用dig拉取 A/AAAA/MX/NS/SOA/TXT/CAA 全套记录，同时抓取 WHOIS、rdap.org 的 JSON 数据，并检查 SPF / DMARC / MTA-STS 三条邮件安全记录——这些是后续邮件欺骗判定规则的原始证据。

阶段 2：资产扩张 —— 三源子域名并集 + 并发解析

第 34-47 行同时从subfinder、CertSpotter API、crt.sh 证书透明日志三个来源取子域名，去重合并成subs-all.txt，再用xargs -P30以 30 并发dig解析，得到resolved.txt和存活主机清单live-hosts.txt。

阶段 3：富化 —— 并行 HTTP 探测与 JS 密钥扫描 🕵️

HTTP 指纹探测：第 49-58 行以 25 并发curl -I抓取每个主机的状态码、Server头与重定向地址，一行一主机地写入http-probe.txt；
身份织物探测：请求 Entragetuserrealm.srf与 OIDC discovery，若命中 Okta 租户则追加抓取组织配置；
/version泄露探测：对auth./iam.开头的主机探测未授权构建版本泄露（Ory Hydra/Kratos/Loki 等）；
S3 接管检查：识别 Server 头为 AmazonS3 的主机，验证是否存在NoSuchBucket（可接管）或公开列表；
端点收割：gau+waybackurls挖历史 URL，再对前 60 个 200 主机的第一方 JS（自动跳过 fontawesome/GTM 等 CDN）做正则扫描，提取 API 端点与密钥模式（AKIA、AIza、JWT、sk_live_等），见第 82-102 行；
泄露情报：调用免费的 HudsonRock Cavalier API 查询域名是否在窃密日志中出现；
有界端口扫描：先把解析出的 IP 按 RFC1918 拆成公网/内网两组——内网 IP 直接判定为"内部 IP 泄露"发现，公网 IP 才交给 nmap 扫 15 个高危端口，并用看门狗把总时长硬限制在 10 分钟，保证流水线永远不会卡死。

收尾：证据链与智能体分桶

流水线最后对evidence/下每个文件生成 SHA-256 侧车文件（取证链），再把存活主机按每桶 18 个切分为buckets/bucket-00/01/...，桶数量写入buckets/COUNT——这是下一阶段多智能体扇出的输入。

安全细节值得一提：脚本开头用严格正则校验域名参数，..、-rf、example.com;id等注入与路径逃逸输入一律拒绝，并且该防护在 shell 与两个 Python 入口共用同一模式，配套自测脚本 test_domain_guard.sh 还会断言"被拒绝的输入没有产生任何文件"。

多智能体扇出：host_enum.workflow.js 的 Stage 4 侦察

确定性脚本跑完后，真正"聪明"的部分登场：host_enum.workflow.js 是一个多智能体工作流脚本。

扇出（Enumerate 阶段）：脚本读取桶清单，用parallel()为每个桶并行启动一个通用智能体（约 18 个主机/智能体）。每个智能体的任务提示词非常具体——用ffuf以 25 req/s 限速做内容发现、识别技术栈、grep 首页 JS 里的 API 路由与密钥、记录"未授权 admin 200"这类亮点，并按 JSON Schema 返回结构化结果（schema强制了 host / live_paths / api_endpoints / secrets 字段）。提示词里还写死了反误报纪律：WAF 403 拦截页不算暴露；宁可空数组也绝不虚构密钥。

汇总（Synthesize 阶段）：第 46-60 行再把所有桶的 JSON 结果喂给一个汇总智能体，产出：去重排序的 API 端点总表、真实暴露路径（与 WAF 误报显式分离）、admin/dashboard 面板 200-未授权 vs 受保护对比、全部密钥清单、按技术栈分组的主机，以及面向 BOLA/IDOR 阶段的 Top-10 优先目标队列——但队列只是"待命武装"，绝不在自动模式下执行。

SKILL.md 里还有一条硬核工程经验：args必须传真实的 JSON 对象而不是字符串化字符串，否则args.domain/args.buckets会变成 undefined，导致只有汇总智能体空跑——脚本现在会对畸形参数大声报错（fail loudly）。

从证据到报告：规则引擎 + 九页签工作簿 📊

findings_gen.py 是纯规则引擎：读取 evidence 目录，按 11 类规则（非生产环境公网暴露、CDN/WAF 绕过源站、RFC1918 内部 IP 泄露、DMARC/SPF 配置、/version泄露、JS 密钥、S3 接管、身份提供商、泄露严重度分级、WordPress、端口暴露）自动生成findings.csv，每条发现带严重度、置信度、描述、修复建议与证据路径。没有一条硬编码发现——输出完全由目标证据推导。
build_xlsx.py 把 findings.csv 与全部证据合成<domain>-osint-consolidated.xlsx：Summary、Findings（按严重度着色）、Subdomains、Live Hosts、API Endpoints、Secrets & Keys、Open Ports、Internal-IP-Leak、Screenshots 共 9-10 个页签，冻结首行、自动筛选，直接可以交付。

三条硬门禁与时间预算 ⚠️

自动化的边界同样被显式编码（见 SKILL.md 的 Hard gates 一节）：

授权——未确认书面授权时只问一次，然后继续；
Stage 6 主动利用（BOLA/IDOR、凭据重放、注入确认）——永不自动执行，只呈现排名队列等待人工"武装"；
范围外兄弟域名——发现.io兄弟域只标记、不扫描，等确认后再动。

时间预算：小型组织（<100 主机）约 15-25 分钟，中型（100-1K）约 30-60 分钟，瓶颈在扇出工作流与 gau 收割。超过 270 个存活主机时，调大桶大小而不是增加智能体数量（默认智能体总数 ≤15）。

总结

Claude-OSINT 的自动化引擎 =确定性 shell 流水线（可复现、带证据链、有界超时）+多智能体扇出（按桶并行、Schema 约束输出、汇总智能体排优先级）+规则引擎出报告（无模板硬编码），再用三条硬门禁锁死自动化的安全边界。完整的 4 个实战走查可参考 examples/，方法论框架见 docs/architecture.md。

⚠️ 使用前请确认你拥有目标资产的所有权或书面授权（红队 RoE / 漏洞赏金范围 / ASM 合同）。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

企业官网建设流程全解析