build123d 0.11.1 建模模式精要：scientific-agent-skills 中 lab-hardware-cad 技能的几何编程实战指南
2026/9/10 0:37:01
做SEO的人，最焦虑的往往不是排名掉，而是“内容发了那么多，搜索引擎一个都不收”。我去年接手一个企业站，产品页、文章加一起差不多700多个URL，上线快三个月，百度site一下，只有首页和关于我们两个页面。老板每天都问“为什么搜不到我们”，我那时候才意识到：网站收录问题不是靠“提交一下”就能解决的，它是一整套排查流程的结果。
这篇文章不聊虚的，我就按我实际排查的路径，把整个方法体系拆给你听。从诊断思路、robots规则、内容质量，到主动提交和AI收录，每一步都给出可复现的操作方式。适合正在被收录问题困扰的站长、独立站运营，也适合刚接手SEO项目、想建立一套排查SOP的朋友。
1. 先给网站“分诊”，搞清楚卡在哪一环
很多人在收录出问题时，第一反应就是去站长平台点“提交URL”，或者疯狂发外链。但收录链条其实有固定环节：发现 → 抓取 → 渲染 → 索引 → 排序。你的页面卡在哪个环节，解决方式完全不同。不先定位，提交一百次也没用。
1.1 收录不等于抓取，先把概念掰清楚
抓取（Crawl）是搜索引擎的蜘蛛爬到你的服务器，把页面HTML和资源下载下来；收录（Index）是页面进入搜索引擎的索引库，具备被搜索展示的资格。蜘蛛来过你的站，不代表页面一定会被收录。
我习惯用“图书馆”来类比：蜘蛛是搬运工，他每天把新书（你的页面）搬进图书馆仓库，但能不能摆上书架（进入索引库），还要看图书管理员（索引算法）是否认为这本书内容合格、有没有重复副本。搬运工来一趟容易，管理员点头难。
所以排查的第一步，就是把“蜘蛛有没有来”和“来了为什么不收”分开看。
操作上也很简单：打开百度搜索资源平台，看“抓取诊断”或“抓取异常”，确认蜘蛛有没有正常访问；再看“索引量”数据，看看库里实际收录了多少。如果抓取正常但索引量上不去，问题大概率出在内容质量、标签规则或站内结构上，而不是“没提交”。
1.2 建立一套自己的“收录率”指标体系
没有指标就无法评估问题严重程度，也没有办法验证你改了之后有没有效果。我给自己定了一套基础指标，每次排查都先看这几个数：
| 指标名 | 计算方式 | 正常参考区间（视站点类型浮动） |
|---|---|---|
| 页面收录率 | 被收录页面数 ÷ 有效页面总数 | 资讯站≥80%，企业站≥60% |
| 有效收录率 | 有搜索流量的收录页 ÷ 全部收录页 | ≥30%，否则可能是大量垃圾索引 |
| 抓取间隔 | 蜘蛛两次访问同一URL的间隔时间 | 内容频繁更新则缩短，静止则拉长 |
| 索引量波动 | 每周索引量环比 | 正常小幅度波动±10%以内 |
这些数据在站长平台后台的“索引量”和“抓取频次”里都能看到。如果某个栏目的页面收录率长期低于30%，我会优先处理那个栏目，而不是整站一把抓。
另外有一个很容易被忽略的指标：页面抓取平均耗时。在站长工具里能看到每个URL的抓取时间，如果超过3秒，蜘蛛的抓取预算会大量浪费在等待响应上，其他重要页面就顾不上抓了。这种问题不在SEO层面，而纯粹是服务器性能问题，但它的确会拉低整站收录效率。
2. 拦路虎排查：从抓取环节往下查
确定了卡点之后，第一关就是“蜘蛛能不能顺利爬到你页面”。很多看似内容不错的站，其实死在这一步，而且往往是技术细节埋雷。
2.1 robots.txt：最常见的“隐形封禁”
robots.txt的初衷是告诉蜘蛛哪些路径可以抓、哪些不能抓。但我在实际工作中看到太多误伤案例：有人把Ueditor编辑器目录误写进Disallow，有人为了临时屏蔽测试目录写错了通配符，还有人直接在robots里封了全站，结果忘了改回来。
写robots.txt有一个核心原则：默认允许，逐项拒绝；每一条规则你都要能说清楚为什么。正常示例：
User-agent: * Allow: / Disallow: /admin/ Disallow: /user/ Sitemap: https://www.example.com/sitemap.xml这个文件本身没什么高级技术，但有几个坑要特别注意：
Allow: /和Disallow: /admin/的顺序是“以最长匹配的生效”，不是“先到先得”，所以不用担心顺序写反，但规则别写错。- 很多站长把
sitemap链接写成了绝对路径http://开头，而站点已经全站换成https://，导致蜘蛛拿着 http 的sitemap去访问，302跳转一次才拿到文件，白白浪费抓取预算。 - 一旦修改robots.txt，建议立刻用站长平台自带的“robots测试工具”模拟一遍，确认新的规则没有误伤核心频道。这个操作五分钟内能完成，我每次都会做，从不偷懒。
2.2 noindex标签和canonical的“误伤现场”
如果说robots是门卫，那noindex标签就是页面自己贴的“禁止上架”标签。排查时一定要检查页面源代码，搜索一下有没有<meta name="robots" content="noindex">或X-Robots-Tag响应头。
我处理过一个典型案例：一个企业站用了某个现成CMS模板，模板作者在“标签聚合页”默认加上了noindex，本意是不希望标签页参与排名，结果因为代码逻辑写在了公共头部文件里，全站所有页面都被加上了noindex。从站长平台看，蜘蛛每天来，抓取全正常，但索引量一路掉到0。最后把公共头部的noindex去掉，索引量一个月内慢慢恢复。
canonical标签（rel="canonical"）则是另一个坑。它告诉搜索引擎“这个页面真正的主角是哪个URL”。如果你的页面A（带参数版本）canonical指向了页面B（无参数主版本），那么即使A的内容再优质，搜索引擎也只会把B当作唯一可收录的URL。这在分页、排序筛选、移动适配场景里尤其容易出问题。我见过一个商城站的列表页，分页2、3、4全部canonical到第1页，结果整站99%的列表页只有首页被收录。
排查方式：如果某个频道的页面一直不收录，抓取一下页面源码，用线上站长工具检查HTTP响应头，重点看有没有重复的link rel="canonical"指向了错误地址，以及meta robots是不是被不小心写成了noindex。
2.3 服务器状态码与响应速度：蜘蛛的“开门三问”
蜘蛛来抓取，首先会得到一个HTTP状态码。200表示正常，301/302是跳转，404代表页面不存在，500说明服务器出错。如果页面返回500，蜘蛛不会立刻放弃，但多次重试仍失败就会降低抓取优先级，直白说就是“不爱来了”。
排查建议：把全站主要URL拉到脚本里批量检查状态码，推荐用命令行工具，简单又快：
while read url; do code=$(curl -o /dev/null -s -w "%{http_code}" "$url") echo "$code $url" done < urls.txt重点关注三类异常：
- 大量404：文章删除、改版换了URL结构，又没有做301跳转。搜索引擎会逐步回收对死链的抓取分配。
- 大量301/302：如果你没有刻意做跳转，说明页面内部代码或服务器配置有误。特别要小心无限重定向（A跳B、B跳A），蜘蛛会直接放弃。
- 大量500/504：服务器稳定性问题，这类问题持续超过48小时，索引量常常会断崖式下跌。
还有一个容易被忽视的：响应速度。谷歌和百度都明确把首屏加载时间纳入排名因素，但对收录的影响其实更直接——蜘蛛的抓取预算有限，如果某个页面平均响应超过3~5秒，蜘蛛会降低对这个目录的抓取频率。这时候先别急着搞SEO，拿CDN或者换一台快一点的服务器，往往收录率就先上来了。
3. 内容层面的收录修正：让搜索引擎觉得“值得收”
排除掉抓取阶段的技术问题，接下来就进入了更核心的地带：搜索引擎为什么收了别人的页面，而不收你的？这一节更多是内容策略问题，也是多数站点收录问题的大头。
3.1 内容重复和“薄内容”：收录的隐形杀手
搜索引擎最反感的是大量低质量、重复、无价值内容的堆积。这种页面即使被蜘蛛抓到，索引算法也会把它筛掉。常见几类：
- 多个URL返回同一份内容（比如
www带不带、http/https混用、详情页带参数版本）。 - 分页、筛选页生成了大量内容几乎一样的空壳页面。
- 商品参数页、模板页只有一两行描述，没有实质信息。
处理办法不是删页面，而是合理引导。对于参数版本和内容一样的URL，用canonical指向主版本；对于分页/筛选页，如果实在内容单薄，可以直接noindex掉本页，保留首页和首页里更新的频道页；对于薄内容，要做的不是藏着掖着，而是补内容，哪怕把产品的规格参数、使用说明、常见问答都结构化地写进去，也比空着强。
一个判断标准是：打开你能写出来的文案，删除所有形容词和营销话术后，还能剩下多少有效信息？如果不到300字，就说明页面在“薄内容”边缘了。搜索引擎没有耐心，它只喜欢信息充足的页面。
3.2 结构化数据与实体清晰：让搜索引擎“读懂”页面
搜索引擎的索引系统越来越依赖“实体”理解，也就是说，它不只看你的关键词，还试图理解这个页面在讲什么概念、属于什么类型、跟哪些概念有关。
给页面加上合适的结构化数据（Schema.org标记），能显著提升搜索引擎对内容的理解程度。最常用的是：
Article用于文章页，标记标题、作者、发布时间、封面图。Product用于产品页，标记价格、库存、评分。BreadcrumbList用于面包屑导航，帮助搜索引擎理解站点层级。FAQPage用于常见问题页，有比较大的机会被抽取展示。
实操上不需要手写JSON-LD，主流CMS都有现成插件或模块。手写也很简单，以Article为例：
{ "@context": "https://schema.org", "@type": "Article", "headline": "你的文章标题", "datePublished": "2025-01-20", "author": { "@type": "Organization", "name": "你的站点名称" } }把这段JSON-LD放在页面<head>里即可。虽然不会直接决定收录，但能让索引系统更快识别页面主题，减少“看不懂就不收”的概率。
同时还要注意标题和描述。每页title不能重复，不要全站一个模板标题。一个简单有效的做法是让“核心关键词”出现在标题前部，比如“内容营销怎么做：从选题到发布的完整SOP”。标题虽然不会直接决定收录，但标题重复、描述缺失这种明显的“糙活”，很容易让搜索引擎判定站点质量不高。
3.3 内链与权重传递：让重要页面被“顺藤摸瓜”
很多页面不收录，是因为它根本不在蜘蛛的爬行路径上。蜘蛛是通过链接从一个页面爬到另一个页面的，如果一个页面除了sitemap没有任何页面链到它，它就是个“孤岛页面”，被收录的概率极低。
内链建设其实就三个层次：
- 首页 → 一级栏目 → 二级栏目 → 详情页，层次最深不超过4层，太深的意义不大。
- 每个详情页都带上正文相关的“相关推荐/阅读延伸”，让权重在站内流动。
- 面包屑导航是所有页面的标配，既给用户路径，也给蜘蛛路径。
我实际测过：一个旧站有700多个详情页，其中200多个是孤岛页面，没有任何内链指向它们，百度一个月都抓不全。后来给列表页加了“最新更新”模块，在文章页底部加了“相关阅读”，蜘蛛抓取量当月翻了一倍，索引量两个月后涨了40%。不要小看这个土办法，内链是成本最低、效果最稳的收录优化手段。
3.4 前端SEO的关键点：爬虫看不见的页面等于不存在
“前端SEO”这个词这两年很火，它核心解决的一件事：搜索引擎蜘蛛看到的内容，必须和用户看到的内容一致。
很多现代网站用JavaScript渲染内容，如果你用的是纯客户端渲染（CSR），页面初始返回的HTML里没有主要内容，蜘蛛执行JS能力虽然一直在提升，但执行成本高、稳定性差，导致“抓取了但看不到内容”的情况依然大量存在。
解决办法：
- 优先保证服务端渲染（SSR），或使用静态生成（SSG）方案输出HTML。
- 如果技术栈已经固定在CSR，至少要保证页面HTML里包含核心标题和首屏文本，不要把所有内容都放在懒加载之后。
- 图片必须要有
alt属性，而且不能copy整个段落做alt，搜索引擎会判定为作弊。 - 移动端适配也是“收录级”问题。移动端页面布局错乱、字体过小、点击元素间距过窄，都会影响用户体验评分，搜索引擎对待这类页面的收录态度会明显保守。
我自己的习惯是每改版一次，就右键 → 查看网页源代码，搜索正文中的一句核心文字，如果在HTML里找不到，那这只蜘蛛极大概率也找不到。这不是严谨的技术验证，但确实能快速暴露前端渲染问题。
4. 主动提交和外部资源：别干等蜘蛛上门
前几节聊的都是站内优化，把它们做好，收录就已经解决了一大半。但主动提交的作用也不可忽视，特别是在新站冷启动阶段，提交就是告诉搜索引擎“我更新了，来看我一眼”。
4.1 三大站长平台的基本操作
凡是做收录优化，至少要在下面平台里注册并验证站点：
- 百度搜索资源平台（zhanzhang.baidu.com）：提供普通收录提交、sitemap提交、快速收录提交。新站建议先提交sitemap，等蜘蛛正常抓取后再用“普通收录”批量推送URL。
- 必应站长工具（bing.com/webmaster）：除了能管理bing收录，还能通过“Site URL”提交给ChatGPT搜索等AI产品使用。必应的入口比较宽松，对个人站长友好。
- Google Search Console（search.google.com/search-console）：GSC的“URL检查”功能非常好用，可以直接查看某条URL是否被索引、索引失败的原因。
提交虽然是入口操作，但是有节奏。不要每天把成百上千的URL推给百度，推送频率过高但页面又没更新，反而会让系统判定为垃圾推送。我习惯一周推送一次，只推实际有更新的页面，其他页面交给sitemap去慢慢抓。
4.2 sitemap XML的规范与更新策略
sitemap是规范化提交的重要工具。很多站长以为sitemap就是把URL列出来，其实还有不少细节：
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://www.example.com/article/1.html</loc> <lastmod>2025-02-10</lastmod> <changefreq>weekly</changefreq> <priority>0.8</priority> </url> </urlset>字段不多，但lastmod很容易被写死。如果你的CMS无法自动更新最新修改时间，宁可不要这个字段，也不要写一个永远不变的历史日期——搜索引擎发现提交时间和实际抓取时间对不上，会削弱对sitemap的信任度。
还有两个很容易踩的坑：
- sitemap文件和实际URL协议不一致。站点已经全站https，sitemap里还是http地址，搜索引擎每次都要通过301跳转才能拿到正确URL，抓取效率很低。
- sitemap里塞了大量重复页面和noindex页面。既然你已经给分页标了noindex，再把它们放进sitemap，就等于是自相矛盾，让蜘蛛不知道听谁的。
sitemap不需要多豪华，一个能准确反映最新内容和核心页面的XML就够了。大站点可以考虑拆分成多个sitemap并用sitemap index索引，但小站点完全没必要。
4.3 AI收录：如何让新AI引擎看到你的站点
“如何提交自己的网站让AI收录”这个搜索词最近非常热门，是因为越来越多用户开始用ChatGPT、Perplexity这类AI搜索产品。虽然各家机制还没完全统一，但底层逻辑相对清晰：AI搜索仍然需要爬虫抓取内容，仍然依赖索引库。
目前，Bing搜索的索引是ChatGPT搜索的重要数据源之一，让站点进入必应收录就等于间接进入了ChatGPT搜索。同时，OpenAI有自己的GPTBot爬虫，Anthropic的ClaudeBot也在持续扫描网页。此外Perplexity等AI搜索同样会派爬虫访问公开网页。所以让AI收录你，不是靠某个神秘后台，而是把自己维护成“一个机器也能轻松读懂内容的网站”。
我的建议是四件事：
- 在robots.txt里放行AI相关爬虫，确保没有被误拦截。
- 内容尽量结构化：用清晰的标题层级、段落短句、列表和表格，让模型更容易抽取出答案。
- 增加权威信号：AI引擎对内容的来源权威性极其看重，更新你的“关于我们”、作者信息、数据来源引用，都会增加内容可参考权重。
- 用AI工具直接问一句“你的网站名/品牌名 核心业务 是什么”，如果它答得不对或答不出，说明你站点的可读性还有优化空间。
未来“AI搜索收录”会和传统收录同等重要，越早做结构化，越有先发优势。
5. 收录问题排查方法速查表
这个章节我从实战中抽了最典型的几类问题，整理成一张可以直接对照的速查表。
| 症状 | 可能原因 | 诊断方法 | 处理方案 |
|---|---|---|---|
| 整站0收录 | robots.txt封禁 / 全站noindex / 服务器500持续 | 站长平台抓取诊断 + 查看页面源码 | 修复robots，去掉noindex，恢复服务器稳定 |
| 抓取正常但索引量不涨 | 内容重复或低质 / canonical指向错误 / 薄内容 | GSC的“页面索引”报告，百度站长平台索引量 | 清理重复URL，修复canonical，补足内容 |
| 部分栏目不收录 | 目录下页面孤岛化 / 栏目页无有效内链 | 爬虫模拟抓取 + 检查站点链接分布 | 补内链，栏目页首屏增加推荐内容 |
| 新页面很久不被抓 | 站点更新频率低，蜘蛛来访不勤 | 查看抓取频次走势 | 提高更新频率，主动提交，给sitemap加lastmod |
| 文章收录后骤降 | 内容被判定采集/转载 / 服务器短时间内不可用 | 搜索标题看重复内容 / 检查服务器日志 | 删除低价值内容，恢复服务器稳定性 |
| 部分URL带参数被重复收录 | 动态参数产生无限URL组合 | 站长平台查看重复页面示例 | 在robots里Disallow参数路径，给主版本加canonical |
这张表不是万能的，但覆盖了我这几年处理过的80%以上收录异常场景。如果用了表里的方法依然没解决，那就要回头确认数据源头：是不是GA/统计代码挂了导致误判，或者站长平台报表本身有延迟。
6. 几个我踩过的“真坑”
这篇文章最后，我特别想分享几个真实踩坑经历。看起来都不是什么大问题，但每个都折腾了我不少时间。
第一个是换域名时没做301映射就急着重定向。几个月后才发现很多网页被404了，白白丢了一批历史收录。如果你也准备换域名，不管你怎么迫切，宁可晚几天上线，也要先在旧域名下把所有旧URL规则对应的301逐一配置好，确认无误再切换。
第二个是全站http改https时，原HTML里依然有许多http的绝对链接，包括图片、CSS和JS文件，导致页面虽然通过https打开了，但资源大量经过http请求，出现加载不稳定。搜索引擎在抓取时看到页面里大量混合内容，会认为页面质量低，影响收录表现。修正方式是用脚本批量替换数据库里的http前缀为https，然后全站扫一遍确认无遗漏。
第三个是站点开启了“网页压缩”插件后，服务器响应偶尔出现空白内容。百度蜘蛛多次抓取得到空白页，索引量持续下滑，而用户用浏览器访问时由于缓存，反而看不出异常。排查时用真实浏览器看一次页面，再用无缓存的curl请求一次，对比返回内容是否一致，就能发现这种问题。
如果你也有类似的奇怪索引量下降，不妨也往这些“非常规方向”想一想，往往答案不在SEO教程里，而在一点一滴的运维细节里。
记住一句话：收录问题不会有终点，它是一个随着网站更新、技术栈变化、搜索引擎算法调整而持续存在的课题。我现在的习惯是，每周固定花十五分钟看一眼抓取和索引数据，就像每天要检查一遍店门口是否正常营业一样。形成这种节奏之后，很多收录问题会被消灭在萌芽里，根本来不及爆发。