Google搜索收录 - 怎样形成可复用检查清单
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9344a2dd47da.html
📄
Google搜索收录 - 怎样形成可复用检查清单
把 Google 搜索收录做成可复用检查清单，核心不是罗列所有 SEO 知识，而是固定一条处理链：先确认页面是否被 Google 抓取，再判断它为什么没被索引，然后只处理当前最可能的原因，最后用同一组观察项复查。清单要能让人在十分钟内决定“先做什么、做完看什么”，而不是每次从零猜。
先分清“抓取”与“索引”两个状态
Google 搜索收录通常包含两个动作：Googlebot 抓取页面，以及 Google 把页面加入索引。页面被抓取不等于会被索引，被索引也不等于会获得排名。检查清单的第一项应当是记录当前状态，而不是直接改代码。
- 用
site:查询只能作为粗略参考，结果不完整，不能当作收录数量的准确统计。 - 在 Search Console 的网址检查中查看“已抓取”“已编入索引”等状态，这是更直接的观察入口。
- 如果页面是新发布，先确认它是否被内部链接指向，孤岛页面往往连抓取都困难。
判断结果：如果显示“已抓取，但未编入索引”，问题多半在内容质量或重复度；如果显示“已发现，但未抓取”，优先看抓取预算和链接路径；如果完全查不到，先检查 robots.txt 和页面是否返回正常状态码。
把可能原因写成可勾选项，而不是结论
同一个现象可能有多个解释，清单的价值在于逐项排除，而不是一上来就断言唯一原因。以下每一项都写成“检查项 + 判断依据 + 处理动作”。
- robots.txt 是否阻止抓取。检查对应路径是否被
Disallow。注意：robots.txt 的抓取限制不等于可靠的索引移除，它只阻止抓取，不保证页面从索引消失。 - 页面是否返回 200。用
curl -I或浏览器开发者工具看状态码。301、302、404、5xx 都会影响抓取和索引判断。 - 是否有 noindex。检查 HTML 的
<meta name="robots">和 HTTP 响应头中的X-Robots-Tag。两处任意一处写了 noindex，页面就不会被索引。 - 是否有 canonical 指向别的网址。如果 canonical 指向另一个页面，Google 可能选择索引那个页面而不是当前页。
- 内容是否与已有页面高度重复。比较标题、正文主体和主要段落。重复度高时，Google 可能只保留其中一个版本。
- 站点地图是否包含该网址。站点地图不保证收录，但它能帮助发现网址，缺少它会让新页面更依赖内部链接。
- 是否有内部链接指向。从首页或栏目页到目标页的链接路径越短，被发现和抓取的机会通常越大。
适用条件：这套勾选项适合单页或小批量页面排查。如果站点有成千上万个网址同时未收录，应先按模板和目录分组，而不是逐页勾选。
按“先处理影响面最大的项”排序
时间和人手有限时，不要平均用力。排序依据是：该问题影响多少页面、修复成本多高、是否阻塞后续所有检查。
- 先处理全站级配置：robots.txt 误封、全站 noindex、错误的 canonical 规则。这类问题一次修复影响大量页面。
- 再处理模板级问题：分类页、标签页、分页是否产生大量重复或低质页面。
- 最后处理单页问题：个别页面内容太薄、缺少内部链接、标题与正文不匹配。
判断结果：如果修改 robots.txt 后页面从“被阻止”变为“已发现”，说明抓取路径已通，下一步观察是否进入“已抓取”。如果状态没有变化，不要反复改同一项，转而检查链接和内容层面。
复查时固定同一组观察项
复查不是重新猜一遍，而是用和初次相同的项目对比。建议在清单里保留日期、网址、状态、处理动作、复查结果五列。每次只改一个变量，否则无法判断是哪一步起了作用。
复查要点：
- 重新运行网址检查，看状态是否从“已发现”变为“已抓取”，或从“已抓取”变为“已编入索引”。
- 确认修改后的 robots.txt 或 meta 标签已经生效，而不是仍被缓存或部署遗漏。
- 如果两周后状态不变，记录为“待观察”，不要立刻推翻所有判断。
HTTPS 不保证安全无漏洞，也不保证排名；它只是排查时的一个基础项，不应被当成收录的充分条件。不同搜索引擎对同一页面的处理可能不同，若同时关注其他引擎，需要分别核查，不能把 Google 的结果直接套用。
下一步：拿一个当前未收录的具体网址，按上面的勾选项从 robots.txt 和状态码开始逐项记录，形成你自己的第一版清单，再根据复查结果增删条目。
