收录之前,先检查三件事
- 网站能正常访问:用手机和电脑分别打开,确认没有证书错误、没有打不开的页面。
- 正文不依赖脚本:在浏览器里“查看网页源代码”,能直接看到正文文字。很多爬虫不执行脚本,看不到的内容就无法收录。
- 每个页面有独立的标题和描述:不同页面的标题不要相同,描述要概括本页内容。
更完整的技术检查见 让 AI 读得懂您的网站。
准备 robots.txt
robots.txt 放在网站根目录,告诉爬虫哪些页面可以抓取。常见问题是误把整站或重要目录屏蔽了。一个允许全部抓取并声明站点地图的最简写法如下:
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
如果网站有后台、测试页面等不希望被收录的部分,再单独用 Disallow 排除。
准备站点地图
站点地图(sitemap.xml)列出网站所有正式页面的网址,可以附上最后更新日期。注意:
- 只放正式页面,不要放跳转页、404 页和重复页面;
- 网址要和页面里声明的规范网址(canonical)一致;
- 新增或更新页面后,同步更新站点地图。
百度搜索资源平台
- 注册并登录百度搜索资源平台,添加网站。
- 验证网站所有权,常用方式是在首页加一段验证代码,或在网站根目录放一个验证文件,也可以在域名解析中添加记录。
- 在“普通收录”中提交站点地图。
- 新页面发布后,可以用普通收录的 API 推送网址,比等待爬虫自然发现更快。
- 定期查看抓取诊断和收录情况,处理抓取失败的页面。
必应站长工具
- 登录 Bing Webmaster Tools,添加网站。如果已经在 Google Search Console 验证过,可以直接导入。
- 验证所有权后提交站点地图。
- 必应支持 IndexNow 协议:在网站根目录放置一个密钥文件,之后每次发布或更新页面,向 IndexNow 接口提交网址即可。支持 IndexNow 的搜索引擎之间会共享这些通知。
Google Search Console
- 添加网站资源,通过 HTML 标签、文件或域名解析验证所有权。
- 在“站点地图”中提交 sitemap.xml。
- 新页面可以用“网址检查”查看状态,并请求编入索引。
- 在“网页”报告中查看哪些页面未被编入索引及原因。
Google 目前不使用 IndexNow,主要依靠站点地图和自身抓取来发现新页面。
主动推送方式对照
| 搜索引擎 | 站点地图 | 主动推送 |
|---|---|---|
| 百度 | 搜索资源平台提交 | 普通收录 API 推送 |
| 必应 | 站长工具提交 | IndexNow |
| Search Console 提交 | 网址检查中请求编入索引 |
360、搜狗等搜索引擎也有各自的站长平台,流程相近,可以根据客户的使用习惯选择是否提交。
怎么判断有没有收录
- 在搜索引擎中输入“site:您的域名”,查看已收录的页面;
- 在各站长平台的收录或索引报告里查看数量和明细;
- 搜索文章标题中一段较独特的文字,看能否搜到。
用掌讯佬 GEO 的企业 AI 官网
如果您还没有合适的官网,或者没有技术人员维护,可以使用 掌讯佬 GEO 的企业 AI 官网功能:用已经整理好的品牌资料生成网站,并在网站推广设置里完成站点地图、robots、百度推送、IndexNow 和站长平台验证等工作。
常见问题
提交之后多久能收录?
各搜索引擎没有承诺固定时间,新网站从几天到几周都有可能。提交只是告诉搜索引擎“这里有新页面”,是否收录、何时收录由搜索引擎决定。
收录了为什么搜不到?
收录和排名是两回事。页面被收录后,还要看内容和搜索词是否相关、质量如何。可以先用“site:您的域名”查看收录了哪些页面。
这和 GEO 有什么关系?
不少 AI 助手联网回答时会参考搜索引擎的结果。网站没有被搜索引擎收录,在 AI 回答中被引用的机会也会减少,所以收录是 GEO 的基础工作之一。