新网站怎样被搜索引擎收录:百度、必应和 Google 站长平台要点

网站上线后,搜索引擎不会立刻收录。本文说明 robots.txt 和站点地图怎么准备,百度、必应、Google 站长平台分别要做什么,以及怎样主动推送新页面。

收录之前,先检查三件事

  1. 网站能正常访问:用手机和电脑分别打开,确认没有证书错误、没有打不开的页面。
  2. 正文不依赖脚本:在浏览器里“查看网页源代码”,能直接看到正文文字。很多爬虫不执行脚本,看不到的内容就无法收录。
  3. 每个页面有独立的标题和描述:不同页面的标题不要相同,描述要概括本页内容。

更完整的技术检查见 让 AI 读得懂您的网站。

准备 robots.txt

robots.txt 放在网站根目录,告诉爬虫哪些页面可以抓取。常见问题是误把整站或重要目录屏蔽了。一个允许全部抓取并声明站点地图的最简写法如下:

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

如果网站有后台、测试页面等不希望被收录的部分,再单独用 Disallow 排除。

准备站点地图

站点地图(sitemap.xml)列出网站所有正式页面的网址,可以附上最后更新日期。注意:

  • 只放正式页面,不要放跳转页、404 页和重复页面;
  • 网址要和页面里声明的规范网址(canonical)一致;
  • 新增或更新页面后,同步更新站点地图。

百度搜索资源平台

  1. 注册并登录百度搜索资源平台,添加网站。
  2. 验证网站所有权,常用方式是在首页加一段验证代码,或在网站根目录放一个验证文件,也可以在域名解析中添加记录。
  3. 在“普通收录”中提交站点地图。
  4. 新页面发布后,可以用普通收录的 API 推送网址,比等待爬虫自然发现更快。
  5. 定期查看抓取诊断和收录情况,处理抓取失败的页面。

必应站长工具

  1. 登录 Bing Webmaster Tools,添加网站。如果已经在 Google Search Console 验证过,可以直接导入。
  2. 验证所有权后提交站点地图。
  3. 必应支持 IndexNow 协议:在网站根目录放置一个密钥文件,之后每次发布或更新页面,向 IndexNow 接口提交网址即可。支持 IndexNow 的搜索引擎之间会共享这些通知。

Google Search Console

  1. 添加网站资源,通过 HTML 标签、文件或域名解析验证所有权。
  2. 在“站点地图”中提交 sitemap.xml。
  3. 新页面可以用“网址检查”查看状态,并请求编入索引。
  4. 在“网页”报告中查看哪些页面未被编入索引及原因。

Google 目前不使用 IndexNow,主要依靠站点地图和自身抓取来发现新页面。

主动推送方式对照

搜索引擎站点地图主动推送
百度搜索资源平台提交普通收录 API 推送
必应站长工具提交IndexNow
GoogleSearch Console 提交网址检查中请求编入索引

360、搜狗等搜索引擎也有各自的站长平台,流程相近,可以根据客户的使用习惯选择是否提交。

怎么判断有没有收录

  • 在搜索引擎中输入“site:您的域名”,查看已收录的页面;
  • 在各站长平台的收录或索引报告里查看数量和明细;
  • 搜索文章标题中一段较独特的文字,看能否搜到。

用掌讯佬 GEO 的企业 AI 官网

如果您还没有合适的官网,或者没有技术人员维护,可以使用 掌讯佬 GEO 的企业 AI 官网功能:用已经整理好的品牌资料生成网站,并在网站推广设置里完成站点地图、robots、百度推送、IndexNow 和站长平台验证等工作。

常见问题

提交之后多久能收录?

各搜索引擎没有承诺固定时间,新网站从几天到几周都有可能。提交只是告诉搜索引擎“这里有新页面”,是否收录、何时收录由搜索引擎决定。

收录了为什么搜不到?

收录和排名是两回事。页面被收录后,还要看内容和搜索词是否相关、质量如何。可以先用“site:您的域名”查看收录了哪些页面。

这和 GEO 有什么关系?

不少 AI 助手联网回答时会参考搜索引擎的结果。网站没有被搜索引擎收录,在 AI 回答中被引用的机会也会减少,所以收录是 GEO 的基础工作之一。

作者:掌讯佬 GEO 研究组

掌讯佬是河南君宝信息科技有限公司旗下品牌,提供 GEO 软件和品牌内容运营服务。了解掌讯佬 GEO,或联系我们。

继续阅读

  1. 让 AI 读得懂您的网站:企业官网技术检查清单

    很多企业官网在浏览器里看着正常,AI 和搜索引擎却读不到内容。本文列出官网最常见的技术问题,以及六项可以逐条检查的改进。

  2. 客户开始问 AI 了:企业获客方式正在发生的变化

    越来越多的采购者和消费者先问 AI,再找供应商。本文说明这种变化发生在哪些环节、对企业意味着什么,以及企业现在可以先做哪几件事。

  3. 关于 GEO 的 8 个常见误区

    GEO 是新概念,误解也多:发得越多越好、关键词越多越好、能保证 AI 推荐……本文逐条说明这些说法错在哪里,以及更可靠的做法。