为什么有的官网在 AI 回答里“隐身”
我们给企业做品牌检查时,常遇到这样的情况:企业有官网,也发过不少宣传稿,但在 AI 里问这家公司做什么、怎么联系,得到的答案要么是“没有找到相关信息”,要么引用了几年前的旧资料。
原因通常出在网站本身:
- 内容靠脚本渲染:有些网站的原始 HTML 里几乎没有正文,要等浏览器执行脚本后才显示。不少抓取程序不执行脚本,拿到的就是一个空页面。
- 爬虫被误拦:防火墙、CDN 或 robots.txt 只放行了少数搜索引擎,把其他爬虫挡在了外面。
- 信息只在图片里:产品参数、资质证书、联系方式做成了一张长图,没有对应的文字。
- 页面噪音太多:正文只有一千多字,周围却是大量菜单、弹窗和广告,正文不容易被准确取出来。
- 主体关系不清楚:页面写了品牌名和公司名,但没有说明两者是什么关系,AI 容易混淆。
常见的搜索引擎和 AI 爬虫
检查 robots.txt 和防火墙规则时,可以参考下面这些常见爬虫。表中的用途以各运营方公开说明为准;国内不少 AI 助手没有公开说明联网时具体使用哪个爬虫,不能简单地把某个爬虫等同于某个 AI 产品。
| 爬虫名称(User-Agent) | 运营方 | 公开说明的用途 |
|---|---|---|
| Baiduspider | 百度 | 百度搜索 |
| Bytespider | 字节跳动 | 字节跳动旗下产品的网页抓取 |
| Sogou web spider | 搜狗 | 搜狗搜索 |
| YisouSpider | 神马搜索 | 神马搜索 |
| 360Spider | 360 | 360 搜索 |
| Bingbot | 微软 | 必应搜索 |
| Googlebot | Google 搜索 | |
| Google-Extended | 控制网站内容是否用于 Google 的生成式 AI | |
| OAI-SearchBot、GPTBot | OpenAI | ChatGPT 搜索结果;模型训练 |
| ClaudeBot | Anthropic | Anthropic 的网页抓取 |
| PerplexityBot | Perplexity | Perplexity 搜索 |
是否允许内容用于模型训练(比如 GPTBot、Google-Extended),企业可以自己决定;但如果希望出现在 AI 的联网搜索结果里,至少不要拦截对应的搜索类爬虫。
六项可以逐条检查的改进
1. 不执行脚本也能拿到完整正文
最简单的检查方法:在浏览器里“查看网页源代码”,看能不能直接找到正文文字。找不到,就需要改成服务端渲染或生成静态页面。
2. 页面结构清楚
一个页面一个主标题,正文用小标题分段,每段说一件事。小标题最好直接写成问题或结论,例如“这款设备适合多大的厂房”,而不是“产品优势”。
3. 重要文章开头先给结论
在文章开头用两三句话写清楚核心结论。读者能更快判断要不要往下看,AI 截取内容时也更容易拿到关键信息。
4. 补充结构化数据
用 Schema.org 的 JSON-LD 写明公司(Organization)、品牌(Brand)、产品(Product 或 SoftwareApplication)、文章(Article)和常见问题(FAQPage),并用统一的标识把它们关联起来。示例:
{
"@context": "https://schema.org",
"@graph": [
{ "@type": "Organization", "@id": "https://example.com/#org", "name": "某某科技有限公司" },
{ "@type": "Brand", "@id": "https://example.com/#brand", "name": "某某品牌" },
{ "@type": "Article", "headline": "文章标题", "publisher": { "@id": "https://example.com/#org" } }
]
}
5. 提供站点地图和更新通知
维护 sitemap.xml,列出所有正式页面并写明更新时间;新文章发布后,可以通过百度站长平台的推送,或支持 IndexNow 的搜索引擎主动通知。文章列表页要能直接链接到每一篇文章,不要只靠脚本翻页。
6. 可选:给 AI 准备纯文本版本
可以在网站根目录放一份 llms.txt,简要介绍公司和主要页面;也可以为每个页面提供一份 Markdown 版本。这些是补充手段,各家 AI 是否读取并不统一,正文质量仍然是第一位的。
没有技术人员怎么办
可以使用掌讯佬 GEO 的企业 AI 官网功能,用已经整理好的品牌资料生成网站,站点地图、搜索引擎推送等设置也在里面完成。
常见问题
为什么网站在浏览器里能打开,AI 却抓不到内容?
常见原因有三个:页面内容由前端脚本生成,而很多抓取程序不执行脚本;防火墙或 robots.txt 拦截了相关爬虫;核心信息做成了图片,没有对应的文字。
llms.txt 是什么,一定要做吗?
llms.txt 是放在网站根目录的一份 Markdown 文件,用来向 AI 简要介绍网站和主要页面。它目前是社区提出的做法,不是强制标准,各家 AI 是否读取并不统一。成本很低,可以作为补充,但不能替代正文本身的质量。
结构化数据对 AI 有用吗?
Schema.org 结构化数据能明确写出公司、品牌、产品和文章之间的关系,搜索引擎会使用它,也有助于减少名称混淆。它是辅助信息,页面正文仍然要写清楚。