llms.txt 与结构化数据:让 AI 正确理解你的品牌
AI 爬虫来了,但它看到的可能是一堆没有语义的 div。这篇讲清楚 llms.txt、Schema 与语义 HTML 该怎么配合,才能让模型读懂你、引用你。
周衡 · 技术增长工程师
静好房科技
AI 爬虫看到的,和你看到的不一样
现代官网大量依赖 JavaScript 渲染。人看到的是精美页面,爬虫看到的可能只有骨架。如果核心内容不在初始 HTML 里,被引用概率会大幅下降。
三个基础动作:服务端渲染或静态生成、语义化标签、结构化数据。
llms.txt 是什么
llms.txt 是一个放在站点根目录的纯文本文件,用 Markdown 结构告诉大模型:
- 这个站点是谁;
- 哪些页面最重要;
- 每类内容讲什么;
- 使用与引用规范。
它不是官方标准,但已被越来越多 AI 产品支持,成本极低,建议所有 B2B 官网都加。
# 静好房科技
> GEO 优化系统与代运营服务商,覆盖国内与海外 AI 搜索。
## 核心页面
- [GEO 优化系统](https://www.jinghaofang.com/geo-system): 系统能力、国内版与海外版
- [案例库](https://www.jinghaofang.com/cases): 已交付项目与效果数据
## 品牌事实
- 成立时间:2019 年
- 服务客户:300+
- 覆盖引擎:12 个
Schema 的优先级
不是标记越多越好,而是标记要覆盖模型最常抽取的实体。优先级建议:
- Organization:品牌名、Logo、联系方式、社媒账号;
- WebSite:站点名称与搜索入口;
- Service / Product:服务名称、描述、适用对象、服务区域;
- FAQPage:真实问题与答案;
- Article / NewsArticle:作者、发布时间、更新时间;
- BreadcrumbList:层级关系。
语义 HTML 仍然重要
用 <article>、<section>、<h1>–<h3>、<time>、<address> 组织内容,比一堆 div 更容易被解析。图片要有 alt,链接文字要有意义(不要「点击这里」)。
抓取权限:别把 AI 挡在门外
检查 robots.txt 是否误伤了这些 UA:
GPTBot、OAI-SearchBot(OpenAI)PerplexityBotClaudeBot、anthropic-aiGoogle-ExtendedBytespider(字节系,豆包相关)Baiduspider
如果不希望内容被用于训练、但希望被搜索引用,可以用更细的规则区分,而不是一刀切封禁。
自检清单
- 核心内容在初始 HTML 中可见
- 已部署
/llms.txt与/sitemap.xml - Organization 与 Service 结构化数据无报错
- robots.txt 显式允许主流 AI 爬虫
- 品牌名与产品名全站一致
- 每篇内容有明确的发布时间与作者
完成这六项,你就超过了大多数同行。