百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 文章教程 > 正文

老板AI应用课:AI营销获客之GEO如何创建LLMs.txt

yund56 2025-09-06 15:26 24 浏览

如果你做过SEO,或者了解过SEO,那么你一定知道robots.txt和sitemap.xml这两个文件。

前者是爬虫协议,后者是站点地图,作用都是在告诉搜索引擎的爬虫蜘蛛,哪些网站页面可以抓取,哪些页面不可以抓取。

随着大语言模型的发展,前面我们已经讲过,AI应用除了自己的蜘蛛定时去爬取信息,在联网搜索的时候也会去爬取。

这就要求有一种新的协议,符合LLM(大语言模型)标准的,能够给AI提供友好内容的全新方案。

LLMs.txt这种索引文件应运而生,它的作用跟前面提到的那两个文件一样,都是在告诉AI,这些内容是你看得懂,看起来很舒服的。

AI就会顺着LLMs.txt的指引去抓取内容,当然,你不想让AI抓取的内容,也可以在LLMs.txt中设定好,道理是一样的。

那什么样的内容算是对AI友好的呢?答案是Markdown格式的,传统的HTML+JS包含太多冗余的信息,尤其JS加载的内容AI爬虫是无法读取的。

因此,LLMs.txt提供给AI爬虫的内容必须是Markdown格式,且是最新的,最希望爬虫去抓取的,有效的内容。

至于Markdown格式的内容怎么写,这个网上有很多的资料可以参考,甚至于你都不需要自己去写,使用工具进行转换即可,比如HTML转Markdown在线工具。

老马个人建议是你可以把网站中比较重要的页面、资讯内容等都转换成单独的Markdown文件,如果里面涉及到多媒体文件(图片、视频、音频),可以存储到服务器上,把URL地址放在Markdown文件中。

由于大语言模型的AI应用最终抓取和回复给用户的内容,主要都是文字,所以你创建的Markdown文件重点也是处理文字。你把存储在网站服务器上的Markdown文件发给AI应用,网址假设如下:

www.majiabin.com/12345678.md

.md是Markdown文件的后缀,以上这个文件AI是可以轻松读懂的。换句话总结,就是尽量把HTML静态文件转换成md文件,伪静态的也是如此。

同时,保证你整个网站目录结构下的重要页面,比如公司介绍、产品介绍、联系方式等,都转换成对应的md文件存储在服务器上,可以直接用URL地址进行访问。

做完以上准备工作,你就可以开始使用工具创建一个LLMs.txt的索引文件,同时把这个文件上传到网站服务器的根目录下,与robots.txt同在。

下面老马就介绍一个非常简单好用,自动生成LLMs.txt文件的在线工具。

1、使用LLMs.txt生成器

工具网址:
https://www.pdftool.cc/zh/llms-txt-generator,电脑浏览器打开后,我们可以先输入自己的网站地址,获取一下本来就已经设置好的robots.txt,作为生成LLMs.txt文件的参考,如图:

然后输入你的网站名称,联系方式。LLM提供商的选择,就得看你具体的业务需要,比如你的业务是涉及出海的,那建议是全选国际,涉及国内的,则只全选国内,如图:

正常来说,像国外的openAI、Anthropic、Google、Meta、Microsoft这些都可以选择,国内的百度、阿里、腾讯、字节跳动、360搜索则可以作为首选。


它这个工具其实里面是混合了一些传统的搜索引擎爬虫的,如果你没有啥特殊要求,建议无脑全选,省得去分辨哪些是AI爬虫。


爬取延迟的设置保持默认,除非后期你发现AI爬虫已经把你的服务器拖垮了,比如老马自己的小鸡(轻量级云服务器)就受不了ChatGPT的频繁抓取,如图:

虽然ChatGPT的蜘蛛也考虑到不能抓取太频繁,太快,以免触发某些网站的防火墙,导致蜘蛛IP被封禁。但由于老马的网站使用的是Wordpress这种土肥圆程序,极容易产生过多的慢请求打死php-fpm。


讲人话就是,ChatGPT的蜘蛛天天这么爬老马的网站,严重拖卡了服务器,本身服务器配置就低,所以情况跟老马相似的,可以把爬取延迟设置高一些。


禁止路径的设置好理解,不想被AI爬虫抓取的页面就禁止掉,一般就是管理后台啥的。允许路径就是设置允许的,这里可以把上面创建的重要的.md文件URl地址放进去,效果如图:

自定义规则里面你可以设置单独的AI爬虫规则,比如针对ChatGPT爬虫,让其重点关注我们创建的md文件中的出海内容,也可以把sitemap.xml

文件的URL地址放置于此。


以上配置完成,点击生成LLMs.txt即可。生成后你可以直接下载LLMs.txt文件,也可以在电脑新建一个LLMs.txt,复制生成内容到剪贴板后粘贴进去保存,最终上传到服务器根目录下。


好了,以上就是今天的分享,有任何问题和需求请留言,回见!

相关推荐

SM小分队Girls on Top,女神战队少了f(x)?

这次由SM娱乐公司在冬季即将开演的smtown里,将公司的所有女团成员集结成了一个小分队project。第一位这是全面ACE的大姐成员权宝儿(BoA),出道二十年,在日本单人销量过千万,韩国国内200...

韩国女团 aespa 首场 VR 演唱会或暗示 Quest 3 将于 10 月推出

AmazeVR宣布将在十月份举办一场现场VR音乐会,观众将佩戴MetaQuest3进行体验。韩国女团aespa于2020年11月出道,此后在日本推出了三张金唱片,在韩国推出了...

韩网热议!女团aespa成员Giselle在长腿爱豆中真的是legend

身高163的Giselle,长腿傲人,身材比例绝了...

假唱而被骂爆的女团:IVE、NewJeans、aespa上榜

在韩国,其实K-pop偶像并不被认为是真正的歌手,因为偶像们必须兼备舞蹈能力、也经常透过对嘴来完成舞台。由于科技的日渐发达,也有许多网友会利用消音软体来验证K-pop偶像到底有没有开麦唱歌,导致假唱这...

新女团Aespa登时尚大片 四个少女四种style

来源:环球网

韩国女团aespa新歌MV曝光 画面梦幻造型超美

12月20日,韩国女团aespa翻唱曲《DreamsComeTrue》MV公开,视频中,她们的造型超美!WINTER背后长出一双梦幻般的翅膀。柳智敏笑容甜美。宁艺卓皮肤白皙。GISELLE五官精致...

女网友向拳头维权,自称是萨勒芬妮的原型?某韩国女团抄袭KDA

女英雄萨勒芬妮(Seraphine)是拳头在2020年推出的第五位新英雄,在还没有正式上线时就备受lsp玩家的关注,因为她实在是太可爱了。和其他新英雄不同的是,萨勒芬妮在没上线时就被拳头当成虚拟偶像来...

人气TOP女团是?INS粉丝数见分晓;TWICE成员为何在演唱会落泪?

现在的人气TOP女团是?INS粉丝数见分晓!现在爱豆和粉丝之间的交流方法变得多种多样,但是Instagram依然是主要的交流手段。很多粉丝根据粉丝数评价偶像的人气,拥有数百、数千万粉丝的组合作为全球偶...

韩国女团MVaespa Drama MV_韩国女团穿超短裙子跳舞

WelcometoDrama.Pleasefollow4ruleswhilewatchingtheDrama.·1)Lookbackimmediatelywhenyoufe...

aespa师妹团今年将出道! SM职员亲口曝「新女团风格、人数」

记者刘宛欣/综合报导南韩造星工厂SM娱乐曾打造出东方神起、SUPERJUNIOR、少女时代、SHINee、EXO等传奇团体,近年推出的aespa、RIIZE更是双双成为新生代一线团体,深受大众与粉丝...

南韩最活跃的女团aespa,新专辑《Girls》即将发布,盘点昔日经典

女团aespa歌曲盘点,新专辑《Girls》即将发布,期待大火。明天也就是2022年的7月8号,aespa新专辑《Girls》即将发行。这是继首张专辑《Savage》之后,时隔19个月的第二张专辑,这...

章泽天女团aespa出席戛纳晚宴 宋康昊携新片亮相

搜狐娱乐讯(山今/文玄反影/图科明/视频)法国时间5月23日晚,女团aespa、宋康昊、章泽天等明星亮相戛纳晚宴。章泽天身姿优越。章泽天肩颈线优越。章泽天双臂纤细。章泽天仪态端正。女团aespa亮...

Aespa舞台暴露身高比例,宁艺卓脸大,柳智敏有“TOP”相

作为SM公司最新女团aespa,初舞台《BlackMamba》公开,在初舞台里,看得出来SM公司是下了大功夫的,虽然之前SM公司新出的女团都有很长的先导片,但是aespa显然是有“特殊待遇”。运用了...

AESPA女团成员柳智敏karina大美女

真队内速度最快最火达成队内首个且唯一两百万点赞五代男女团中输断层第一(图转自微博)...

对来学校演出的女团成员语言性骚扰?韩国这所男高的学生恶心透了

哕了……本月4日,景福男子高中相关人士称已经找到了在SNS中上传对aespa成员进行性骚扰文章的学生,并开始着手调查。2日,SM娱乐创始人李秀满的母校——景福高中迎来了建校101周年庆典活动。当天,S...