luck 发表于 2020-10-8 07:16:01

wordpress网站必须有robots.txt文件吗？

好像以前听到说需要有一个robots.txt文件，那么我的网站没有什么需要屏蔽的，设成以下方式行不行？也就是说只有一行，没有其它的。
谢谢！






GGBone 发表于 2020-10-8 08:33:50

不需要，可以直接删除

一家之言 发表于 2020-10-8 12:51:16

放一个吧，搜索引擎爬虫进来的时候会先去爬robots.txt文件，如果没有会出现爬取404；
如果没有需要屏蔽的，直接用以下代码即可：
User-agent: *
Allow: /

marcow 发表于 2020-10-8 22:53:24

可是如果robots不写清楚，像新站好不容易引来蜘蛛尽爬些没用的玩意不会浪费蜘蛛嘛

河小马 发表于 2020-10-9 16:53:47

这个还是要有的

否则error log 里面不停的出现error

因为robots.txt 以及favicon 是经常被各种bot 访问的

wordpress 自带，你不用管就好了
页: [1]
查看完整版本: wordpress网站必须有robots.txt文件吗？