关于robots的问题
本帖最后由 luck 于 2020-10-6 15:10 编辑今天在查看自己网站的robots时，发现里面有以下内容
Disallow: /post-type-1/
不记得是什么时候能的，也不知道 post-type-1 是如何产生的，记得自安装过yoast插件，后来又安装了子主题 插件，是否和这些插件有关？
我还想知道，我网站的那些文章使用了 post type 1，如何筛选出它们？
谢谢！
自己顶一下，希望 得到答案。 1、查看自己的网站后台或者数据库，是否存在网址包含/post-type-1/的页面；
2、查看服务器日志文件，包含/post-type-1/的页面是否被用户&爬虫访问； 一家之言 发表于 2020-10-7 14:50
1、查看自己的网站后台或者数据库，是否存在网址包含/post-type-1/的页面；
2、查看服务器日志文件，包含/p ...
非常感谢回答，
我并不知道那些网页是/post-type-1/类型的，不知如何查看，如何发现它们。也不知道如何在数据库中查看。能详细说一下吗？
谢谢！ 本帖最后由 一家之言 于 2020-10-7 17:53 编辑
不同的网站的数据库不同，有的是自己开发，有的是使用开源CMS，但是大部分数据库表结构的逻辑都是差不多的。一般会在三个表中会有体现，一个是URL配置表（有些是直接放到配置文件的）；一个是分类表；一个是内容详情表；
贴一个我自己的内容详情表给你参考下，直接用sql查询即可（需按照对应的表结构），例如我需要查询 /gsnews/ 目录下的内容页面：
另外，贴个通过服务器日志查询的方式：
选择高级模式，即可发表图片
luck 发表于 2020-10-7 16:18
选择高级模式，即可发表图片
多谢，原来还有这个隐藏的功能:) 一家之言 发表于 2020-10-7 17:33
多谢，原来还有这个隐藏的功能
感谢详细的解答，我的网站是用wordpress建的，放在VPS上，用的是军哥的环境。
我不懂代码，所以还想问一下，数据库文件在那个目录下，是什么名称。
谢谢！ 去下载一个Xenus Link Sleuth工具 把全站链接抓一次 本帖最后由 luck 于 2020-10-7 19:15 编辑
窃格瓦拉 发表于 2020-10-7 19:10
去下载一个Xenus Link Sleuth工具 把全站链接抓一次
这有什么用？我不明白我的那些文章属于 post type-1类型的。 Disallow: /post-type-1/ 这个是说不让谷哥收录 链接里 包含有 post-type-1 的页面。
Xenus Link Sleuth 可以检查你网站所有的页面啊。等把所有页面检查完了，自然就知道有没有post-type-1 页面了。
或者你直接看你文章后台.
你这个应该是目录名吧。
文章结构一般有
xx.com/article1.html
xx.com/mulu/article1.html
xx.com/mulu/article1/
/post-type-1 难不成是你的目录？ 窃格瓦拉 发表于 2020-10-7 19:10
去下载一个Xenus Link Sleuth工具 把全站链接抓一次
如果这个页面在网站上没有放任何链接呢？ luck 发表于 2020-10-7 18:23
感谢详细的解答，我的网站是用wordpress建的，放在VPS上，用的是军哥的环境。
我不懂代码，所以还想问一 ...
用xshell远程连接VPS，
进入数据库：
mysql -uroot -p
输入你的mysql密码，进入mysql，use 你的数据库；
也可是直接使用：phpMyAdmin，Navicat等方式；
nginx web服务器日志目录：
cd cd /home/wwwlogs/
页:
[1]
