关于robots的问题

luck

今天在查看自己网站的robots时，发现里面有以下内容
Disallow: /post-type-1/
不记得是什么时候能的，也不知道 post-type-1 是如何产生的，记得自安装过yoast插件，后来又安装了子主题 插件，是否和这些插件有关？
我还想知道，我网站的那些文章使用了 post type 1，如何筛选出它们？

谢谢！

luck

自己顶一下，希望 得到答案。

一家之言

1、查看自己的网站后台或者数据库，是否存在网址包含/post-type-1/的页面；
2、查看服务器日志文件，包含/post-type-1/的页面是否被用户&爬虫访问；

luck

一家之言 发表于 2020-10-7 14:50
1、查看自己的网站后台或者数据库，是否存在网址包含/post-type-1/的页面；
2、查看服务器日志文件，包含/p ...

非常感谢回答，
我并不知道那些网页是/post-type-1/类型的，不知如何查看，如何发现它们。也不知道如何在数据库中查看。能详细说一下吗？
谢谢！

一家之言

不同的网站的数据库不同，有的是自己开发，有的是使用开源CMS，但是大部分数据库表结构的逻辑都是差不多的。一般会在三个表中会有体现，一个是URL配置表（有些是直接放到配置文件的）；一个是分类表；一个是内容详情表；

贴一个我自己的内容详情表给你参考下，直接用sql查询即可（需按照对应的表结构），例如我需要查询 /gsnews/ 目录下的内容页面：



另外，贴个通过服务器日志查询的方式：

luck

选择高级模式，即可发表图片

一家之言

luck 发表于 2020-10-7 16:18
选择高级模式，即可发表图片

多谢，原来还有这个隐藏的功能

luck

一家之言 发表于 2020-10-7 17:33
多谢，原来还有这个隐藏的功能

感谢详细的解答，我的网站是用wordpress建的，放在VPS上，用的是军哥的环境。
我不懂代码，所以还想问一下，数据库文件在那个目录下，是什么名称。
谢谢！

窃格瓦拉

去下载一个Xenus Link Sleuth工具 把全站链接抓一次

luck

窃格瓦拉 发表于 2020-10-7 19:10
去下载一个Xenus Link Sleuth工具 把全站链接抓一次

这有什么用？我不明白我的那些文章属于 post type-1类型的。

窃格瓦拉

Disallow: /post-type-1/ 这个是说不让谷哥收录 链接里 包含有 post-type-1 的页面。
Xenus Link Sleuth 可以检查你网站所有的页面啊。等把所有页面检查完了，自然就知道有没有post-type-1 页面了。

或者你直接看你文章后台.

你这个应该是目录名吧。
文章结构一般有
xx.com/article1.html
xx.com/mulu/article1.html  
xx.com/mulu/article1/

/post-type-1 难不成是你的目录？

一家之言

窃格瓦拉 发表于 2020-10-7 19:10
去下载一个Xenus Link Sleuth工具 把全站链接抓一次

如果这个页面在网站上没有放任何链接呢？

一家之言

luck 发表于 2020-10-7 18:23
感谢详细的解答，我的网站是用wordpress建的，放在VPS上，用的是军哥的环境。
我不懂代码，所以还想问一 ...

用xshell远程连接VPS，
进入数据库：

1. mysql -uroot -p

复制代码

输入你的mysql密码，进入mysql，use 你的数据库；
也可是直接使用：phpMyAdmin，Navicat等方式；

nginx web服务器日志目录：

1. cd cd /home/wwwlogs/

复制代码