常见的机器人都是屏蔽的，如下图所示:
用户代理:*
不允许:/abc/
但是后来方法一个一个被抛弃了，因为都不行。因为他们网站的二级目录和主目录都在ftp里的同一个文件夹里，于是我总结了他们网站的问题。
1.网站没有收录的二级域名已经录了一万多了，蜘蛛每天都在爬行，但是到目前为止只录了二三十个主域名，而且还有下降的趋势，所以我们希望网站记录主域名页面。
2.网站的所有页面都不能被同一个文件夹中的机器人屏蔽。
虽然我在百度上搜索了很久，没有找到太多有用的信息，大部分和我第一次给出的答案是一样的，但是最后我们还是想出了解决这个问题的办法。关于阻止包含辅助目录的问题，总结了以下几点:
1.如果要筛选的页面和主页面在不同的文件夹中，我们可以直接采用上面提到的直接robots文件筛选方法，如allow: /abc/。
2.如果不能用机器人禁止搜索引擎记录一个二级域名，最好的方法是301。有用的页面，重定向所有二级目录域名，没用的直接删除。
3.使用机器人在不同于目录的空间屏蔽。
4.一个判断程序，让二级域名下有一个robots.txt文件被屏蔽。ABC . XXX/robots . txt，然后用robots来筛选。我以前没试过这种方法。我看到付伟先生很久以前给别人的一个建议，理论上是可行的。
至于如何避免这种不需要纳入网站建设的二级域名，我列举了几点。如有不完善之处，请补充。
1.如果虚拟主机空间有自己的二级域名地址，并且该地址已经包含在内，最直接的方法是在站点中的开放链接上统一url规范，并且不要为您不想包含的二级域名提供任何条目。
2.当需要辅助目录时，将主目录和辅助目录分隔在不同的文件夹中。
3.域名解析时，三W的域名直接采用主域名。
以上是对百度已经收录的屏蔽不必要的二级目录的方法的全部内容的介绍。更多内容请继续关注本网站！