蜘蛛池的robots优化方法有哪些？

本文是讲解关于"蜘蛛池的robots优化方法有哪些？"的相关内容。
1机器人概述
① robots.txt是一个纯文本文件，站长可以在其中声明robots不想访问的网站部分，因此robots优化直接影响搜索引擎对网站的收录；
②robots.txt必须放置在站点的根目录中，并且文件名必须全部小写：
www.yzcc.cn/robots.txt
③ 即使你网站的全部内容都可以被搜索引擎索引，也要写一个空的robots.txt；因为某些服务器设置会导致在没有错误时返回200状态码和相应的错误消息robots.txt;

二、robots的写法
# robots.txt file from http://www.cjzzc.com/

# All robots will spider the domain

User-agent:*

Disallow:

1、允许搜索引擎访问所有部分（一般可不写）

User-agent:*

Disallow:

2、禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

3、禁止搜索引擎访问某几个部分

User-agent:*

Disallow:http://www.cjzzc.com/404.html

4、允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容：

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

9、$：通配符，匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$

10、禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。

User-agent:*

Disallow:/admin/

Allow:/images/

11、禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。

User-agent:*

Disallow:/admin/*.php$

Allow:/admin/*.asp$

12、禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。

User-agent:*

Disallow:/*?*
读完："蜘蛛池的robots优化方法有哪些？"之后，相信您对网站优化相关知识有了更多的了解。