厦门网站优化

今天想把自己对网站中robots.txt文件介绍一下，对一个接触seo的朋友来说这个文件肯定不陌生，应为他就是给我们敬爱的引擎蜘蛛“大爷”准备的，告诉他：我们这些整天伺候它们的人给他们准备的食物，那些能吃，那些不能吃！哈哈！下面用我的seo博客中“robots.txt”文件举例：

User-Agent: *

Allow: /
Disallow: /tags.asp
Disallow: /login.asp
Disallow: /default.asp
Disallow: /sitemap.asp
Disallow: /catalog.asp
Disallow: /search.asp
Disallow: /view.asp
Disallow: /cmd.asp
Disallow: /admin/
Disallow: /cache/
Disallow: /function/
Disallow: /script/
Disallow: /guestbook/
Disallow: /include/
Disallow: /language/
Disallow: /uploan/
Disallow: /template/

上方所展示的代码是我个人博客当中robots.txt文件，也许有人没用过，所以提供给大家;

简单说明一下robots.txt

1.User-Agent：后面是想屏蔽引擎的名称，“ * ”代表所有引擎，如果你想屏蔽所有引擎就用，如果只是想对某一个的话就写上它的名字,如Googlebot（谷歌）；然后下面用“空行”提醒下边对引擎爬取的定义内容；
“Allow: /”代表全部允许；
“Disallow: /”代表不允许后面加上你的目录名称；

2.Disallow: /tags.asp 说的是屏蔽了我的/tags.asp路径，“Disallow: /admin/”这个说的是屏蔽掉“/admin/”的这个目录。

3.本文中的“Allow”“Disallow”的组合代表的意思就是“抓取，除去Disallow屏蔽后的，所有网站上内容文件”

4.记住最后文件名称：robots.txt 传到根目录下，也就是说最终上传上去后，前台页面显示url是：http://www.xm02.com/robots.txt

5.自己的一点小小的经验，希望和大家一起分享交流！