厦门网站优化

我们知道有很大一部分的站长寻找一种不让蜘蛛在自己网站上爬行自己网页的方法，也同样通过使用robot.txt文件做到了这点。虽然这确实是一个很好的实践行为，但问题也同样呈现出来：在对使用robot.txt阻止Google/Yahoo!/MSN或者一些其他的搜索引擎的蜘蛛爬行时的疑惑!下面的简要的说明：

　　通过Robots.txt来阻止抓取：一些URL地址不想被访问，但是仍然可以抓取并出现在搜索引擎的结果页面。

　　通过META标签的NoIndex来阻止：可以访问，但是不想被抓取，在搜索结果中也不想被列出来。

...

今天想把自己对网站中robots.txt文件介绍一下，对一个接触seo的朋友来说这个文件肯定不陌生，应为他就是给我们敬爱的引擎蜘蛛“大爷”准备的，告诉他：我们这些整天伺候它们的人给他们准备的食物，那些能吃，那些不能吃！哈哈！下面用我的seo博客中“robots.txt”文件举例：

User-Agent: *

Allow: /
Disallow: /tags.asp
Disallow: /login.asp
...

今天想把自己对网站中robots.txt文件介绍一下，对一个接触seo的朋友来说这个文件肯定不陌生，应为他就是给我们敬爱的引擎蜘蛛“大爷”准备的，告诉他：我们这些整天伺候它们的人给他们准备的食物，那些能吃，那些不能吃！哈哈！下面用我的seo博客中“robots.txt”文件举例：

User-Agent: *

Allow: /
Disallow: /tags.asp
Disallow: /login.asp
...