会员投稿
投稿指南 
RSS订阅栏目导航
热点推荐
- 王大君：自定义404错误页面详解
- SEO经验：55条容易上手的SEO技巧
- 应该这样做外部链接
- SEO教程:文章标题关键词设置和改
- 揭开谷歌站点管理工具神秘面纱（
- 神秘化的谷歌站点管理工具报告（
- 神秘化的谷歌站点管理工具报告(
- Google官方:优化蜘蛛爬取和索引
- BLOGGER如何搜索引擎优化
- 16个网页图片SEO方法
- 网站优化的一点经验总结 注重文
- 从三个方面分析 如何增加网站链
阅览排行
robots.txt一分钟教程
www.jz123.cn 2008-08-10 来源: 中国建站 kyw 我要投递新闻
首先要说：
学习robots主要搞明白下面3个问题：
1. robots是什么？
2. robots有什么作用？
3. 如何写robots.txt？
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
3. 禁止某个SE收录本站，例如禁止百度：
4. 禁止所有SE收录本站：
5. 加入sitemap.xml路径,例如：
参考资料：常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com
Googlebot http://www.google.com
MSNBOT http://search.msn.com
ia_archiver http://www.alexa.com
一个在线写robots.txt的工具。
http://www.clickability.co.uk/robotstxt.html
robots.txt很简单
学习robots主要搞明白下面3个问题：
1. robots是什么？
2. robots有什么作用？
3. 如何写robots.txt？
robots是什么？
kyw的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。robots有什么作用？
kyw的回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。如何写robots.txt
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如：
Sitemap: http://www.seotest.cn/sitemap.xml
参考资料：常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com
Googlebot http://www.google.com
MSNBOT http://search.msn.com
ia_archiver http://www.alexa.com
一个在线写robots.txt的工具。
http://www.clickability.co.uk/robotstxt.html
0
上一篇：301重定向设置的方法 下一篇：汇总直接影响网站排名的主要因素