栏目导航
热点推荐
- SEO教程:搜索引擎收录页面流程原
- SEO作弊方法和SEO作弊认定准则
- 最新的SEO优化公式
- 网站优化SEO相关知识问答
- 展现最优质内容 正确配置Robots
- 什么是Meta标签?
- SEO简介与给网站带来的好处
- 搜索引擎优化(SEO)的细节内容
- SEO专业术语,效果,服务及前景
- 学好seo的六条经典秘诀
- 什么是搜索引擎优化?
- 404页面该怎么做?
阅览排行
展现最优质内容 正确配置Robots文件
www.jz123.cn 2009-01-15 来源: 中国建站 编辑整理 我要投递新闻
三家都支持的Meta标签包括:
NOINDEX - 告诉蜘蛛不要索引某个网页。
NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET - 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE - 告诉蜘蛛不要显示快照。
NOODP - 告诉蜘蛛不要使用开放目录中的标题和说明。
上面这些记录或标签,现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow,Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有:
UNAVAILABLE_AFTER - 告诉蜘蛛网页什么时候过期。在这个日期之后,不应该再出现在搜索结果中。
NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签:
Crawl-Delay - 允许蜘蛛延时抓取的频率。
NOYDIR - 和NOODP标签相似,但是指雅虎目录,而不是开放目录。
Robots-nocontent - 告诉蜘蛛被标注的部分html不是网页内容的一部分,或者换个角度,告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签:
Crawl-Delay
另外提醒大家注意的是,robots.txt文件可以不存在,返回404错误,意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误,可能导致搜索引擎不收录网站,因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容,这与确认文件不存在是不一样的。
上一篇:通过谷歌网站管理员工具改变您的网站设置 下一篇:入门:网站SEO计划书