网站地图
成都网站建设
seo计划之是否真的需要robots文件? 日期:2014-07-15

我们都知道robots文件很重要,那么这个文件真的是必不可少的么?
您可能不需要robots.txt文件。如果没有robots.txt文件,所有的蜘蛛就都能访问网站上所有没有口令保护的页面。要判断自己的网站是否需要robots.txt文件,可考虑几个问题:
1)网站是否存在不希望被搜索引擎列出来的页面或日录,比如内联网或者内部电话簿?
2)是否不希望某些搜索引擎显示自己的网站?
3)是否有会给蜘蛛带来问题的某些动态页面或者程序功能,比如让蜘蛛循环抓取(在两个页面之间无休止地来回抓取)?
4)网站是否有包含重复内容的页面?
5)网站是否存在只包含程序脚本、没有可读页面的目录?
如果这些问题的答案是否定的,您就不需要robots.txt文件。今天的任务也就结束了。如果有一个问题的答案是肯定的,您下面就要准备robots.txt文件.
robots.txt是非常简单的文本文件.可以打开www.biz365.net/robots.txt文件看看robots.txt文件是什么样的,或者打开任何一个网站,查看其根目录下robots.txt文件的内容。
robots.txt文件一般如下所示:
User-agent: *
Disallow: /Include/
Disallow: /OldIceBox/
有很多网站都介绍了robots.txt文件的构建和保存.百度站长平台上有一个有用的robots.txt构建功能。



上一篇:seo计划之robots元标签下一篇:SEO技巧中的Flash优化及Ajax优化(下)


此文关键字:robots文件



相关资讯

谈新站如何搞定百度之迂回战术电子商务网站有哪些基本类型,这些网站应具有哪些功能,网站运营的动机是什么?看看你的网站信息结构是否优化了?怎么做好企业网络优化教你认识为什么要做网站优化?菜鸟站长如何维护好自己的网站呢?