如何正确配置robots文件
经常做优化的朋友应该对于这个文件并不陌生，在我们日常的优化工作中，robots的制作也是至关重要的一个步骤！所以，今天莆田网络公司和大家一起来交流一下如何正确的设置robots！
robots.txt是一个纯文本文件，这一点大家看后缀名称就知道，当搜索引擎蜘蛛访问一个网站时，它首先会检查网站根目录下是否存在Robots.txt文件。如果有这个文件，蜘蛛就会按照该文件中的内容来确定访问的范围；如果该内容不存在，那么蜘蛛就是顺着链接来索引！
值得一提的是robots.txt必须放在一个网站的根目录下，并且文件名称要全部小写。
那么如果你有些网页或者文件不想让蜘蛛访问，那该如何设置呢？说到这里，大家应该都知道，08年淘宝和百度决裂事件，之后不少人都发现在淘宝目录下出现了阻止百度搜索引擎抓取的命令。这样类似的指令是如何实现的呢？
首先要创建一个纯文本文件并命名为：robots.txt，在文件中声明网站中禁止蜘蛛访问的部分。把robots.txt文件放在网站根目录下。文件中可以使用“#”进行注释，文件中记录通常以一行或者多行user-agent开始，后面加上一些disallow行，详细情况如下：
user-agent
robots.txt是一个纯文本文件，这一点大家看后缀名称就知道，当搜索引擎蜘蛛访问一个网站时，它首先会检查网站根目录下是否存在Robots.txt文件。如果有这个文件，蜘蛛就会按照该文件中的内容来确定访问的范围；如果该内容不存在，那么蜘蛛就是顺着链接来索引！
值得一提的是robots.txt必须放在一个网站的根目录下，并且文件名称要全部小写。
那么如果你有些网页或者文件不想让蜘蛛访问，那该如何设置呢？说到这里，大家应该都知道，08年淘宝和百度决裂事件，之后不少人都发现在淘宝目录下出现了阻止百度搜索引擎抓取的命令。这样类似的指令是如何实现的呢？
首先要创建一个纯文本文件并命名为：robots.txt，在文件中声明网站中禁止蜘蛛访问的部分。把robots.txt文件放在网站根目录下。文件中可以使用“#”进行注释，文件中记录通常以一行或者多行user-agent开始，后面加上一些disallow行，详细情况如下：
user-agent