robots.txt文件对网站优化的利弊分析

作者：admin 点击量：375次 2016-10-27 06:46:27

　robots.txt文件是放在网站域名根目录下的一个文本文件。robots.txt文件对网站并没有硬性的要求，但是对网站优化是有一定影响
的。robots.txt文件对网站优化有好处也有坏处，下面我们来具体了解一下robots.txt文件对网站优化的利弊。

　　robots.txt文件对网站优化带来的好处分析

　　robots.txt文件可以节省带宽。robots.txt文件可以制止不必要的搜索引擎占用服务器的宝贵带宽，如emailretrievers，这类搜索引擎
对大多数网站是没有任何意义的，再如image strippers，对于大多数非图形类网站来说也是没多大的意义，但却耗用大量带宽。

　　robots.txt文件引导搜索引擎进行有序的索引。robots.txt文件可以制止搜索引擎对非公开页面的额爬行与索引，如万盏的后台程序，
管理程序，事实上对于默写在运行中产生临时页面的网站来说，如果未配置robots.txt文件，搜索引擎甚至会索引这些临时文件。

　　对于存在很多页面的网站来说，配置robots.txt文件的意义更为重大，因为很多时候其会遭遇到搜索引擎给予网站的巨大压力，
洪水般的搜索引擎访问，若果不加控制，甚至会影响到网站的正常访问。

　　robots.txt文件对网站优化的风险分析

　　robots.txt文件降低了网站的安全系数。其也给攻击者指明了万盏的目录结构和私密数据所在的位置。虽然在Web服务器的安全
措施配置得当的前提下这不是一个严重的问题，但毕竟降低了攻击难度。攻击者只要看一下robots.txt文件就能知道你要隐藏的内容
在哪里吗，从而进行攻击。

　　如果设置不对，将导致搜索引擎将索引的数据全部删除。