让企业赢在全网营销时代
当前位置: 主页 > 建站知识 > 网络营销 >
联系我们
电话咨询:15066004201
E-mail:727661179@qq.com
地址: 山东省东营市西城区

robots.txt文件对网站优化的利弊分析

作者:admin 点击量:次 2016-10-27

 robots.txt文件是放在网站域名根目录下的一个文本文件。robots.txt文件对网站并没有硬性的要求,但是对网站优化是有一定影响
的。robots.txt文件对网站优化有好处也有坏处,下面我们来具体了解一下robots.txt文件对网站优化的利弊。

robots.txt文件对网站优化的利弊分析

  robots.txt文件对网站优化带来的好处分析


  robots.txt文件可以节省带宽。robots.txt文件可以制止不必要的搜索引擎占用服务器的宝贵带宽,如emailretrievers,这类搜索引擎
对大多数网站是没有任何意义的,再如image strippers,对于大多数非图形类网站来说也是没多大的意义,但却耗用大量带宽。


  robots.txt文件引导搜索引擎进行有序的索引。robots.txt文件可以制止搜索引擎对非公开页面的额爬行与索引,如万盏的后台程序,
管理程序,事实上对于默写在运行中产生临时页面的网站来说,如果未配置robots.txt文件,搜索引擎甚至会索引这些临时文件。


  对于存在很多页面的网站来说,配置robots.txt文件的意义更为重大,因为很多时候其会遭遇到搜索引擎给予网站的巨大压力,
洪水般的搜索引擎访问,若果不加控制,甚至会影响到网站的正常访问。


  robots.txt文件对网站优化的风险分析


  robots.txt文件降低了网站的安全系数。其也给攻击者指明了万盏的目录结构和私密数据所在的位置。虽然在Web服务器的安全
措施配置得当的前提下这不是一个严重的问题,但毕竟降低了攻击难度。攻击者只要看一下robots.txt文件就能知道你要隐藏的内容
在哪里吗,从而进行攻击。


  如果设置不对,将导致搜索引擎将索引的数据全部删除。