由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述

　　这是个SEO新手容易遇到问题！简单来说，搜索引擎收录网站内容是有协议的，我们可以设置自己的网站内容不被百度等搜索引擎收录！当我们做了这样的设置，百度上显示我们的网站收录下面就会有这样的字样！下面丁哥来详细解答一下这个问题产生的原因及如何解决！

　　一、robots.txt文件的意义，它在网站的什么位置

　　这个文件就是网站和搜索引擎的收录协议，搜索引擎基本上都会按照这个协议来处理网站的收录情况！

　　文件放置在网站根目录下，如下图显示文件在ftp中的位置！

　　二、网站为什么要禁止搜索引擎收录

　　1.我们大部分网站在改版、建站初期因为内容，链接变动多，为了不让搜索引擎抓取到频繁的更改，所以我们要屏蔽搜索引擎抓取！

　　2.巨头网站之间的利益之争，如业内很知名的淘宝屏蔽百度收录！关于这个“舒扬”曾经写过一篇文章，大家可以看看

　　我眼中的巨头之站：淘宝为何屏蔽百度抓取？

　　三、网站遇到这样的问题怎么解决

　　1、找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取；

最简单的robots.txt文件设置：表示容许所有的搜索引擎收录网站所有内容！

　　2、下面一步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，主动对搜索引擎示好，快照更新过来之后，现象就会消失了。