robots.txt作为所有搜索引擎共同遵循的规则协议书，当搜索引擎蜘蛛爬行站点时先检测网站有无robots其次依照robots规则范畴进行爬行，如果没有robots.txt，那么蜘蛛就会沿着链接抓取。请牢牢记住：robots.txt必须放置在站点的根目录下，而且文件名必须全部小写。Disallow后面的冒号必须为英文状态的。我们先来理解User-agent...
网站所有者使用/robots.txt文件向网络机器人提供有关其网站的说明;这被称为机器人消除协议。它的工作原理如下：机器人想要访问网站URL，比如http://www.xusseo.com/。在此之前，它第一检查http://www.xusseo.com/robots.txt，并找到：User-agent:*Disallow:/ “User-age...
description是啥意思,description的重要性及写法 网站的TKD（标题、关键词、描述）是所有seoer重点关注的对象，随着搜索引擎机制的完善，TKD的在seo优化上的作用也相对弱化了许多，尤其是关键词和描述。本文要跟大家聊的是TKD中的D，也就是页面描述description。一、页面描述description是什么意思页面描述和desc...
