Robot

Robot与SEO-杭州seo博客-杭州-学习网-博客-txt-Robot（robots怎么写有助于seo）

很多站长可能都发现了，有的时候，你网站的内容在一个搜索引擎中被索引，即使你从来没有向这个搜索引擎提交过你的网站。这就归功于搜索引擎Robot（又叫Spider），这个永远不知道倦怠的WebCrawler,不放过任何串门的机会。但是什么事都有利有弊，为了掩护你不愿公布于世的内容，我们可以做一些设置，既不至于让Robot在你网站上横行霸道，又能引导Robot更好...