16
8
1.概述 在分析这个问题之前,其实要先明白一个事情: 我们为啥要研究如何控制百度抓取和展示的问题? 原因在于:一个网站有成千上万的网页;并不需要每一个页面都展示给客户;也就是说不需要每一个页面都需要百度去抓取;同时每天百度来抓取我们网站的力度是有限的,我们要保障百度抓取的效率;把一些不相干的,杂乱的因素帮百度蜘蛛清理掉;让百度蜘蛛专心抓取我...