百度蜘蛛返回码的含义和建议
百度爬虫在进行抓取和处理时,是根据http协议规范来设置相应的逻辑的,所以请站长们也尽量参考http协议中关于返回码的含义的定义来进行设置。【详细】
百度 蜘蛛 返回码 2011-12-20