robots.txt：
# 先屏蔽所有蜘蛛 User-agent: * Disallow: / # 允许百度蜘蛛 User-agent: Baiduspider Allow: / # 允许必应Bing蜘蛛 User-agent: bingbot Allow: / # 允许谷歌蜘蛛 User-agent: Googlebot Allow: /
返回列表
robots.txt 中，我要屏蔽全部蜘蛛，只保留 baidu.combing.com google.com 的蜘蛛怎么做？
发表于 今天 10:04
