robots.txt 中,我要屏蔽全部蜘蛛,只保留 baidu.combing.com google.com 的蜘蛛怎么做? - 第1页 - 码农库
 
首页 /服务器与软件/其它软件/网赚
 robots.txt 中,我要屏蔽全部蜘蛛,只保留 baidu.combing.com google.com 的蜘蛛怎么做?
今天 10:04

robots.txt:

# 先屏蔽所有蜘蛛
User-agent: *
Disallow: /

# 允许百度蜘蛛
User-agent: Baiduspider
Allow: /

# 允许必应Bing蜘蛛
User-agent: bingbot
Allow: /

# 允许谷歌蜘蛛
User-agent: Googlebot
Allow: /


 
全部回复(0)
首页 | 电脑版 |