百度蜘蛛會(huì)派出許多個(gè)小程序?qū)ヂ?lián)網(wǎng)上的網(wǎng)頁(yè)進(jìn)行訪問(wèn),這些小程序被站長(zhǎng)親切的稱為百度蜘蛛,一般的百度蜘蛛訪問(wèn)網(wǎng)站都會(huì)在網(wǎng)站留下痕跡,在網(wǎng)站的日志中可以查詢的到,例如下圖中的百度baiduspider,就是典型的百度蜘蛛。
當(dāng)然百度的蜘蛛有很多種,常見(jiàn)的有:
無(wú)線搜索 Baiduspider
圖片搜索 Baiduspider-image
視頻搜索 Baiduspider-video
新聞搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度聯(lián)盟 Baiduspider-cpro
商務(wù)搜索 Baiduspider-ads
網(wǎng)頁(yè)以及其他搜索 Baiduspider
除了以上的幾種外,百度還會(huì)派出匿名蜘蛛模仿成用戶的形態(tài)訪問(wèn)網(wǎng)站。這樣做的目的是為了防止網(wǎng)站優(yōu)化過(guò)程中作弊,百度通過(guò)對(duì)比匿名蜘蛛與正常蜘蛛訪問(wèn)的頁(yè)面情況,如果差異很大,那就表明網(wǎng)站存在欺騙搜索引擎的行為。那么對(duì)于這些蜘蛛我們?cè)撊绾巫R(shí)別:
方案一:
據(jù)統(tǒng)計(jì),百度的蜘蛛的IP是有規(guī)律的,電信ip段(220.181.108.*)、網(wǎng)通ip段(123.125.71.*),通過(guò)ip可以初步的判斷下。
方案二:
利用程序識(shí)別百度的匿名蜘蛛,操作方法
1、win+r,調(diào)出cmd;
2、在命令框內(nèi)輸入nslookup IP查詢,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充,