最近一直在看關于SEO技術相關的資料，很好奇百度蜘蛛是怎樣抓取網站內容的?

百度蜘蛛是怎樣抓取網站內容的?兩步，教你正確識別百度蜘蛛

1、查看UA，如果UA都不對，可以直接判斷非百度搜索的蜘蛛，目前對外公布過的UA是：

移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

1)、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

2)、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

3)、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

百度蜘蛛是怎樣抓取網站內容的?百度蜘蛛對文章的抓取規則有哪些?

1、發表文章的轉載與引證次數

文章想要被搜索引擎蜘蛛認可，首先需要文章被用戶認可，即文章被轉載與引證的次數。文章被轉載和印證相當于網站的外鏈，是用戶對內容的必定，自然而然也添加了查找引擎對網站的友好度

2、文章標題與網站內容的相關性

標題是網站的點睛之筆，好的標題能吸引用戶，但切忌做標題黨，不然即便用戶點擊進來，也只能添加跳出率，形成不良的用戶體會。如果一篇文章的跳出率過高，自然也會增加搜索引擎的反感。

3、文章標題和內容的唯一性

蜘蛛來到網站進行抓取，首先看的是網頁的頭部信息，若是蜘蛛發現有和索引庫中一樣的標題，則食欲就大減。文章的內容應具有唯一性，站內不要有太多的相同內容，站外相同也需求有唯一性。

4、錨文字鏈接數量與外部鏈接

搜索引擎蜘蛛對網站的抓取，是順著鏈接進行爬行，合理的內鏈不但能引導蜘蛛匍匐，還能引導用戶檢查更多的網頁。外鏈的數量則影響著對應文章在查找成果中的排名，外鏈既導權又起了推行效果。

5、網站內容本身的質量

一篇好的軟文，需要內容的層次獨立，并且和主題的相關性及關鍵字的密度緊密相連。軟文不同于通常的寫作，它更注重的是用戶體會，除了內容的實用性，需注意文章的排版，階段層次分明。切忌為了添加關鍵字的.密度而堆積關鍵字。

百度蜘蛛是怎樣抓取網站內容的?百度蜘蛛對文章的抓取，一都會遵循一定的規則。既有外部的規則又有內部的聯系。一篇好的軟文需要注意以上幾點細節，只有做好這幾點，對網站優化才會達到很好的促進效果。