SEO優化首先要知道的是網絡爬蟲分類，網絡爬蟲是一種互聯網機器人，它通過爬取互聯網上網站的內容來工作。它是用計算機語言編寫的程序或腳本，用于自動從Internet上獲取任何信息或數據;是搜索引擎的重要組成。爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。下面讓SEO技術人員給我們分析一下什么是網絡爬蟲以及分類。

什么是網絡爬蟲?爬蟲的分類：

1、聚焦網絡爬蟲：聚焦網絡爬蟲(Focused Crawler)，又稱主題網絡爬蟲(Topical Crawler)，是指選擇性地爬行那些與預先定義好的主題相關頁面的網絡爬蟲[8]。 和通用網絡爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬件和網絡資源，保存的頁面也由于數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求。

2、增量式網絡爬蟲：增量式網絡爬蟲(Incremental Web Crawler)是 指 對 已 下 載 網 頁 采 取 增 量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。 和周期性爬行和刷新頁面的網絡爬蟲相比，增量式爬蟲只會在需要的時候爬行新產生或發生更新的頁面 ，并不重新下載沒有發生變化的頁面，可有效減少數據下載量，及時更新已爬行的網頁，減小時間和空間上的耗費，但是增加了爬行算法的復雜度和實現難度。增量式網絡爬蟲的體系結構[包含爬行模塊、排序模塊、更新模塊、本地頁面集、待爬行 URL 集以及本地頁面URL 集。

3、通用網絡爬蟲：通用網絡爬蟲又稱全網爬蟲(Scalable Web Crawler)，爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商采集數據。 由于商業原因，它們的技術細節很少公布出來。 這類網絡爬蟲的爬行范圍和數量巨大，對于爬行速度和存儲空間要求較高，對于爬行頁面的順序要求相對較低，同時由于待刷新的頁面太多，通常采用并行工作方式，但需要較長時間才能刷新一次頁面。 雖然存在一定缺陷，通用網絡爬蟲適用于為搜索引擎搜索廣泛的主題，有較強的應用價值。

4、Deep Web 爬蟲：Web 頁面按存在方式可以分為表層網頁(Surface Web)和深層網頁(Deep Web，也稱 Invisible Web Pages 或 Hidden Web)。 表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。例如那些用戶注冊后內容才可見的網頁就屬于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可訪問信息容量是 Surface Web 的幾百倍，是互聯網上最大、發展最快的新型信息資源。

什么是網絡爬蟲?網頁的抓取策略可以分為深度優先、廣度優先和最佳優先三種。深度優先在很多情況下會導致爬蟲的陷入(trapped)問題，目前常見的是廣度優先和最佳優先方法。

1、廣度優先搜索

廣度優先搜索策略是指在抓取過程中，在完成當前層次的搜索后，才進行下一層次的搜索。該算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁，一般使用廣度優先搜索方法。也有很多研究將廣度優先搜索策略應用于聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優先搜索與網頁過濾技術結合使用，先用廣度優先策略抓取網頁，再將其中無關的網頁過濾掉。這些方法的缺點在于，隨著抓取網頁的增多，大量的無關網頁將被下載并過濾，算法的效率將變低。

2、最佳優先搜索

最佳優先搜索策略按照一定的網頁分析算法，預測候選URL與目標網頁的相似度，或與主題的相關性，并選取評價最好的一個或幾個URL進行抓取。它只訪問經過網頁分析算法預測為“有用”的網頁。存在的一個問題是，在爬蟲抓取路徑上的很多相關網頁可能被忽略，因為最佳優先策略是一種局部最優搜索算法。因此需要將最佳優先結合具體的應用進行改進，以跳出局部最優點。將在第4節中結合網頁分析算法作具體的討論。研究表明，這樣的閉環調整可以將無關網頁數量降低30%~90%。

3、深度優先搜索

深度優先搜索策略從起始網頁開始，選擇一個URL進入，分析這個網頁中的URL，選擇一個再進入。如此一個鏈接一個鏈接地抓取下去，直到處理完一條路線之后再處理下一條路線。深度優先策略設計較為簡單。然而門戶網站提供的鏈接往往最具價值，PageRank也很高，但每深入一層，網頁價值和PageRank都會相應地有所下降。這暗示了重要網頁通常距離種子較近，而過度深入抓取到的網頁卻價值很低。同時，這種策略抓取深度直接影響著抓取命中率以及抓取效率，對抓取深度是該種策略的關鍵。相對于其他兩種策略而言。此種策略很少被使用。

以上就是關于什么是網絡爬蟲的相關知識點介紹，希望能幫助到大家，另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索。對于“聚焦網絡爬蟲”來說，這一過程所得到的分析結果，還可能對以后的抓取過程給出反饋和指導。