在我看來robots協議就是站長行使網站支配權的執行文件，這是我們作為站長最基本的權利。它是搜索引擎蜘蛛爬取網站之前要面對的第一道關口，所以robots協議的重要性也是可想而知了。都說細節決定成敗，那么越重要的東西細節就 […]

在我看來robots協議就是站長行使網站支配權的執行文件，這是我們作為站長最基本的權利。它是搜索引擎蜘蛛爬取網站之前要面對的第一道關口，所以robots協議的重要性也是可想而知了。都說細節決定成敗，那么越重要的東西細節就顯得尤為重要，往往自己一不小心忽略的一個細節到最后就可能會成為你的致命一擊。本人之所以會這么說，是因為我差點就成了這個問題的反面教材了，還好發現的及時也算是亡羊補牢吧！之所以想立即分享給大家，就是希望大家以后自己做站的時候要避免犯類似的錯誤。

事情其實就發生在今天，經過是這樣的：因為小明SEO博客也剛做好不久，前幾天網站上線之后發現還有很多小問題需要處理，為了避免網站還在調整的過程中就被搜索引擎抓取到，所以我在robots協議里面寫了禁止所有搜索引擎爬取網站任何部分的指令，網站的調整一直持續了幾天（之所以會弄這么長時間是因為我是一個不能容忍瑕疵的人，不知道這算不算強迫癥的一種），直到昨天也就是2月3號才全面竣工，但是這期間我每天都在堅持添加原創文章。昨天網站檢查完畢，全部問題都解決好以后，我就把robots協議重新更換了過來，并且發了一篇帖子引了蜘蛛希望爬蟲能快點過來爬我的網站。就這樣，到了今天早上發現網站還是沒有被收錄，于是我就去百度站長工具平臺看一下我的網站到底是個什么情況，進去一看嚇我一跳，因為我看到了下面一則（如圖所示）信息：

我的網站竟然對百度進行了全面封禁，檢測時間是在今天（2月4號）早上凌晨5點整的時候，這讓我像丈二的和尚摸不著頭腦了，太不科學了，因為我在昨天2月3號上午已經把網站的robots協議更改過來了，真的是太奇怪了。就在我百思不得其解的時候總算是通過站長平臺工具的“robots檢測”找到了答案，看下圖：

原來百度蜘蛛早就在我網站蜘蛛上線后的第三天抓取了我網站的robots協議，所以當前生效的協議也就是當時它抓取到的我把蜘蛛全部屏蔽時的那個，而本站最新的robot協議還沒有生效。這下我總算是明白了過來了，既然弄清楚了原因那事情就好辦了。于是我立即把協議提交更新了一下，如下圖：

更新以后一分鐘內協議就更新過來了，如下圖：

可以看到，當前本站最新的robots已經開始生效了，就這樣到了下午，當我再次進入百度站長平臺就收到了新消息，如下圖所示：

至此網站已經解除了robots協議對百度的全面封禁，檢測時間顯示的是今天下午兩點整。到了晚上也差不多就是在三個多小時以前，當我再次檢查網站收錄情況的時候，網站首頁已經被收錄了。如下圖：

網站終于被收錄了，但讓我最開心的還是我通過自己的努力找到問題并解決了問題，這才是我今天最大的收獲。當然了如果這個問題我發現不了，可能網站再過十天半個月也會毫無起色，所以我要提醒大家的就是關于robots協議在封禁蜘蛛之后到后期在解封的時候一定要記得及時更新robots協議，這是一個不容被忽視的小細節。也許按照自己的一貫常識覺得只要通過輸入“http:\\域名\robots.txt看一下網站的協議改過來了沒有就可以了，但是通過實踐證明這種方式也不是完全可靠的，所以一定要記住我這次的經驗教訓，robots一旦進行調整就一定要記得及時提交更新，不然被蜘蛛抓取了不該抓的或者一直把蜘蛛拒之門外耽誤了自己的時間那就真的是后悔莫及了。