收錄原理

網頁在互聯網中是如何被搜索引擎蜘蛛爬取，然后又如何進入搜索引擎的索引庫并前端被用戶搜索到，按一定的規律進行結果排序的呢?其中，非常受SEO關注的是頁被收錄的整個過程。了解搜索引擎的收錄原理，對SEO人員更好地優化頁面是不可或的，充分地掌握收錄原理對實現網站頁面被收錄的比例提高大有裨益。

搜索引擎Spider的工作原理

收錄的第一個環節就是抓取，即搜索引擎的蜘蛛(Spider)到互聯網去抓取網頁的程。抓取網頁是收錄工作的上游，通過搜索引擎蜘蛛的抓取、保存和持續的更新，實現互聯網網頁的動態更新。每個互聯網公司都有自己的抓取蜘蛛，比如百度蜘蛛、谷歌蜘蛛搜狗蜘蛛等。對于百度來說，常見的蜘蛛。蜘蛛通過對頁面的抓取和更新，實現對互聯網所有頁面進行URL+頁面庫的維護。

Spider抓取系統包括鏈接存儲系統、鏈接選取系統、DNS解析服務系統、抓取調度系統、網頁分析系統、鏈接提取系統、鏈接分析系統、網頁存儲系統。BaiduSpider就是通過這種系統的通力合作完成對互聯網頁面的抓取工作。

百度蜘蛛的運行原理分為以下兩個部分。

（1)通過百度蜘蛛下載回來的網頁放到補充數據區，通過各種程序計算過后才放到檢索區，才會形成穩定的排名，所以說只要下載回來的東西都可以通過指令找到，補充數據是不穩定的，有可能在各種計算的過程中被刪除掉，檢索區的數據排名是相對比較穩定的，百度目前是緩存機制和補充數據相結合的，正在向補充數據轉變，這也是目前百度收錄困難的原因，也是很多站點今天被刪除了明天又放出來的原因。

（2）百度深度優先和權重優先，百度蜘蛛抓取頁面的時候從起始站點（種子站點指的是一些門戶站點)開始，廣度優先是為了抓取更多的網址，深度優先是為了抓取高質量的網頁，這個策略是由調度來計算和分配的，百度蜘蛛只負責抓取，權重優先是指反向連接較多的頁面的優先抓取，這也是調度的一種策略，一般情況下網頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當然抓取的越多越好。

在蜘蛛的實際抓取過程中，因為網頁內容的復雜性(文本、Flash、視頻等）和技術實現的多樣性（純靜態、動態加載等），為了更高效地利用Spider資源，搜索引擎公司會采用不同的抓取策略。作為SEO人員，可以參考搜素引擎公司抓取測略的描述，采用最大化的SEO優化方法。