如何優化好辛辛苦苦建設好的網站？其實不難，摸清楚搜索引擎的規律，才能更加有效地優化網站。在我們看來，搜索引擎日復一日看似簡單的“抓取-入庫-查詢”的工作，其實各個環節暗含的算法是非常復雜的。搜索引擎抓取頁面工作靠蜘蛛完成，抓取動作很容易實現，但是抓取哪些頁面，優先抓取哪些頁面卻需要算法來決定，下面介紹幾個抓取算法： 
1、寬度優先抓取策略：
我們都知道，大部分網站都是按照樹狀圖來完成頁面分布的，那么在一個樹狀圖的鏈接結構中，哪些頁面會被優先抓取呢?為什么要優先抓取這些頁面呢?寬度優先抓取策略就是按照樹狀圖結構，優先抓取同級鏈接，待同級鏈接抓取完成后，再抓取下一級鏈接。
一般來說，鏈接結構可以由任何頁面的鏈接構成，并不一定是網站內部鏈接。這是一種理想化的寬度優先抓取策略，在實際的抓取過程中，不可能想這樣完全寬度優先，而是有限寬度優先，比如首頁鏈接，內頁鏈接，首頁內鏈接，內頁內的次級鏈接等等。
2、非完全遍歷鏈接權重計算：
每個搜索引擎都有一套頁面權重，非google 算方法，并且經常會更新。互聯網近乎無窮大，每天都會產生海量的新鏈接。搜索引擎對于鏈接權重的計算只能是非完全遍歷。為什么Google PR要三個月左右才更新一次?為什么百度大更新一個月1-2兩次?這就是因為搜索引擎采用了非完全遍歷鏈接權重算法來計算鏈接權重。其實按照目前的技術，實現更快頻率的權重更新并不難，計算速度以及存儲速度完全跟得上，但為什么不去做?因為沒那么必要，或者已經實現了，但不想公布出來。那，什么是非完全遍歷鏈接權重計算?
我們將K數量的鏈接形成一個集合，R代表鏈接所獲得的S代表鏈接所包含的鏈接數量，Q代表是否參與傳遞，β代表阻尼因數，那么鏈接所獲得的權重計算公式為：
從公式 里可以發現，決定鏈接權重的是Q，如果鏈接被發現作弊，或者搜索引擎人工清除，或者其他原因，Q被設為0，那么再多的外鏈都沒用。β是阻尼因數，主要作用是防止權重0的出現，導致鏈接無法參與權重傳遞，以及防止作弊的出現。阻尼因數β一般為0.85。為什么會在網站數量上乘以阻尼因數?因為一個頁面內并非所有的頁面都參與權重傳遞，搜索引擎會將已經過濾過的鏈接再度剔除15%。
但這種非完全遍歷權重計算需要積累到一定數量的鏈接后才能再次開始計算，所以一般更新周期比較慢，無法滿足用戶對即時信息的需求。所以在此基礎上，出現了實時權重分配抓取策略。即當蜘蛛完成抓取頁面并入口后，馬上進行權重分配，將權重重新分配待抓取鏈接庫，然后蜘蛛根據權重高低來進行抓取。
3、社會工程學抓取策略
社會工程學策略，就是在蜘蛛抓取的過程中，加入人工智能，或者通過人工智能培訓出來的機器智能，來確定抓取的優先度。目前我已知的抓取策略有：
a、熱點優先策略：對于爆發式的熱點關鍵詞進行優先抓取，而且不需要經過嚴格的去重和過濾，因為會有新的鏈接來覆蓋以及用戶的主動選擇。
b、權威優先策略：搜索引擎會給每個網站分配一個權威度，通過網站歷史、網站更新等來確定網站的權威度，優先抓取權威度高的網站鏈接。
c、用戶點擊策略：當大部分搜索一個行業詞庫內的關鍵詞時，頻繁的點擊同一個網站的搜索結果，那么搜索引擎會更頻繁的抓取這個網站。
d、歷史參考策略：對于保持頻繁更新的網站，搜索引擎會對網站建立更新歷史，根據更新歷史來預估未來的更新量以及確定抓取頻率。
對SEO工作的指導：
搜索引擎的抓取原理已經深入的講解了，那么現在要淺出這些原理對SEO工作的指導作用：
A、定時、定量的更新會讓蜘蛛準時爬行抓取網站頁面
B、公司運作網站比個人網站的權威度更高
C、建站時間長的網站更容易被抓取
D、頁面內應適當的分布鏈接，太多、太少都不好
E、受用戶歡迎的網站同樣受搜索引擎歡迎
F、重要頁面應該放置在更淺的網站結構中
G、網站內的行業權威信息會提高網站的權威度。
這次教程就到這里了，下次教程的主題是：頁面價值以及網站權重的計算。