robots.txt是一個純文本文件，是搜索引擎訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。每個站點最好建立一個robots.txt文件，對網站SEO優化有很很好的作用。

　　每當搜索蜘蛛來尋找并不存在的robots.txt文件時，服務器將在日志中記錄一條404錯誤，所以你應該在網站中添加一個robots.txt(即使這個robots.txt文件只是一個空文件)。

　　robots.txt的寫法(語法)

　　1)User-agent: 該項的值用于描述搜索引擎蜘蛛的名字。如果該項的值設為*，則該協議對任何機器人均有效。

　　2)Disallow: 該項的值用于描述不希望被訪問到的一個URL，一個目錄或者整個網站。以Disallow開頭的URL 均不會被搜索引擎蜘蛛訪問到。任何一條Disallow記錄為空，說明該網站的所有部分都允許被訪問。

　　3)用法舉例：

　　網站目錄下所有文件均能被所有搜索引擎蜘蛛訪問

　　User-agent: *

　　Disallow:

　　禁止所有搜索引擎蜘蛛訪問網站的任何部分

　　User-agent: *

　　Disallow: /

　　禁止所有的搜索引擎蜘蛛訪問網站的幾個目錄

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　禁止搜索引擎蜘蛛訪問目錄a和目錄b

　　User-agent: Googlebot

　　Disallow:

　　只允許某個搜索引擎蜘蛛訪問

　　您應該限制網站某些文件不被蜘蛛抓取。

　　一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。