拒絕蜘蛛協議

robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什麼文件是可以被查看的。

robots.txt必須放置在一 ^[1]  個站點的根目錄下，而且文件名必須全部小寫。

語法：最簡單的 robots.txt 文件使用兩條規則：

· User-Agent: 適用下列規則的漫遊器

· Disallow: 要攔截的網頁

使用事例：

User-agent: *

Disallow: /admin/ 後台管理文件

Disallow: /require/ 文件

Disallow: /attachment/ 附件

Disallow: /images/ 圖片

Disallow: /data/ 數據庫文件

Disallow: /template/ 模板文件

Disallow: /css/ 樣式表文件

Disallow: /lang/ 編碼文件

Disallow: /script/ 腳本文件