複製鏈接
請複製以下鏈接發送給好友
https://baike.baidu.hk/item/Crawl-delay/3726267
複製
複製成功

Crawl-delay

鎖定
Crawl-delay：雅虎YST一個特定的擴展名，可以通過它對我們的抓取程序設定一個較低的抓取請求頻率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序兩次進入站點時，以秒為單位的最低延時。
外文名
Crawl-delay
類    別
擴展名

目錄

  1. 1 指令語法
  2. 2 文件通知

Crawl-delay指令語法

如果搜索引擎對網頁抓取頻率太高的情況下，需要用Crawl-delay語句來控制搜索引擎的抓取頻率，時間以秒為單位。例如設定搜索引擎兩次抓取的時間間隔為15秒。則在robots協議中的指令如下：
User-agent: *　Crawl-delay: 15

Crawl-delay文件通知

百度於2012年9月20在百度站長平台發出通知。該通知表明：百度對網站訪問頻率不再參考該設置，即不支持Crawl-delay配置，如果您希望配置網站針對百度spider的訪問頻率，建議您使用百度站長平台的抓取壓力反饋工具，先查詢網站在百度近一個月的天級抓取量趨勢圖，可調節百度spider每天訪問您網站的抓取壓力上限，供百度參考，避免百度spider對站點抓取壓力過大，造成網站服務器負載及抓取異常。 [1] 
參考資料