-
Googlebot
鎖定
谷歌的網頁抓取機器人,類似於中國的Baiduspider(百度蜘蛛)
Googlebot 和Mediapartners-Google 是非常勤奮的機器人,如果他們影響到你服務器的承受力,你可以通過 robots.txt 文件加以制止。
- 中文名
- 谷歌機器人
- 外文名
- Googlebot
- 實 質
- Google的web 抓取漫遊器
- 意 義
- google的機器人
- 俗 稱
- google爬蟲。
簡介
Googlebot指的是Google的機器人,或蜘蛛。一般Google會讓不同的Googlebot來對你的網頁內容進行處理,其中包括:
1, 抓取文字內容,獲取內容來保存於Google網頁搜索和新聞搜索的數據庫。
2, Googlebot-mobile:它的功能是抓取網頁中的文字內容來讓手機用户搜索。
3, Googlebot-Image:抓取網頁內的圖片內容,保存入Google 圖片搜索數據庫。
4, Mediapartners-Google:抓取網頁中的文字內容,用於Google Adsense 分析關鍵詞。只有投放了Google Adsense 的網頁才會被 Mediapartners-Google 探測器爬取。
5, Adsbot-Google:抓取網頁中的文字內容,用於為Google AdWords 提供參考。只有Google AdWords 的目標網頁才會被 Adsbot-Google 探測器爬取。
[1]
- 參考資料
-
- 1. Googlebot .Googlebot.2010-10-10[引用日期2015-06-04]