“機器人”程序

在互聯網發展初期，網站相對較少，信息查找比較容易。然而伴隨互聯網爆炸性的發展，普通網絡用户想找到所需的資料簡直如同大海撈針，這時為滿足大眾信息檢索需求的專業搜索網站便應運而生了。

現代意義上的搜索引擎的祖先，是1990年由蒙特利爾大學學生Alan Emtage發明的Archie。雖然當時World Wide Web還未出現，但網絡中文件傳輸還是相當頻繁的，而且由於大量的文件散佈在各個分散的FTP主機中，查詢起來非常不便，因此Alan Emtage想到了開發一個可以以文件名查找文件的系統，於是便有了Archie。

Archie工作原理與現在的搜索引擎已經很接近，它依靠腳本程序自動搜索網上的文件，然後對有關信息進行索引，供使用者以一定的表達式查詢。由於Archie深受用户歡迎，受其啓發，美國內華達System Computing Services大學於1993年開發了另一個與之非常相似的搜索工具，不過此時的搜索工具除了索引文件外，已能檢索網頁。

當時，“機器人”一詞在編程者中十分流行。電腦“機器人”（Computer Robot）是指某個能以人類無法達到的速度不間斷地執行某項任務的軟件程序。由於專門用於檢索信息的“機器人”程序象蜘蛛一樣在網絡間爬來爬去，因此，搜索引擎的“機器人”程序就被稱為“蜘蛛”程序。