複製鏈接
請複製以下鏈接發送給好友

HillTop

鎖定
HillTop ,是一項搜索引擎結果排序的專利,是Google的一個工程師Bharat在2001年獲得的專利。Google的排序規則經常在變化,但變化最大的一次也就是基於HillTop算法進行了優化。
外文名
HillTop
類    別
搜索引擎結果排序的專利
獲得專利者
Bharat
獲得專利時間
2001年

HillTop算法

HillTop HillTop
其實HillTop算法的指導思想和PageRank的是一致的,都是通過網頁被鏈接的數量和質量來確定搜索結果的排序權重。但HillTop認為只計算來自具有相同主題的相關文檔鏈接對於搜索者的價值會更大:即主題相關網頁之間的鏈接對於權重計算的貢獻比主題不相關的鏈接價值要更高。如果網站是介紹“服裝”的,有10個鏈接都是從“服裝”相關的網站鏈接過來,那這10個鏈接比另外10個從“電器”相關網站鏈接過來的貢獻要大。。在1999與2000年,當這個算法被Bharat與其他Google開發人員開發出來的時候,Bharat稱這種對主題有影響的文檔為“專家”文檔,從這些專家文檔頁面到目標文檔的鏈接決定了被鏈接網頁“權重得分”的主要部分。
與PageRank結合HillTop算法確定網頁與搜索關鍵詞的匹配程度的基本排序過程取代了過分依靠PageRank的值去尋找那些權威頁面的方法。這對於兩個具有同樣主題而且PR相近的網頁排序過程中, HillTop算法就顯得非常的重要了。HillTop同時也避免了許多想通過增加許多無效鏈接來提高網頁PageRank值的作弊方法。
定義相關網站
Google最早利用HillTop算法去定義相關網站:一個網站與另一個網站的相關性,實際上,HillTop算法在Google中也作為一個識別跨站點的鏈接交換干擾(spam)與識別相似鏈接的技術。HillTop算法要求:如果有兩個以上相關主題的網站鏈接到你的網站,那麼你的網站在搜索結果中出現的機會會更大,如果HillTop算法不查找到最少兩個相關性的網站,那麼搜索返回的結果的機會絕對是0。
HillTop算法實際上是拒絕了部分通過隨意交換鏈接的方法來擾亂Google的排名規則而得到較好排名的做法,而在HillTop的論文中也提到很多關於識別“網站鏈接交換聯盟”的設計:如根據IPv4地址的頭3段,根據域名的別名推測:1
PR值對於搜索關鍵詞的匹配度作用不大:因為在很多包含相應關鍵詞的非相關主題的網站具有很高的PR值。這就是Google在HillTop算法中儘量避免的東西:應該盡其所能去列出與搜索關鍵詞相關的結果。
總得看來,從過去到今天,很多搜索引擎停止了那種只使用一種有價值的算法去決定排名的做法。如:meta keyword標籤等。這只是一個開始,Google在第一步已經完全忽略html header中的meta標籤了。與不可見的meta標籤相比,一個網站的可視部分使用干擾技術較在meta使用的要少,因為可視部分畢竟還要面對大部分的實際的訪問者。

HillTop算法難點

基於“專家”文檔的HillTop算法最大的難點是第一次“專家文檔”的篩選,從觀察來看:Google顯然首先給了教育(.edu),政府(.gov)和非盈利組織(.org)站點很高的優先級。在運行時:Google會在龐大的內存裏儲存搜索頻率比較高的關鍵詞的索引,以備搜索者在短期內繼續用同樣的關鍵字短語等進行搜索。這些高頻關鍵詞還有另外一種作用,在“佛羅里達”更新之前很多人已經注意到的了:含有那些突增的搜索關鍵字的網站會得到較快的更新頻率。如關於:\"SARS",每天的搜索次數數以百萬計:Google就會優先對與這個主題有關的網站進行更新。
回頭看一下以前每個月的“Google Dance”,也能得出以下的結論:Google也明顯地為一個關鍵詞給予一個隨機的“權重”,動態的根據關鍵詞查詢統計發現這些熱門關鍵詞,然後基於HillTop算法面向主題地找到這些含有熱門關鍵詞的網頁,讓這些網頁作為相應關鍵詞的“專家”文檔,針對這些索引入口保持比較高的更新頻率:這點顯然對於應對突發事件非常有效。而那些含有查詢頻率比較低的關鍵詞所對應的網頁可能要1月才更新一次。簡單的説就是:Google會根據主題的熱門程度動態調整相應網站的索引的強度。而Google中文用户在總體用户中的比例與Google索引的中文網頁在索引的總體網頁中的比例,從某種程度上説,也是有一定關係的。

HillTop運行方式

Google所擁有的服務器體系架構就是網絡上分佈的一萬台奔騰級服務器。而一旦瞭解了Hilltop算法後,我們很難相信這樣的奔騰服務器能夠具備如此的處理能力:試想一下,首先要從成千上萬的主題性文件中找到“專家文件”,然後計算目標網頁自這些專家文件的鏈接的得分,然後再將數值返回 Google算法的其它排名系統,並做進一步處理—而所有這些要在大約0.07秒內--這個讓Google舉世聞名的搜索速度內完成。確實使人難以置信。

HillTop運行頻率

我們認為,要保證Google一貫的“閃電般”搜索速度,Google會對搜索頻率較高(熱門)的查詢詞(即所謂的“商業詞”黑名單)定期運行批處理,並將結果存儲起來供日後使用。Google的數據庫擁有數目龐大的高查詢頻率的查詢詞,收集自實地搜索和其AdWords自助廣告系統中所使用的關鍵詞。Google很可能對關鍵詞搜索次數設置了上限值,凡搜索頻率高於此閾值的查詢詞都將被納入Hilltop系統,然後Hilltop系統再對收集的所有高查詢頻率關鍵詞定期運行批處理,可能一個月一次。增量級的稍小規模的批處理可能會頻繁一些。同時,每個月將對Hilltop系統運行批處理後的結果對Google的萬台服務器的數據庫進行同步更新,但稍小規模的批處理的數據庫更新會更加頻繁一些。
對於那些用户查詢頻率不算高,因而無此“榮幸”被納入Hilltop算法的查詢詞語,Google仍將使用原來的算法並顯示原來的排名結果。因而對於那些高度明確或專業化的關鍵詞,由於它們被排除在新算法的範圍之內,因而有望保持原來的排名。

HillTop投入使用

Google早在2003年2月就獲得了該專利,但在實際投入使用前,需要首先保證新算法和Google當時所使用的頁面等級和頁面相關性系統的完全兼容性,所以需要對其兼容性做大量測試,然後再評估算法整合後所提供的結果,再做精工調整,然後是進一步的繁複測試…我想所有這些都需要大量時間。

HillTop在應用中不足

專家頁面的搜索和確定對算法起關鍵作用,專家頁面的質量決定了算法的準確性;而專家頁面的質量和公平性在一定程度上難以保證。 Hiltop忽略了大多數非專家頁面的影響。
在Hilltop的原型系統中,專家頁面只佔到整個頁面的1.79%,不能全面反映民意。
Hilltop算法在無法得到足夠的專家頁面子集時(少於兩個專家頁面),返回為空,即Hilltop適合於對查詢排序進行求精,而不能覆蓋。這意味着Hilltop可以與某個頁面排序算法結合,提高精度,而不適合作為一個獨立的頁面排序算法。
Hilltop中根據查詢主題從專家頁面集合中選取與主題相關的子集也是在線運行的,這與前面提到的HITS算法一樣會影響查詢響應時間。隨着專家頁面集合的增大,算法的可伸縮性存在不足之處。