推薦引擎

推薦引擎 ^[1]  ，是主動發現用户當前或潛在需求，並主動推送信息給用户的信息網絡。

具體來説，推薦引擎綜合利用用户的行為、屬性，對象的屬性、內容、分類，以及用户之間的社交關係等等，挖掘用户的喜好和需求，主動向用户推薦其感興趣或者需要的對象。

推薦引擎不是被動查找，而是主動推送；不是獨立媒體，而是媒體網絡；不是檢索機制，而是主動學習。

推薦引擎利用基於內容、基於用户行為、基於社交關係網絡等多種方法，為用户推薦其喜歡的商品或內容。

基於內容的推薦是分析用户正在瀏覽的內容的"基因"，選擇與當前內容有相似"基因"的對象推薦給用户。同時也分析用户過去瀏覽過的內容的"基因"，從而獲取其偏好，然後將與用户偏好的對象推薦給用户。例如，用户在瀏覽一款包的時候，為其推薦其他外形相似的包。

基於用户行為的推薦則是利用羣體智慧算法，分析用户的羣體行為，綜合分析用户與用户之間的相似度、用户對小眾商品的個性化需求，從而同時提高推薦的精準性、多樣性與新穎性。

基於社交關係網絡的推薦是通過分析用户所在的社交關係網絡，找到其最能夠影響到的用户，或者最能夠影響到該用户的用户，再綜合每位用户的個性化偏好進行推薦。

個性化推薦能夠幫助購物網站解決以下問題：（1）提高用户購物體驗，提高轉化率和增加用户黏度；（2）加速用户從瀏覽到購買的過程；（3）挖掘用户潛在需求，提高用户購買的品類數和多樣性。

推薦引擎廣告，是通過洞察用户消費意圖，匹配最優廣告，在大量媒體上實時呈現，來提高廣告效率的互聯網新技術。

1995年3月，卡耐基.梅隆大學的Robert Armstrong等人在美國人工智能協會上提出了個性化導航系統Web Watcher; 斯坦福大學的Marko Balabanovic等人在同一會議上推出了個性化推薦系統LIRA；

1995年8月，麻省理工學院的Henry Lieberman在國際人工智能聯合大會（IJCAI）上提出了個性化導航智能體Litizia；

1996年， Yahoo 推出了個性化入口My Yahoo；

1997年，AT&T實驗室提出了基於協同過濾的個性化推薦系統PHOAKS和Referral Web;

1999年，德國Dresden技術大學的Tanja Joerding實現了個性化電子商務原型系統TELLIM；

2000年，NEC研究院的Kurt等人為搜索引擎CiteSeer增加了個性化推薦功能；

2001年，紐約大學的Gediminas Adoavicius和Alexander Tuzhilin實現了個性化電子商務網站的用户建模系統1：1Pro；

2001年，IBM公司在其電子商務平台Websphere中增加了個性化功能，以便商家開發個性化電子商務網站；

2007年，Taboola在以色列成立，利用其專業推薦引擎服務於全球頂尖的內容商與出版商如《今日美國》、《赫芬頓郵報》、《時代》和《The Weather Channel》（天氣頻道）和Business Insider等網站。2015年獲得百度的數百萬美元的戰略投資 ^[2]  。

2009年，百分點科技推出專業推薦引擎技術平台，這是一家專業的推薦引擎技術與服務提供商。

2011年，浪淘金CEO周杰提出在全網使用“推薦引擎”技術。

先將推薦引擎看作黑盒，它接受的輸入是推薦的數據源，一般情況下，推薦引擎所需要的數據源包括：

要推薦物品或內容的元數據，例如關鍵字，基因描述等；

系統用户的基本信息，例如性別，年齡等；

用户對物品或者信息的偏好，根據應用本身的不同，可能包括用户對物品的評分，用户查看物品的記錄，用户的購買記錄等。其實這些用户的偏好信息可以分為兩類：

（1）顯式的用户反饋：這類是用户在網站上自然瀏覽或者使用網站以外，顯式的提供反饋信息，例如用户對物品的評分，或者對物品的評論。

（2）隱式的用户反饋：這類是用户在使用網站時產生的數據，隱式的反應了用户對物品的喜好，例如用户購買了某物品，用户查看了某物品的信息等等。

顯式的用户反饋能準確的反應用户對物品的真實喜好，但需要用户付出額外的代價，而隱式的用户行為，通過一些分析和處理，也能反映用户的喜好，只是數據不是很精確，有些行為的分析存在較大的噪音。但只要選擇正確的行為特徵，隱式的用户反饋也能得到很好的效果，只是行為特徵的選擇可能在不同的應用中有很大的不同，例如在電子商務的網站上，購買行為其實就是一個能很好表現用户喜好的隱式反饋。

推薦引擎根據不同的推薦機制可能用到數據源中的一部分，然後根據這些數據，分析出一定的規則或者直接對用户對其他物品的喜好進行預測計算。這樣推薦引擎可以在用户進入的時候給他推薦他可能感興趣的物品 ^[3]  。

1、推薦引擎是不是為不同的用户推薦不同的數據，根據這個指標，推薦引擎可以分為基於大眾行為的推薦引擎和個性化推薦引擎。

（1）根據大眾行為的推薦引擎，對每個用户都給出同樣的推薦，這些推薦可以是靜態的由系統管理員人工設定的，或者基於系統所有用户的反饋統計計算出的當下比較流行的物品。

（2）個性化推薦引擎，對不同的用户，根據他們的口味和喜好給出更加精確的推薦，這時，系統需要了解需推薦內容和用户的特質，或者基於社會化網絡，通過找到與當前用户相同喜好的用户，實現推薦。

這是一個最基本的推薦引擎分類，其實大部分人們討論的推薦引擎都是將個性化的推薦引擎，因為從根本上説，只有個性化的推薦引擎才是更加智能的信息發現過程。

2、根據推薦引擎的數據源

其實這裏講的是如何發現數據的相關性，因為大部分推薦引擎的工作原理還是基於物品或者用户的相似集進行推薦。那麼參考給出的推薦系統原理圖，根據不同的數據源發現數據相關性的方法可以分為以下幾種：

（1）根據系統用户的基本信息發現用户的相關程度，這種被稱為基於人口統計學的推薦（Demographic-based Recommendation）

（2）根據推薦物品或內容的元數據，發現物品或者內容的相關性，這種被稱為基於內容的推薦（Content-based Recommendation）

（3）根據用户對物品或者信息的偏好，發現物品或者內容本身的相關性，或者是發現用户的相關性，這種被稱為基於協同過濾的推薦（Collaborative Filtering-based Recommendation）。

3、根據推薦模型的建立方式

可以想象在海量物品和用户的系統中，推薦引擎的計算量是相當大的，要實現實時的推薦務必需要建立一個推薦模型，關於推薦模型的建立方式可以分為以下幾種：

（1）基於物品和用户本身的，這種推薦引擎將每個用户和每個物品都當作獨立的實體，預測每個用户對於每個物品的喜好程度，這些信息往往是用一個二維矩陣描述的。由於用户感興趣的物品遠遠小於總物品的數目，這樣的模型導致大量的數據空置，即我們得到的二維矩陣往往是一個很大的稀疏矩陣。同時為了減小計算量，我們可以對物品和用户進行聚類， 然後記錄和計算一類用户對一類物品的喜好程度，但這樣的模型又會在推薦的準確性上有損失。

（2）基於關聯規則的推薦（Rule-based Recommendation）：關聯規則的挖掘已經是數據挖掘中的一個經典的問題，主要是挖掘一些數據的依賴關係，典型的場景就是“購物籃問題”，通過關聯規則的挖掘，我們可以找到哪些物品經常被同時購買，或者用户購買了一些物品後通常會購買哪些其他的物品，當我們挖掘出這些關聯規則之後，我們可以基於這些規則給用户進行推薦。

（3）基於模型的推薦（Model-based Recommendation）：這是一個典型的機器學習的問題，可以將已有的用户喜好信息作為訓練樣本，訓練出一個預測用户喜好的模型，這樣以後用户在進入系統，可以基於此模型計算推薦。這種方法的問題在於如何將用户實時或者近期的喜好信息反饋給訓練好的模型，從而提高推薦的準確度。

其實在推薦系統中，很少有隻使用了一個推薦策略的推薦引擎，一般都是在不同的場景下使用不同的推薦策略從而達到最好的推薦效果，例如 Amazon 的推薦，它將基於用户本身歷史購買數據的推薦，和基於用户當前瀏覽的物品的推薦，以及基於大眾喜好的當下比較流行的物品都在不同的區域推薦給用户，讓用户可以從全方位的推薦中找到自己真正感興趣的物品。

基於人口統計學的推薦

基於人口統計學的推薦機制（Demographic-based Recommendation）是一種最易於實現的推薦方法，它只是簡單的根據系統用户的基本信息發現用户的相關程度，然後將相似用户喜愛的其他物品推薦給當前用户。

從圖中可以很清楚的看到，首先，系統對每個用户都有一個用户 Profile 的建模，其中包括用户的基本信息，例如用户的年齡，性別等等；然後，系統會根據用户的 Profile 計算用户的相似度，可以看到用户 A 的 Profile 和用户 C 一樣，那麼系統會認為用户 A 和 C 是相似用户，在推薦引擎中，可以稱他們是“鄰居”；最後，基於“鄰居”用户羣的喜好推薦給當前用户一些物品，圖中將用户 A 喜歡的物品 A 推薦給用户 C。

這種基於人口統計學的推薦機制的好處在於：

（1）因為不使用當前用户對物品的喜好歷史數據，所以對於新用户來講沒有“冷啓動（Cold Start）”的問題。

（2）這個方法不依賴於物品本身的數據，所以這個方法在不同物品的領域都可以使用，它是領域獨立的（domain-independent）。

那麼這個方法的缺點和問題是什麼呢？這種基於用户的基本信息對用户進行分類的方法過於粗糙，尤其是對品味要求較高的領域，比如圖書，電影和音樂等領域，無法得到很好的推薦效果。可能在一些電子商務的網站中，這個方法可以給出一些簡單的推薦。另外一個侷限是，這個方法可能涉及到一些與信息發現問題本身無關卻比較敏感的信息，比如用户的年齡等，這些用户信息不是很好獲取。

基於內容的推薦

基於內容的推薦是在推薦引擎出現之初應用最為廣泛的推薦機制，它的核心思想是根據推薦物品或內容的元數據，發現物品或者內容的相關性，然後基於用户以往的喜好記錄，推薦給用户相似的物品。

圖中給出了基於內容推薦的一個典型的例子，電影推薦系統，首先我們需要對電影的元數據有一個建模，這裏只簡單的描述了一下電影的類型；然後通過電影的元數據發現電影間的相似度，因為類型都是“愛情，浪漫”電影 A 和 C 被認為是相似的電影（當然，只根據類型是不夠的，要得到更好的推薦，我們還可以考慮電影的導演，演員等等）；最後實現推薦，對於用户 A，他喜歡看電影 A，那麼系統就可以給他推薦類似的電影 C。

這種基於內容的推薦機制的好處在於它能很好的建模用户的口味，能提供更加精確的推薦。但它也存在以下幾個問題：

（1）需要對物品進行分析和建模，推薦的質量依賴於對物品模型的完整和全面程度。在應用中我們可以觀察到關鍵詞和標籤（Tag）被認為是描述物品元數據的一種簡單有效的方法。

（2）物品相似度的分析僅僅依賴於物品本身的特徵，這裏沒有考慮人對物品的態度。

（3）因為需要基於用户以往的喜好歷史做出推薦，所以對於新用户有“冷啓動”的問題。

雖然這個方法有很多不足和問題，但他還是成功的應用在一些電影，音樂，圖書的社交站點，有些站點還請專業的人員對物品進行基因編碼，比如潘多拉，在一份報告中説道，在潘多拉的推薦引擎中，每首歌有超過 100 個元數據特徵，包括歌曲的風格，年份，演唱者等等。

基於協同過濾的推薦

隨着 Web2.0 的發展，Web 站點更加提倡用户參與和用户貢獻，因此基於協同過濾的推薦機制因運而生。它的原理很簡單，就是根據用户對物品或者信息的偏好，發現物品或者內容本身的相關性，或者是發現用户的相關性，然後再基於這些關聯性進行推薦。基於協同過濾的推薦可以分為三個子類：基於用户的推薦（User-based Recommendation），基於項目的推薦（Item-based Recommendation）和基於模型的推薦（Model-based Recommendation）。下面我們一個一個詳細的介紹着三種協同過濾的推薦機制。

混合的推薦機制

在現行的 Web 站點上的推薦往往都不是單純只採用了某一種推薦的機制和策略，他們往往是將多個方法混合在一起，從而達到更好的推薦效果。關於如何組合各個推薦機制，這裏講幾種比較流行的組合方法。

（1）加權的混合（Weighted Hybridization）: 用線性公式（linear formula）將幾種不同的推薦按照一定權重組合起來，具體權重的值需要在測試數據集上反覆實驗，從而達到最好的推薦效果。

（2）切換的混合（Switching Hybridization）：前面也講到，其實對於不同的情況（數據量，系統運行狀況，用户和物品的數目等），推薦策略可能有很大的不同，那麼切換的混合方式，就是允許在不同的情況下，選擇最為合適的推薦機制計算推薦。

（3）分區的混合（Mixed Hybridization）：採用多種推薦機制，並將不同的推薦結果分不同的區顯示給用户。其實，Amazon，噹噹網等很多電子商務網站都是採用這樣的方式，用户可以得到很全面的推薦，也更容易找到他們想要的東西。

（4）分層的混合（Meta-Level Hybridization）: 採用多種推薦機制，並將一個推薦機制的結果作為另一個的輸入，從而綜合各個推薦機制的優缺點，得到更加準確的推薦 ^[4]  。

2011年9月，浪淘金周杰正式提出“推薦引擎”和“推薦引擎廣告”的概念，並宣佈將在目前合作的媒體使用該技術，最大程度上提升廣告的效率。周杰預言，在推薦時代，無論用户在任何頁面，他所需要的信息就在他面前。

推薦引擎技術已經應用在生活的方方面面。

1. 電子商務平台的站內推薦

隨着電子商務規模的不斷擴大，商品個數和種類快速增長，顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的信息和產品過程無疑會使淹沒在信息過載問題中的消費者不斷流失。為了解決這些問題，個性化推薦引擎應運而生：為客户推薦商品，自動完成個性化選擇商品的過程，滿足客户的個性化需求，推薦基於：網站最熱賣商品、客户所處城市、客户過去的購買行為和購買記錄。

推薦引擎在網站是以站內推薦欄為最終體現形式，推薦欄展示的內容都是根據推薦引擎精準分析每個用户的興趣偏好而智能推薦的。不同用户、不同時間點，每位用户看到推薦欄內容都是不一樣的，都是最符合其當前興趣偏好和需求的。圖例如下方的圖，百分點推薦引擎在購物網站列表頁、商品詳情頁、購物車頁面構建智能商品推薦欄。

2. 搜索結果智能匹配

表現方式：”您是不是要找“等等。

3. 相關新聞鏈接

表現方式：相關新聞收集等。

4. 微博、社區、SNS等的站內推薦

表現方式：”您可能認識的“，”可能認識的人“，”他們也關注了“等等。

5. 輸入法

表現方式：簡寫聯想等。

6. 視頻/音樂

表現方式：”推薦視頻“，”你可能喜歡“等等。