推薦系統實踐

隨着信息技術和互聯網的發展，人們逐漸從信息匱乏的時代走入了信息過載（information overload）的時代 。在這個時代，無論是信息消費者還是信息生產者都遇到了很大的挑戰：對於信息消費者，從大量信息中找到自己感興趣的信息是一件非常困難的事情；對於信息生產者，讓自己生產的信息脱穎而出，受到廣大用户的關注，也是一件非常困難的事情。推薦系統就是解決這一矛盾的重要工具。推薦系統的任務就是聯繫用户和信息，一方面幫助用户發現對自己有價值的信息，另一方面讓信息能夠展現在對它感興趣的用户面前，從而實現信息消費者和信息生產者的雙贏。

《推薦系統實踐》適合對推薦技術感興趣的讀者學習參考。 ^[1] 

項亮，畢業於中國科學技術大學和中國科學院自動化所，研究方向為機器學習和推薦系統，現任職於北京Hulu軟件技術開發有限公司，從事視頻推薦的研究和開發。2009年參加Netflix Prize推薦系統比賽獲得團體第二名，且於當年發起創建了Resys China推 薦系統社區。 ^[1] 

第1章　 好的推薦系統　 　 1

1.1　 什麼是推薦系統　 　 1

1.2　 個性化推薦系統的應用　 　 4

1.2.1　 電子商務　 　 4

1.2.2　 電影和視頻網站　 　 8

1.2.3　 個性化音樂網絡電台　 　 10

1.2.4　 社交網絡　 　 12

1.2.5　 個性化閲讀　 　 15

1.2.6　 基於位置的服務　 　 16

1.2.7　 個性化郵件　 　 17

1.2.8　 個性化廣告　 　 18

1.3　 推薦系統評測　 　 19

1.3.1　 推薦系統實驗方法　 　 20

1.3.2　 評測指標　 　 23

1.3.3　 評測維度　 　 34

第2章　 利用用户行為數據　 　 35

2.1　 用户行為數據簡介　 　 36

2.2　 用户行為分析　 　 39

2.2.1　 用户活躍度和物品流行度的分佈　 　 39

2.2.2　 用户活躍度和物品流行度的關係　 　 41

2.3　 實驗設計和算法評測　 　 41

2.3.1　 數據集　 　 42

2.3.2　 實驗設計　 　 42

2.3.3　 評測指標　 　 42

2.4　 基於鄰域的算法　 　 44

2.4.1　 基於用户的協同過濾算法　 　 44

2.4.2　 基於物品的協同過濾算法　 　 51

2.4.3　 UserCF和ItemCF的綜合比較　 　 59

2.5　 隱語義模型　 　 64

2.5.1　 基礎算法　 　 64

2.5.2　 基於LFM的實際系統的例子　 　 70

2.5.3　 LFM和基於鄰域的方法的比較　 　 72

2.6　 基於圖的模型　 　 73

2.6.1　 用户行為數據的二分圖表示　 　 73

2.6.2　 基於圖的推薦算法　 　 73

第3章　 推薦系統冷啓動問題　 　 78

3.1　 冷啓動問題簡介　 　 78

3.2　 利用用户註冊信息　 　 79

3.3　 選擇合適的物品啓動用户的興趣　 　 85

3.4　 利用物品的內容信息　 　 89

3.5　 發揮專家的作用　 　 94

第4章　 利用用户標籤數據　 　 96

4.1　 UGC標籤系統的代表應用　 　 97

4.1.1　 Delicious　 　 97

4.1.2　 CiteULike　 　 98

4.1.3　 Last，fm　 　 98

4.1.4　 豆瓣　 　 99

4.1.5　 Hulu　 　 99

4.2　 標籤系統中的推薦問題　 　 100

4.2.1　 用户為什麼進行標註　 　 100

4.2.2　 用户如何打標籤　 　 101

4.2.3　 用户打什麼樣的標籤　 　 102

4.3　 基於標籤的推薦系統　 　 103

4.3.1　 實驗設置　 　 104

4.3.2　 一個最簡單的算法　 　 105

4.3.3　 算法的改進　 　 107

4.3.4　 基於圖的推薦算法　 　 110

4.3.5　 基於標籤的推薦解釋　 　 112

4.4　 給用户推薦標籤　 　 115

4.4.1　 為什麼要給用户推薦標籤　 　 115

4.4.2　 如何給用户推薦標籤　 　 115

4.4.3　 實驗設置　 　 116

4.4.4　 基於圖的標籤推薦算法　 　 119

4.5　 擴展閲讀　 　 119

第5章　 利用上下文信息　 　 121

5.1　 時間上下文信息　 　 122

5.1.1　 時間效應簡介　 　 122

5.1.2　 時間效應舉例　 　 123

5.1.3　 系統時間特性的分析　 　 125

5.1.4　 推薦系統的實時性　 　 127

5.1.5　 推薦算法的時間多樣性　 　 128

5.1.6　 時間上下文推薦算法　 　 130

5.1.7　 時間段圖模型　 　 134

5.1.8　 離線實驗　 　 136

5.2　 地點上下文信息　 　 139

5.3　 擴展閲讀　 　 143

第6章　 利用社交網絡數據　 　 144

6.1　 獲取社交網絡數據的途徑　 　 144

6.1.1　 電子郵件　 　 145

6.1.2　 用户註冊信息　 　 146

6.1.3　 用户的位置數據　 　 146

6.1.4　 論壇和討論組　 　 146

6.1.5　 即時聊天工具　 　 147

6.1.6　 社交網站　 　 147

6.2　 社交網絡數據簡介　 　 148社交網絡數據中的長尾分佈　 　 149

6.3　 基於社交網絡的推薦　 　 150

6.3.1　 基於鄰域的社會化推薦算法　 　 151

6.3.2　 基於圖的社會化推薦算法　 　 152

6.3.3　 實際系統中的社會化推薦算法　 　 153

6.3.4　 社會化推薦系統和協同過濾推薦系統　 　 155

6.3.5　 信息流推薦　 　 156

6.4　 給用户推薦好友　 　 159

6.4.1　 基於內容的匹配　 　 161

6.4.2　 基於共同興趣的好友推薦　 　 161

6.4.3　 基於社交網絡圖的好友推薦　 　 161

6.4.4　 基於用户調查的好友推薦算法對比　 　 164

6.5　 擴展閲讀　 　 165

第7章　 推薦系統實例　 　 166

7.1　 外圍架構　 　 166

7.2　 推薦系統架構　 　 167

7.3　 推薦引擎的架構　 　 171

7.3.1　 生成用户特徵向量　 　 172

7.3.2　 特徵?物品相關推薦　 　 173

7.3.3　 過濾模塊　 　 174

7.3.4　 排名模塊　 　 174

7.4　 擴展閲讀　 　 178

第8章　 評分預測問題　 　 179

8.1　 離線實驗方法　 　 180

8.2　 評分預測算法　 　 180

8.2.1　 平均值　 　 180

8.2.2　 基於鄰域的方法　 　 184

8.2.3　 隱語義模型與矩陣分解模型　 　 186

8.2.4　 加入時間信息　 　 192

8.2.5　 模型融合　 　 193

8.2.6　 Netflix Prize的相關實驗結果　 　 195

後記　 　 196 ^[1]