增強現實

隨着真是世界中計算機生成的信息越來越多，增強現實可以更加方便、高效地增強人類的感知能力。這個快速發展的領域要求學習者掌握多學科知識，包括計算機視覺、計算機圖形學、人機交互等。本書將這些知識有機融合，形成了一套適合初學者掌握的知識體系，從技術、方法、應用的角度全面瞭解增強現實這一激動人心的領域。

出版者的話

前言

致謝

第1章　增強現實介紹 1

1.1　定義和範圍 1

1.2　增強現實簡史 2

1.3　示例 8

1.3.1　工業和建築業 8

1.3.2　維修和培訓 10

1.3.3　醫療 11

1.3.4　個人信息顯示 12

1.3.5　導航 13

1.3.6　電視 14

1.3.7　廣告和商務 15

1.3.8　遊戲 17

1.4　相關領域 17

1.4.1　混合現實連續體 18

1.4.2　虛擬現實 18

1.4.3　普適計算 18

1.5　小結 20

第2章　顯示 21

2.1　多模態呈現 21

2.1.1　聽覺呈現 21

2.1.2　觸力覺呈現 22

2.1.3　嗅覺和味覺呈現 23

2.2　視覺感知 24

2.3　需求與特點 25

2.3.1　增強方法 25

2.3.2　單視和體視 27

2.3.3　調焦 28

2.3.4　遮擋 30

2.3.5　分辨率和刷新率 31

2.3.6　視場 32

2.3.7　視點偏移 33

2.3.8　亮度和對比度 35

2.3.9　扭曲和畸變 36

2.3.10　延遲 36

2.3.11　人因工程學 36

2.3.12　社會接受度 36

2.4　空間顯示模型 37

2.5　視覺顯示 38

2.5.1　近眼顯示器 39

2.5.2　手持式顯示器 46

2.5.3　固定式顯示器 47

2.5.4　投影式顯示器 52

2.6　小結 56

第3章　跟蹤 57

3.1　跟蹤、標定和註冊 57

3.2　座標系 58

3.2.1　模型變換 59

3.2.2　視圖變換 59

3.2.3　投影變換 59

3.2.4　參考幀 59

3.3　跟蹤技術的特點 60

3.3.1　物理現象 60

3.3.2　測量原理 60

3.3.3　測量的幾何屬性 61

3.3.4　傳感器佈置 61

3.3.5　信號源 61

3.3.6　自由度 62

3.3.7　測量座標 62

3.3.8　空間傳感器佈置 62

3.3.9　工作區範圍 63

3.3.10　測量誤差 63

3.3.11　時間特性 64

3.4　固定跟蹤系統 64

3.4.1　機械跟蹤 64

3.4.2　電磁跟蹤 65

3.4.3　超聲波跟蹤 66

3.5　移動傳感器 66

3.5.1　全球定位系統 67

3.5.2　無線網絡 68

3.5.3　磁力儀 68

3.5.4　陀螺儀 69

3.5.5　線性加速度計 69

3.5.6　里程錶 70

3.6　光學跟蹤 70

3.6.1　基於模型跟蹤與無模型跟蹤 71

3.6.2　照明 71

3.6.3　標誌點與自然特徵 73

3.6.4　目標識別 77

3.7　傳感器融合 79

3.7.1　互補傳感器融合 79

3.7.2　競爭傳感器融合 79

3.7.3　協作傳感器融合 80

3.8　小結 81

第4章　增強現實中的計算機視覺 82

4.1　標誌點跟蹤 83

4.1.1　攝像機表示 84

4.1.2　標誌點檢測 85

4.1.3　單應位姿估計 87

4.1.4　位姿優化 90

4.2　多攝像機紅外跟蹤 90

4.2.1　斑塊檢測 91

4.2.2　建立點對應關係 91

4.2.3　雙攝像機的三角測量 92

4.2.4　兩台以上攝像機的三角測量 93

4.2.5　包含球體標誌物的目標匹配 93

4.2.6　朝向 94

4.3　自然特徵檢測跟蹤 94

4.3.1　興趣點檢測 95

4.3.2　創建描述符 98

4.3.3　匹配描述符 99

4.3.4　n點透視位姿 99

4.3.5　魯棒的位姿估計 100

4.4　增量跟蹤 101

4.4.1　主動搜索 102

4.4.2　Kanade-Lucas-Tomasi跟蹤 102

4.4.3　零歸一化交叉相關 103

4.4.4　分層搜索 104

4.4.5　聯合檢測與跟蹤 105

4.5　同時定位與地圖構建 106

4.5.1　本質矩陣的五點算法 107

4.5.2　集束調整 108

4.5.3　並行跟蹤與地圖構建 108

4.5.4　重定位與閉環 109

4.5.5　稠密地圖構建 110

4.6　户外跟蹤 112

4.6.1　可擴展的視覺匹配 113

4.6.2　傳感器先驗信息 114

4.6.3　幾何先驗信息 115

4.6.4　同時跟蹤、地圖構建及定位 116

4.7　小結 120

第5章　標定與註冊 121

5.1　攝像機標定 121

5.1.1　攝像機內參 121

5.1.2　校正鏡頭畸變 122

5.2　顯示器標定 123

5.2.1　單點主動對準法 125

5.2.2　使用指向裝置的頭戴式顯示器標定 126

5.2.3　手–眼標定 127

5.3　註冊 129

5.3.1　幾何測量失真 129

5.3.2　誤差傳播 129

5.3.3　延遲 130

5.3.4　濾波和預測 130

5.4　小結 131

第6章　視覺一致性 132

6.1　註冊 132

6.2　遮擋 134

6.2.1　遮擋細化 135

6.2.2　概率遮擋 136

6.2.3　無模型遮擋 136

6.3　光度註冊 138

6.3.1　基於圖像的光照 139

6.3.2　光探針 140

6.3.3　離線光照採集 142

6.3.4　基於靜止圖像的光度註冊 142

6.3.5　基於鏡面反射的光度註冊 142

6.3.6　基於漫反射的光度註冊 143

6.3.7　基於陰影的光度註冊 144

6.3.8　室外光度註冊 145

6.3.9　重建精確光源 145

6.4　通用光照 145

6.4.1　差分渲染 146

6.4.2　實時全局光照 147

6.4.3　陰影 148

6.4.4　漫射全局光照 150

6.4.5　鏡面全局光照 152

6.5　消隱現實 153

6.5.1　感興趣區域的確定 153

6.5.2　隱藏區域的觀察與建模 154

6.5.3　感興趣區域的移除 154

6.5.4　基於投影的消隱現實 155

6.6　攝像機仿真 155

6.6.1　鏡頭畸變 156

6.6.2　模糊 157

6.6.3　噪聲 157

6.6.4　漸暈 158

6.6.5　色差 158

6.6.6　拜耳模式偽影 158

6.6.7　色調映射偽影 158

6.7　風格化增強現實 159

6.8　小結 159

第7章　情境可視化 161

7.1　挑戰 162

7.1.1　數據過載 162

7.1.2　用户交互 163

7.1.3　註冊誤差 163

7.1.4　視覺干擾 163

7.1.5　時間一致性 164

7.2　可視化註冊 165

7.2.1　本地註冊情境可視化 165

7.2.2　全局註冊情境可視化 165

7.2.3　註冊不確定性 166

7.3　註釋和標記 166

7.3.1　標記基礎 166

7.3.2　優化技術 167

7.3.3　時間一致性 168

7.3.4　圖像導引放置 170

7.3.5　易讀性 170

7.4　X射線可視化 171

7.4.1　物體空間幻影 171

7.4.2　圖像空間幻影 172

7.4.3　G緩衝器實現 173

7.5　空間操作 174

7.5.1　爆炸圖 174

7.5.2　空間扭曲 176

7.6　信息過濾 177

7.6.1　基於知識的過濾 177

7.6.2　空間過濾 177

7.6.3　基於知識的過濾與空間過濾的結合 179

7.7　小結 180

第8章　交互 181

8.1　輸出模態 181

8.1.1　增強放置 181

8.1.2　靈巧顯示 182

8.1.3　魔鏡 184

8.2　輸入模態 186

8.2.1　剛體的跟蹤和操控 186

8.2.2　人體跟蹤 187

8.2.3　手勢 188

8.2.4　觸控 189

8.2.5　基於物理的界面 190

8.3　有形界面 191

8.3.1　有形表面 191

8.3.2　通用有形物體 191

8.3.3　特定有形物體 192

8.3.4　透明有形物體 194

8.4　真實表面上的虛擬用户界面 195

8.5　增強紙 196

8.6　多視界面 197

8.6.1　多顯示焦點 上下文 197

8.6.2　共享空間 197

8.6.3　多位置 198

8.6.4　跨視圖交互 200

8.7　觸力覺交互 201

8.8　多模態交互 202

8.9　會話代理 203

8.10　小結 205

第9章　建模與註釋 206

9.1　指定幾何 206

9.1.1　點 206

9.1.2　平面 208

9.1.3　體 208

9.2　指定外觀 209

9.3　半自動重建 210

9.4　自由曲面建模 213

9.5　註釋 214

9.6　小結 216

第10章　開發 217

10.1　增強現實開發的需求 218

10.1.1　真實世界界面 218

10.1.2　硬件抽象 218

10.1.3　開發流程 219

10.2　開發要素 219

10.2.1　角色 220

10.2.2　故事 220

10.2.3　舞台 220

10.2.4　交互 220

10.2.5　設置 220

10.3　獨立開發方法 221

10.3.1　桌面開發 221

10.3.2　表演開發 223

10.4　插件方法 223

10.5　網絡技術 224

10.6　小結 225

第11章　漫遊 227

11.1　人類漫遊基礎 227

11.2　探索與發現 228

11.3　路線可視化 228

11.4　視點導航 230

11.4.1　目標對象導引 230

11.4.2　目標視點導引 232

11.5　多視角 233

11.5.1　同步多視角 233

11.5.2　過渡接口 235

11.6　小結 236

第12章　協作 237

12.1　協作系統特性 237

12.2　同地協作 238

12.2.1　個人顯示器與視圖 240

12.2.2　目光感知 241

12.2.3　共享空間內的敏捷協作 242

12.3　遠程協作 243

12.3.1　視頻共享 244

12.3.2　包含虛擬物體的視頻共享 244

12.3.3　包含幾何重建的視頻共享 246

12.3.4　指向和手勢 247

12.3.5　包含敏捷用户的遠程協作 247

12.4　小結 248

第13章　軟件架構 250

13.1　增強現實應用程序的要求 250

13.1.1　環境控制和場景動態 250

13.1.2　顯示空間 251

13.1.3　虛實一致 251

13.1.4　語義知識 251

13.1.5　物理空間 251

13.2　軟件工程要求 252

13.2.1　平台抽象 252

13.2.2　用户界面抽象 252

13.2.3　重用性和擴展性 253

13.2.4　分佈式計算 253

13.2.5　解耦仿真 253

13.3　分佈式對象系統 253

13.3.1　對象管理 254

13.3.2　案例學習：“綿羊” 255

13.4　數據流 256

13.4.1　數據流圖 257

13.4.2　多模態交互 257

13.4.3　線程和調度 258

13.4.4　案例學習：可穿戴的增強現實裝置 259

13.5　場景圖 261

13.5.1　場景圖的基本原理 261

13.5.2　依賴圖 262

13.5.3　場景圖集成 262

13.5.4　分佈式共享場景圖 264

13.6　開發者支持 265

13.6.1　參數配置 265

13.6.2　腳本聲明 265

13.6.3　案例學習：增強現實導遊 267

13.6.4　程序腳本 267

13.6.5　混合語言編程 268

13.6.6　運行時重配置 268

13.6.7　選擇一種增強現實平台 269

13.7　小結 269

第14章　未來 271

14.1　商業案例驅動力 271

14.1.1　專業用户 271

14.1.2　普通消費者 272

14.2　增強現實開發者的願望清單 272

14.2.1　攝像機底層API 273

14.2.2　多攝像機 273

14.2.3　大視場攝像機 273

14.2.4　傳感器 273

14.2.5　統一內存 274

14.2.6　移動GPU上的並行編程 274

14.2.7　更好的顯示設備 274

14.3　户外增強現實 275

14.3.1　非合作用户 275

14.3.2　有限的設備能力 275

14.3.3　定位成功率 276

14.4　與智能對象交互 276

14.5　虛擬現實與增強現實的融合 277

14.6　增強人 277

14.7　作為戲劇媒介的增強現實 278

14.8　作為社交計算平台的增強現實 279

14.9　小結 280

參考文獻 281

迪特爾·施馬爾斯蒂格（Dieter Schmalstieg） 奧地利格拉茨理工大學教授，計算機圖形學和視覺中心主任。他是IEEE高級會員、奧地利科學院會員以及歐洲科學院會員，目前已發表論文300餘篇，並擔任《IEEE可視化和計算機圖形學會刊》等核心期刊或論文集的編輯。2002年獲得奧地利科學基金會START Career獎，2012年獲得IEEE虛擬現實技術成就獎。

托比亞斯·霍勒爾（Tobias Höllerer） 加州大學聖芭芭拉分校計算機科學系教授，Four Eyes實驗室主任。曾獲得美國NSF授予的CAREER獎，並於2013年獲得ACM傑出科學家稱號。他曾擔任IEEE VR 2015、ICAT 2013等重要國際會議的程序委員會主席，並多次榮獲最佳論文獎。