人機交互技術

它與認知學、人機工程學、心理學等學科領域有密切的聯繫。也指通過電極將神經信號與電子信號互相聯繫，達到人腦與電腦互相溝通的技術，可以預見，電腦甚至可以在未來成為一種媒介，達到人腦與人腦意識之間的交流，即心靈感應。

市場需求是很大的，而供應方面卻略顯不足，尤其是擁有核心知識產權，技術過硬的企業並不多，行業整體缺乏品牌效應。

⒈WIMP界面的形成

Xerox Palo研究中心於70年代中後期研製出原型機Star，形成了以窗口（Windows）、菜單（Menu）、圖符（Icons）和指示裝置（Pointing Devices）為基礎的圖形用户界面，也稱WIMP界面。

Apple最先採用了這種圖形界面，斯坦福研究所60年代的發展計劃也對WIMP界面的發展產生了重要的影響。該計劃強調增強人的智能，把人而不是技術放在了人機交互的中心位置。該計劃的結果導致了許多硬件的發明，眾所周知的鼠標就是其中之一。

⒉WIMP界面面臨的問題和發展多媒體計算機和VR系統的出現，改變了人與計算機通信的方式和要求，使人機交互發生了很大的變化。在多媒體系統中繼續採用WIMP界面有其內在的缺陷：隨着多媒體軟硬件技術的發展，在人機交互界面中計算機可以使用多種媒體，而用户只能同時用一個交互通道進行交互因而從計算機到用户的通信帶寬要比從用户到計算機的大得多，這是一種不平衡的人-計算機交互。

虛擬現實技術除了要求有高度自然的三維人機交互技術外，由於受交互裝置和交互環境的影響，不可能也不必要對用户的輸入做精確的測量，而是一種非精確的人機交互。三維人機交互技術在科學計算可視化和三維CAD系統中佔有重要的地位。

基於WIMP技術的圖形用户界面，從本質上講，是一種二維交互技術，不具有三維直接操作的能力。要從根本上改變這種不平衡的通信，人機交互技術的發展必須適應從精確交互向非精確交互、從單通道交互向多通道交互以及從二維交互向三維交互的轉變，發展用户與計算機之間快速、低耗的多通道界面。從右上表可以看出在計算機系統不同的發展階段中，人機交互模型的發展過程。在傳統的人機系統中，人被認為是操作員，只是對機器進行操作，而無真正的交互活動。在計算機系統中人還是被稱為用户。只有在VR系統中的人才是主動的參與者。

人類生活中的事件都是多通道的，人-計算機多通道交互技術的發展雖然受到軟件和硬件的限制，但至少要滿足兩個條件：其一，多通道整合，不同通道的結合對用户的體驗是十分重要的；其二，在交互中容許用户產生含糊和不精確的輸入。

⒈非精確的交互

· 語音（Voice） 主要以語音識別為基礎，但不強調很高的識別率，而是藉助其它通道的約束進行交互。

姿勢（Gesture） 主要利用數據手套、數據服裝等裝置，對手和身體的運動進行跟蹤，完成自然的人機交互。

頭部跟蹤（HeadTracking）主要利用電磁、超聲波等方法，通過對頭部的運動進行定位交互。

視覺跟蹤（Eye-Tracking）對眼睛運動過程進行定位的交互方式。

⒉多通道交互的體系結構

多通道交互的體系結構首先要能保證對多種非精確的交互通道進行綜合，使多通道交互存在於一個統一的用户界面之中，同時，還要保證這種通道的綜合在交互過程中的任何時候都能進行。圖1和圖2表示了這兩種不同的體系結構。良好的體系結構應能保證多個通道的綜合不只是發生在應用程序這一級。

人機交互技術是用户界面研究中發展得最快的領域之一，對此，各國都十分重視。美國在國家關鍵技術中，將人機界面列為信息技術中與軟件和計算機並列的六項關鍵技術之一，並稱其為"對計算機工業有着突出的重要性，對其它工業也是很重要的"。在美國國防關鍵技術中,人機界面不僅是軟件技術中的重要內容之一，而且是與計算機和軟件技術並列的11項關鍵技術之一。歐共體的歐洲信息技術研究與發展戰略計劃（ESPRIT）還專門設立了用户界面技術項 目，其中包括多通道人機交互界面（MultiModal Interface for Man-MachineInterfa

ce）。保持在這一領域中的領先，對整個智能計算機系統是至關重要的。我們可以以發展新的人機界面交互技術為基礎，帶動和引導相關的軟硬件技術的發展，使更有效地使用計算機的計算處理能力成為可能。

已經取得了不少研究成果，不少產品已經問世。側重多媒體技術的有：觸摸式顯示屏實現的“桌面”計算機，能夠隨意摺疊的柔性顯示屏製造的電子書，從電影院搬進客廳指日可待的3D顯示器，使用紅綠藍光激光二極管的視網膜成像顯示器；側重多通道技術的有：“漢王筆”手寫漢字識別系統，結合在微軟的Tablet PC 操作系統中數字墨水技術，廣泛應用於Office/XP的中文版等辦公、應用軟件中的IBM/Via Voice連續中文語音識別系統，輸入設備為攝像機、圖像採集卡的手勢識別技術，以IPHONE手機為代表的可支持更復雜的姿勢識別的多觸點式觸摸屏技術，以及IPHONE中基於傳感器的捕捉用户意圖的隱式輸入技術。

人機交互技術領域熱點技術的應用潛力已經開始展現，比如智能手機配備的地理空間跟蹤技術，應用於可穿戴式計算機、隱身技術、浸入式遊戲等的動作識別技術，應用於虛擬現實、遙控機器人及遠程醫療等的觸覺交互技術，應用於呼叫路由、家庭自動化及語音撥號等場合的語音識別技術，對於有語言障礙的人士的無聲語音識別，應用於廣告、網站、產品目錄、雜誌效用測試的眼動跟蹤技術，針對有語言和行動障礙人開發的“意念輪椅”採用的基於腦電波的人機界面技術等。

熱點技術的應用開發是機遇也是挑戰，基於視覺的手勢識別率低，實時性差，需要研究各種算法來改善識別的精度和速度，眼睛虹膜、掌紋、筆跡、步態、語音、唇讀、人臉、DNA等人類特徵的研發應用也正受到關注， 多通道的整合也是人機交互的熱點，另外，與“無所不在的計算”、“雲計算”等相關技術的融合與促進也需要繼續探索。

多媒體系統的交互特點

與傳統用户界面相比，引入了視頻和音頻之後的多媒體用户界面，最重要的變化就是界面不再是一個靜態界面，而是一個與時間有關的時變媒體界面。

人類使用語言和其它時變媒體（如姿勢）的方式完全不同於其它媒體。從向用户呈現的信息來講，時變媒體主要是順序呈現的，而我們通常熟悉的視覺媒體（文本和圖形）通常是同時呈現的。在傳統的靜止界面中，用户或是從一系列選項中進行選擇（明確的界面通信成分），或是用可再認的方式進行交互（隱含的界面通信成分）。在時變媒體的用户界面中，所有選項和文件必須順序呈現。由於媒體帶寬和人的注意力的限制,在時變媒體中，用户不僅要控制呈現信息的內容，也必須控制何時呈現和如何呈現。

VR系統中人機交互的特點

人機交互可以説是VR系統的核心，因而，VR系統中人機交互的特點是所有軟硬件設計的基礎。其特點如下：

觀察點（Viewpoint） 是用户做觀察的起點。

導航（Navigation） 是指用户改變觀察點的能力。

操作（Manipulation）是指用户對其周圍對象起作用的能力。

臨境（Immersion） 是指用户身臨其境的感覺，這在VR系統中越來越重要。

VR系統中人機交互若要具備這些特點，就需要發展新的交互裝置，其中包括三維空間定位裝置、語言理解、視覺跟蹤、頭部跟蹤和姿勢識別等。

多媒體與VR系統的人機交互有着某些共同特點。首先，它們都是使用多個感覺通道，如視覺和聽覺；其次，它們都是時變媒體。