在電腦最開始出現的時候，鍵盤是它的輸入方式，然后鼠標隨后而來。接著，電腦進化為手機，我們從按鍵輸入到用手指直接觸碰屏幕進行操作，現在，觸屏操作已經可以區分手指的數量和按壓的輕重。

此外，語音，遙控器，隔空手勢等，更多的交互方式隨著技術發展不斷成熟，進入可實現的日常設計范圍。

更多XR干貨：

一、交互方式的適用原則

從電腦出現后短暫的發展歷史可以看出來，我們對智能設備的交互方式設計有兩個適用原則：

第一：根據硬件終端的形態和可支持技術。

不同的硬件，適合的交互方式肯定不同。

例如電腦界面上的輸入，使用實體鍵盤是常規操作，但手機上卻很少配同樣的交互方式。

或者，同樣是 AR/XR 眼鏡，在 A 上可以設計手勢交互的體驗，但在 B 上，由于沒有相關底層技術支持，就不能設計手勢交互。更近一步，即使兩款 AR/XR 眼鏡同樣支持手勢交互，也可能由于底層技術支持的力度，讓理論上更適用的交互方式，在這個硬件上，還不如另一種次選方案。

第二：在自然交互的發展脈絡上變化。

鍵盤配合輸入法的精進，讓最大的學習成本減輕到語言讀寫能力上；鼠標配合光標，再把讀寫里的“寫”成本淡化；而觸摸屏技術又是一次革新，滿足了人們直接用手把玩的天性……

拋開硬件和現有的技術支持，設計師們一直在追求更自然的交互方式，以達到更好的用戶體驗，XR 也不例外。

二、10 種常見的交互方式

站在現在這個時間點，介紹 10 種能夠在 XR 體驗設計中運用的交互方式。

1. 觸屏

在屏幕界面上，觸屏技術實現了看到即可操作的體驗，成為如今我們最熟悉的操作方式之一。

在智能手機、PAD、和一部分電腦上，都配備了這樣的技術，可以支持用戶通過手指的單擊、長按、拖曳等與屏幕上的虛擬內容直接進行交互。

結合壓力傳感器，屏幕可以區別不同的按壓力度，達到精細控制，雖然當前實際使用并不理想，但也證明了觸屏這項交互方式可發展的維度還可以擴大。

在未來很長一段時間，它應該都會占據人機交互方式的主流位置。

2. 按鍵

這里指硬按鍵。

在移動互聯網之前，按鍵還是人機交互中最主要的一種操作方式。即使是現在，使用按鍵進行操作的方式也很常見。鍵盤依然是電腦的標準配置，手機也依然保留開關機和音量調節鍵等。

XR 頭戴設備上也能看到常見的基礎功能鍵。比如開關機/息屏，音量上/下鍵等。按鍵所關聯的操作意義一般會在出廠之前設置好，如果有預留的接口，也可以在特定的應用上用同樣的按鈕定義不一樣的含義。

舉個例子，我們自研的 AR 眼鏡上帶了三個硬按鍵，在系統層級上，定義了單機響應確定、返回、息屏/亮屏的操作語義，但如果基于眼鏡去研發新的應用，又可以根據具體場景和需要，增加雙擊、長按等操作定義。

3. 鍵盤

相比起觸屏操作，針對大段內容的輸入，鍵盤依然有不可替代的作用。

它有點像是集中了許多按鍵的盤子，設定許多隱藏功能或快捷操作，在某些場景的體驗中，也可以提供獨一無二的操作手感。

4. 觸控板

觸控板和觸摸屏還是有區別的，它本身并不顯示任何內容。通過電容感應或壓力感應檢測手指的位置和動作，即可實現光標移動、點擊、拖動、旋轉等多種豐富又精細的交互操作，適合空間有限的設備配備。

現在的電腦就會搭載觸控板，通常位于鍵盤區域或設備前方，用戶無需抬起手臂或觸摸屏幕，使用起來更加舒適和便捷。

在 Google 最早的一代 AR 眼鏡上，也是通過觸控板來支持用戶進行輸入的，但因為眼鏡上的觸控板需要抬起手臂才能操作，比較容易感到疲憊，并不適合長期或頻繁的操作。

5. 鼠標

比鍵盤更簡單直接的輸入工具，與之配合的是界面上的光標，學習成本大大低于鍵盤，只要培養用戶在光標和鼠標之間建立連接，然后一切就會像現在我們感到的那樣變得自然而然。

簡單直接、多維度操作和反饋明確是鼠標這種交互方式的優勢。

1. 簡單直接：用戶只需要將手指放在鼠標上，通過移動鼠標來控制光標在屏幕上的位置進行點擊或拖動等操作。
2. 多維操作：鼠標通常帶有滾輪和多個按鍵，本身就可以實現更多維度和復雜度的操作定義，如果配合鍵盤，可以定義的交互方式就更多了。例如，在第一人稱視角游戲(FPS）或第三人稱視角游戲(TPS)中。玩家可以用鼠標左鍵來控制主角的移動方向，同時用鍵盤方向鍵來控制視角的轉動。
3. 反饋明確：鼠標操作因為常常伴隨屏幕界面中的一個指針，對當前指向會有明確的反饋。例如，當用戶將光標懸停在鏈接上時，鼠標光標通常會變成手指形狀，表示可以點擊鏈接。

6. 手勢

有一些智能手機上會添加隔空手勢，讓用戶即使不用觸屏到屏幕也能控制手機，比如說揮手亮屏，隔空滑動手勢等。

而在 AR/XR 眼鏡的形態下，這種交互方式得到了更多的推薦。

拿取東西、放置物品，我們人類天生習慣于用手和這個世界的內容做交互，這種直觀的方式，當然完全可以移植到對虛擬內容的交互體驗中。

不過，在 AR 眼鏡界面的設計中要使用手勢作為交互，首先得保證這臺 AR 眼鏡具有手勢識別的功能，其次，也要考慮識別的效度、精度和準度。

由于手勢交互的底層技術基于計算機視覺和機器學習技術，這種交互方式也可以進一步擴展到身體的任何姿態，作為 XR 體驗設計的一大助力。

7. 遙控器

遙控器作為外接設備，也是提供 AR 眼鏡界面可交互的一種方式。在現有的技術條件下，相比起其他方式來說，它是最不容易累的，因為手勢如果要被識別，需要抬高手臂讓你的手勢進入 AR 眼鏡能看得見的地方，而按鍵和觸屏，如果它是依附在 AR 眼鏡上，你也必須抬起手臂才能讓手指能夠得著它們。這樣的操作雖然可以給手臂做做運動，但總歸不是持久之計，使用遙控器就會舒適很多。

對于人們來說，遙控器也是一種非常熟悉的交互方式，比如游戲機遙控器，電視機遙控器，空調遙控器等等。當然，手機也是可以作為遙控器使用的。

8. 語音

語言是人類一個偉大的產物，語音操作也是現在比較熱門的一個交互方式，為此而發展出來的研究領域叫做 VUI，它可以看做是作為聽覺發展出來的自然交互方式，和 AUI 這種以視覺為主的方式是一種互利共生的關系。只要場景和條件適合，就可以作為 AUI 的一種操作方式。

不過，語音操作也有它的弊端，比如人多嘈雜的時候不方便使用語音，聽不見聽不清會讓人非常不爽。公共場所也不太方便使用語音，有安全隱患，也有可能影響他人。

9. 腦電波

這種交互方式雖然現在還沒有實驗室之外的產物，不過我依然把它列了出來。腦電波是是一種使用電生理指標記錄大腦活動的方法，電波依頻率可分為五大類：β波（顯意識14-30HZ）、α波（橋梁意識8-14HZ）、θ波（潛意識4-8Hz）及δ波（無意識4Hz以下）和γ波(專注于某件事30HZ以上)等，只要設備裝載能夠識別出電波頻率的設備，就能夠執行一些相應的操作控制。

如果和其他方式配合，可以大大降低對測量頻率的精確度要求。

如果腦電波技術可以用在未來的智能設備上，隨心而動，就不是一句虛言。

10. 頭動與眼動

視覺在人類的感知力占據了很大的一部分，我們在現實中如果需要與哪個物體有進一步交互或操作，都會自然而然的將視線集中在它的身上，耗費注意力去看它，那么，在交互設計上也可以基于用戶的凝視行為來判斷是否激活系統行為。

舉個例子，通過眼動技術對眼球運動的追蹤并計算出眼睛凝視的某個虛擬按鈕，并依據凝視時間來判斷是否觸發這個按鈕的操作。

早在 2019 年，微軟就在 Hololens2 的 AR 眼鏡設備上實現了名為眼動跟蹤（Eye-gaze）的界面交互。

當你開啟 Eye-gaze 交互后，通過眼睛凝視可交互對象，稍微幾秒后，Hololens2 便可激活對應的操作行為。為了更好的反饋當前系統計算的用戶凝視點，在 AR 眼鏡的界面里，Gaze 通常被具象化為一個 UI 的點，類似于 PC 上的光標符號。

除了通過眼動技術實現的眼動交互外，因為頭戴式設備是被用戶戴在頭上的，還可以根據設備本身的位置模擬眼動交互，將 Gaze 點位置設置為顯示屏幕 FOV 的中心點。

如圖，當這個點與設備實體的中心連線與可交互內容相交的時候，虛擬內容被激活。

這種交互方式稱之為頭動跟蹤（Head-gaze），它不需要配備專門的眼動模塊即可實現類似交互。

在基礎篇提到過的交互模式中，D 類虛擬無法使用頭部凝視進行界面交互，就是因為頭動跟蹤的 Gaze 點和 D 類的虛擬元素都基于同一個參照物（顯示屏幕）設定，相對位置固定不變，兩者無法相交。

觸屏、按鍵、鍵盤、觸控板、鼠標、遙控器、手勢、語音、腦電波、眼動頭動，這 10 種操作方式只是 XR 體驗設計中最常遇到的，但 XR 交互方式的現在和未來，不會止于這 10 種。

歡迎關注作者微信公眾號：「林間有影落」