自然人機交互作為影響人類生活和推動經濟發展的顛覆性信息技術具有重要的研究和應用價值，據麥肯錫預測，到 2025 年它對全球經濟將產生13.3-28.2 萬億美元的影響。在云計算與大數據時代下，教育、辦公、醫療等國民經濟重要行業正處于轉型升級的關鍵時期。作為支撐上述行業變革的核心，延續了數十年甚至上百年工作方式的教室、會議室和診室等正逐步被智能交互環境所替代。然而，其中面臨著交互場景復雜性，交互通道多樣性，交互信息海量性等一些共性挑戰。如何在教育、辦公、醫療等大范圍、復雜場景中捕獲多樣化目標的自然行為和生理狀態？如何融合用戶的手勢、體態、觸控、語音、表情、眼動、生理等非精確交互信息并一致呈現？如何利用海量交互信息實現用戶意圖的準確理解？這些難題的破解都有賴于自然人機交互中共性關鍵技術的突破。 

　　針對上述挑戰，本項目整合國內在人機交互領域的優勢力量，依托計算機科學國家重點實驗室、計算機輔助設計與圖形學國家重點實驗室、模式識別國家重點實驗室、信息科學與技術國家實驗室等頂尖研究平臺，囊括全球最大的電子白板廠商(鴻合)、全球最大的個人電腦廠商(聯想)、以及協和醫院、第三軍醫大學、中興健康等在教育、辦公、醫療領域頂尖的應用示范單位，以自然人機交互中多源信息捕獲、感知、認知為主線，突破四項關鍵技術：1）穿戴式高精度、大范圍、多目標動作捕獲及識別；2）大幅面高分辨觸控設備及智能交互；3）非精確交互信息的融合感知計算和一致性呈現；4）云端融合下的海量交互信息理解；建立軟件工具和硬件研發平臺。項目執行期間將推出國際先進或領先水平樣機和技術，并實現部分量產。在教育、辦公、醫療領域形成規模化的應用示范，應用裝機達到100萬套，應用單位達到 1000家。推動我國在人機交互領域的研究和應用達到國際先進水平。