ACM CHI (ACM CHI Conference on Human Factors in Computing Systems)是人機交互領域頂級國際學術會議，也是中國計算機學會認定的A類會議。CHI 2019將于5月4號到9號在英國格拉斯哥舉行，大會共收到論文投稿2960篇，最終錄用率約為23.8%。 

　　在國家重點研發計劃“云端融合的自然交互設備與工具”項目支持下，中科院軟件所田豐研究員團隊在智能交互、輔助診斷、虛擬現實等方面與國內外合作者共同開展了一系列研究工作，其中4篇長文《What Can Gestures Tell? Detecting Motor Impairment in Early Parkinson’s from Common Touch Gestural Interactions》、《SmartEye: Assisting Instant Photo Taking via Integrating User Preference with Deep View Proposal Network》、《PinchList: Leveraging Pinch Gestures for Hierarchical List Navigation on Smartphones》、《Crossing-Based Selection with Virtual Reality Head-Mounted Displays》被CHI 2019接收，并將在大會上作口頭報告。 

　　1. What Can Gestures Tell? Detecting Motor Impairment in Early Parkinson’s from Common Touch Gestural Interactions 

　　帕金森病是常見的神經系統損傷疾病，在人類社會老齡化問題逐漸嚴重的今天，該疾病在全世界范圍發病率呈上升趨勢。運動功能是診斷帕金森病的重要臨床依據之一。目前臨床運動功能診斷通常依賴醫生的專業知識和主觀判斷，定量化水平較差，進而導致誤診案例所占比例居高不下。針對上述問題，項目組開展了一項基于日常觸屏交互行為分析的早期帕金森運動功能損傷檢測方法研究。通過分析日常常見的觸屏手勢（如快速滑屏，圖形解鎖，漢字手寫輸入，手指捏合操作等），在速度、軌跡、壓力、震顫等方面對帕金森疾病的病理特征進行了分析，提取了46維病理特征并建立識別模型。目前，該方法在由35位早期帕金森病人和67位年齡/性別相當的對照人群組成的數據集中，敏感性和特異性分別達到了0.89和0.88。該研究有望推進在日常生活中對帕金森疾病的早期預警和實時監控。 

　 該論文作者分別為：田豐（中科院軟件所），范向民（中科院軟件所），范俊君（中科院軟件所），朱以誠（北京協和醫院），高敬（中科院軟件所），王大闊（IBM Research）, 畢小俊（紐約州立大學石溪分校），王宏安（中科院軟件所）。 

　　觸屏手機常見操作示意圖 

　　2. SmartEye: Assisting Instant Photo Taking via Integrating User Preference with Deep View Proposal Network 

　　 照片構圖是一個常見但是富有挑戰性的任務，人們希望拍攝出高質量的照片，然后在朋友圈、微博、推特、臉書、Ins等社交媒體上分享。然而，拍攝一張好看的照片并沒有那么容易，“為什么我拍出來的照片不如別人的好看？”——不同的構圖水平的人們拍攝出來的照片效果可能是天差地別的。一張好照片需要拍照的人在構圖技巧方面有一定的攝影基礎，但是普通人和攝影初學者可能并不具備這些技能。如何幫助非專業的用戶進行實時的拍照構圖呢？ 

　　該項目團隊提出了一個構圖推薦網絡（View Proposal Network，VPN）來做到這一點，該網絡由數百萬張標注圖像訓練而來，可以接收一張照片作為輸入，輸入得分TopN的推薦構圖，在一系列標準數據集上達到了state-of-the-art的水準。同時，該網絡可以達到75+FPS的刷新率，可以滿足人眼感知范圍內實時推薦的需求。通過使用該網絡作為Base model，設計了一個新穎的交互工具——SmartEye。它可以幫助用戶實時的進行拍照和構圖，并且提供了眾多交互式的功能幫助用戶進行探索和發掘更有趣的構圖方式。  

　　交互界面圖 

　　 由于DeepLearning Model是由百萬張Crowdsourcing標注的數據訓練而來，VPN學習到的更多的是“人類”的知識，因此只能從比較寬泛的角度去考慮構圖的好壞。但是照片構圖是一件主觀性極強的任務，審美的問題會因人而異，因此我們不得不考慮“如何將用戶的偏好融合進去？” 　　

　　用戶之間在照片構圖任務上的差異性 

　　為了實現個性化和用戶自適應，對用戶偏好進行了充分的建模，項目組提出了一個用戶偏好模型（PreferenceModel），該模型基于交互式機器學習（Interactive Machine Learning）的算法，可以不斷迭代地從用戶數據中學習到用戶的偏好和習慣——“越來越符合用戶的胃口”，能夠做到根據用戶反饋不斷去調整VPN，從而更好的適應每一個用戶，幫助用戶拍攝出既符合構圖美學又滿足用戶喜好的照片。我們通過計算照片構圖相似度（Composition Similarity）來得到置信度（Confidence Value）從而動態調整了VPN和Preference Model在最終輸出時的權重，開創性地探索了End-to-end Deep Learning Model學到的High-Level的特征知識和User preference二者如何平衡的問題，以及有效地解決了推薦任務中冷啟動（Cold Start）的問題。 

　　該論文作者分別為：馬帥（中科院軟件所），Zijun Wei（紐約州立大學石溪分校），田豐（中科院軟件所，通訊作者），范向民（中科院軟件所），Jianming Zhang（Adobe Research）, Xiaohui Shen（Adobe Research）, Zhe Lin（Adobe Research）, 黃進（中科院軟件所），Radomir Mech（Adobe Research）,Dimitris Samaras（紐約州立大學石溪分校），王宏安（中科院軟件所）。 

　　3. PinchList: Leveraging Pinch Gestures for Hierarchical List Navigation on Smartphones  

　　在智能手機上進行分層列表的深入探索和導航是非常繁瑣的任務，因為它經常要求用戶頻繁地在多個視圖之間切換。為了克服這個限制，項目組提出了一種新穎的交互設計PinchList，它利用捏合手勢來支持在分層視圖中無縫探索多級列表項。使用PinchList以雙指張開手勢進入列表，而雙指合并手勢則返回到前一級別。此外，雙指或三指快速捏合用于導航由兩個以上級別組成的列表。并且，該研究還進行用戶研究在滾動和非滾動下使用捏合/縮小手勢來細化PinchList的設計參數條件，例如合適列表的尺寸和目標選擇性能。同時，該研究工作還將層級導航任務中的PinchList的性能與用于列表瀏覽的兩種常用觸摸方法（分頁和折疊）進行比較。結果顯示，在訪問分層列表視圖中定位的項目時，PinchList比其他兩個接口明顯更快。在一系列應用演示中，PinchList取得了筆傳統列表設計更好的交互體驗。 

　　該論文作者分別為：韓騰（曼尼托巴大學），劉杰（中科院軟件所，共同一作），Khalad Hasan（英屬哥倫比亞大學），Mingming Fan（多倫多大學），Junhyeok Kim（曼尼托巴大學），Jiannan Li（多倫多大學）,范向民（中科院軟件所），田豐（中科院軟件所，通訊作者），Edward Lank（滑鐵盧大學），Pourang Irani（曼尼托巴大學）。 

PinchList操作示意圖 

　　4. Crossing-Based Selection with Virtual Reality Head-Mounted Displays 

　　目標選擇是人機交互中的一項基本任務。基于crossing范式的目標選取指的是穿越過目標的邊界即可選中目標。項目組首次研究了在虛擬現實環境下基于crossing范式的目標選擇交互方案，開展了使用射線在三維空間中選擇目標圓盤以及在二維平面中的選擇目標直線的兩項實驗。每項實驗考慮了任務難度、運動方向限制（共線vs.正交）、任務的自然性（離散vs.連續）、虛擬現實設備的視場角以及目標深度這五種因素。實驗結果表明基于crossing的目標選取方式能夠很好地彌補或替代指點型選擇方式；基于crossing范式的選擇任務符合Fitts’ Law；目標深度對于crossing選取交互的表現有著顯著影響；對于三維空間中選擇目標圓盤與二維平面中選擇目標直線這兩類任務，用戶在操作時間、錯誤率、Fitts模型參數等方面的表現有明顯的差異。在此發現的基礎上，項目組提出了虛擬現實中基于crossing范式的目標選取方式的若干指導建議。比如，遠端小目標和連續目標選取時可以優先考慮crossing的方式；對于連續的交叉選擇操作，目標可以與運動方向正交或者共線；對于離散的交叉選擇操作，目標應盡可能與運動方向共線。 

　 該論文作者分別為：涂華偉（南京航空航天大學），黃蘇蘇（南京航空航天大學），袁家斌（南京航空航天大學），任向實（日本高知工科大學），田豐（中科院軟件所，通訊作者）。 

　　實驗任務示意圖