軟件所王青、王俊杰、劉哲課題組獲得ACM CHI最佳論文榮譽提名獎
文章來源: | 發布時間:2024-06-21 | 【打印】 【關閉】
近日,中國科學院軟件研究所智能博弈重點實驗室在移動應用程序可訪問性和可用性修復研究中取得進展。該研究針對應用程序輸入組件缺少提示文本的問題,提出了一個基于LLM的提示文本生成模型HintDroid,該模型通過分析輸入組件的GUI信息,并使用上下文學習來生成提示文本。HintDroid不僅可以幫助視障人士,還可以幫助普通人理解輸入組件的要求。相關成果以Unblind Text Inputs: Predicting Hint-text of Text Input in Mobile Apps via LLM為題被人機交互領域CCF-A頂級會議ACM CHI 2024收錄,并獲最佳論文榮譽提名獎(Best Paper Honourable Mention)。論文第一作者為軟件所特別研究助理劉哲,通訊作者為研究員王青和王俊杰。
移動應用程序已經成為人們日常生活中不可或缺的工具,不同于普通人群,視障人群在使用智能設備和移動應用程序時需要屏幕閱讀器的輔助。屏幕閱讀器是通過識別文本輸入組件中的提示文本屬性來告訴視障用戶如何進行操作。根據世界衛生組織的統計,全球至少有22億人患有視覺障礙,這么龐大的群體對屏幕閱讀器功能的需求是巨大的。谷歌開發者可訪問性指南要求程序開發者必須為輸入組件提供提示文本,特別是缺乏內容描述的輸入組件。但實際情況是,根據研究團隊對4501個有文本輸入的安卓應用程序的分析,有超過76%的應用程序缺少提示文本,這嚴重影響了屏幕閱讀器的功能實現。
研究團隊設計的模型HintDroid可以基于GUI頁面信息自動生成提示文本。它的工作原理是先提取頁面的文本輸入組件和GUI實體信息,然后設計GUI提示,使LLM能夠理解文本輸入上下文。為了便于LLM更好地理解任務,研究團隊還設計了一種基于檢索的示例選擇方法來構建上下文提示。同時,為了確保提示文本的質量,研究團隊使用輸入內容作為評估生成提示文本的橋梁,并通過檢查輸入內容是否能觸發下一個頁面來獲得反饋信息并構建反饋提示,讓LLM進一步調整生成的提示文本。
HintDroid方法流程
ACM CHI最佳論文榮譽提名獎證書
論文鏈接:https://dl.acm.org/doi/full/10.1145/3613904.3642939