软件所人机交互团队研究工作取得进展

内容来源：中国科学院软件研究所

ACM CHI (ACM CHI Conference on Human Factors in Computing Systems)是人机交互领域顶级国际学术会议(CCF-A)。ACM CHI 2021将于5月8号到13号举行线上会议（原定于日本横滨），大会共收到论文投稿2844篇，最终录用率约为26.3 %。中国科学院软件研究所田丰研究员带领的人机交互团队,在自然人机交互基础理论与交互技术等方面与国内外合作者共同开展了多项研究工作，共有5篇长文被接收。以下就该5项成果进行简单介绍。   

1.Modeling Pointing Uncertainty for Moving Targets with Arbitrary Shapes 

移动目标获取任务在自然用户界面中广泛存在，该团队在国际上率先开展了针对移动目标选择落点不确定性的研究工作。2018年，团队开创性地提出了一维Ternary-Gaussian移动目标获取不确定性模型，并在随后的两年期间，将该模型拓展到二维移动目标和基于“穿越”的目标选择任务当中。本次被ACM CHI 2021接收的工作则进一步实现了Ternary-Gaussian模型对任意形状移动目标的建模，极大地拓宽了该模型和其衍生技术在用户界面中的适用性。 

以往的移动目标选择落点不确定性模型，通常使用二维高斯分布对规则形状（例如圆形或矩形）的目标选择落点分布进行描述，然而当目标形状任意时，受到运动视觉和错误惩罚的影响，用户的择落点呈现出多峰分布而非标准高斯分布。为了解决这一问题，本项研究工作将高斯混合模型（Gaussian mixture model，GMM）与Ternary-Gaussian模型融合，更好地描述目标的形状和运动两部分因素对落点产生的影响。该模型首先利用最大内切圆算法将任意形状目标划分为不同大小但具有规则形状的基本几何体，然后利用Ternary-Gaussian模型给出这些基本几何体的落点分布，最后通过GMM实现各基本几何体落点分布的融合。GMM中各基本几何体的权重由一个考虑多方面人类运动视觉因素的线性函数给出。结果表明，相对于之前的Ternary-Gaussian模型，本文模型能够对任意形状的移动目标选择落点分布和目标选择错误率做出更精准的预测。基于本项工作，研究人员给出了一系列针对动态用户界面设计的指导原则。 

任意形状移动目标选择落点不确定性的建模过程 

2.Distractor Effects on Crossing-Based Interaction 

在目标选择任务中，任务无关的干扰目标对人类视觉运动控制的影响已成为人机交互领域的研究热点。然而，对于基于“穿越”的目标选择这一普遍使用的交互范式，关于干扰目标对其用户表现影响的研究却很少。 

为了研究干扰目标对穿越目标选择用户表现的影响，本项工作对四个包含干扰目标和两个不包含干扰目标的穿越目标选择任务进行了对比分析。这六个任务在运动精度约束（方向/幅度）、目标大小、目标距离、干扰目标位置和目标与干扰目标间距上存在差异。研究人员还为这六个任务开发了六个定量模型并进行了实验验证。结果表明，与不包含干扰目标的穿越目标选择任务相比，包含干扰目标的任务平均时间更长，而准确度相近。干扰目标的作用随干扰目标位置、目标与干扰目标间距和运动精度约束的不同而发生变化。当间距足够小时，包含干扰目标的穿越目标选择任务可以被视为指点任务或指点与穿越任务的组合，与Fitts定律相比，本项工作提出的模型取得了更高的拟合精度。根据本项工作获得的结果，研究人员为基于“穿越”的用户界面设计提供了切实可行的设计指导。 

基于“穿越”的目标选择任务和实验范式 

论文作者：涂华伟（La Trobe University），黄进（中科院软件所，通讯作者），Hai-Ning Liang（西交利物浦大学），Richard Skarbez（La Trobe University），田丰（中科院软件所），Henry Been-Lirn Duh（La Trobe University）。 

3.vMirror: Enhancing the Interaction with Occluded or Distant Objects in VR with Virtual Mirrors 

由于虚拟现实（VR）中物体之间互相遮挡，用户寻找并选择被遮挡的目标物体变的十分困难。尽管用户可以通过远程传送（teleport）等方式调整他们的位置和方向，以帮助观察和选择，但反复移动和视角转换会造成方向感的迷失以及晕动症等不适。 

在本项工作中，研究人员设计了一个VR下的交互部件vMirror，利用镜子的反射来观察和选择远距离被遮挡的物体。首先通过两项实验，分别探索了半自动放置镜子方法与手动放置方法的对比、镜面方向对用户目标选择任务表现的影响，结果表明大多数镜面方向上，vMirror与直接选择目标的效率接近。最后在一个VR寻宝游戏中对比了teleport与teleport+vMirror技术，并测量参与者的任务表现和主观体验。结果表明，使用teleport+vMirror技术搜寻目标的效率更高，并且有效减少用户的眩晕。 

用户通过创建“镜子”对被遮挡目标进行选择 

论文作者：李念龙（中科院软件所），张政权（西安交通大学），刘灿（香港城市大学），杨增耀（西安交通大学，通讯作者），付轶楠（厦门大学），田丰（中科院软件所），韩腾（中科院软件所），范明明（Rochester Institute of Technology）。

4.RElectrode: A Reconfigurable Electrode For Compound Sensing Based on Microfluidics 

环境感知是交互领域的一项重要技术，但在当下环境中，物体的组成物质越来越复杂、特性差异越来越大，而且传统传感器功能单一、传感器之间也存在相互干扰问题。 

在本项工作中，研究人员提出了一种基于微流控技术的电极重构与变换的方案，具有物体检测功能，具体包含一些电器特性、物理特性、化学特性的检测，并整合了手势操控（触摸/非触摸）、按键操控等交互功能。实验结果显示，基于这个电极，研究人员能够实现12种物体，10种手势，16个按键、温度、pH的检测。展示了一种制造具有可重构功能的电子传感器的可行方法。 

通过可变电极进行物体识别、温度检测和pH检测 

论文作者：孙伟（中科院软件所），陈彦君（中科院软件所），詹思农（University of California，Berkeley），韩腾（中科院软件所，通讯作者），田丰（中科院软件所），王宏安（中科院软件所），Xing-Dong Yang（Dartmouth College）。 

5.Towards a Truly "Brilliant" AI-Powered Clinical Decision Support System: Lessons from a Study of Rural Clinics in China 

人工智能（AI）技术已越来越多地应用于高级临床决策支持系统（CDSS）的实践中。研究证明了人工智能驱动的CDSS（AI-CDSS）在临床决策场景中的潜在有效性。然而，采用后的用户感知和体验仍然没有得到充分的研究，特别是在发展中国家。 

该项工作通过对来自中国6个农村诊所的22名临床医生的观察和访谈，报告了AI-CDSS系统设计与农村临床环境之间的几种不足，如与当地环境和工作流程的不一致、技术限制和可用性障碍等，以及与AI-CDS的透明度和可信度相关的问题。尽管存在这些不足，所有参与者都对AI-CDSS的未来表达了积极的态度，尤其是能够充当“医生的智能助手”。该项工作还探讨了为发展中国家的农村临床环境设计AI-CDSS干预措施的意义。 

调研AI-CDSS系统设计与农村临床环境的现场照片 

论文作者：王大阔（IBM Research），汪柳萍（中科院软件所，共同一作），Zhan Zhang（Pace University），Ding Wang（Microsoft Research India），Haiyi Zhu（Carnegie Mellon University），Yvonne Gao（The State University of New York at Stony Brook），范向民（中科院软件所），田丰（中科院软件所，通讯作者）。