山东大学软件学院人机交互期末复习笔记

2022-2023 数媒方向

一、简答题

1. 人机交互是什么
2. 人机交互经历了什么样的发展阶段
3. 注意有什么功能
4. 立体眼镜有哪几种，详细介绍一种的原理（必考）
5. 介绍RGB模型，并列举两个使用该模型的交互设备
6. VR界面设计的原则

二、叙述题

1. 格式塔完整心理学有哪些原则，分别介绍
2. 图形用户界面的基本交互任务
3. 列举三个你在元宇宙中可能的交互情景

三、综合题
我设计了一个我校手机端学校网站

1. 这个交互范式中的5w＋h是什么
2. 预计使用手机的什么输入和输出
3. 对网站系统评估的方法和步骤

2023-2024 软工方向

一、简答（10’）

1. 什么是人机交互？（4’）
2. 图形用户界面的三个基本思想？举例说明（6’）

二、论述(50’)

1. 立体眼镜的类型？选一种说明原理（10’）
2. 给了两张图，分析两种饮水机设计，从产品功能、界面设计、用户体验等方面（10’）
3. 简述图形用户界面和多通道用户界面概念模型，并对两种用户界面进行分析。（20’）
4. 真实行走中，设计一种方法，在触碰到物理边界时，能够返回实际物理空间内部（10’）

三、设计(40’)

1. 设计一个双画显示技术，要求至少两种交互技术，从系统设计、交互技术、交互设备、具体实现方式、特定领域的潜在应用进行解释说明。（25’）
2. 简述自己的课程实验内容，从硬件环境、软件环境等方面；设计一个测试方案，从测试目的、测试假设、测试方案等步骤进行说明。（15’）（必考）

重点题目

1. 多通道用户界面（MUI）是指使用多种感觉和效应通道与系统进行交互的用户界面。
2. 多通道用户界面的交互特点
3. 比较多通道用户界面与传统用户界面的区别，并分析多通道用户界面的优势。

绪论

人机交互是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的学科

广义上讲，人机交互以实现自然、高效、和谐的人机关系为目的，与之相关的理论和技术都在其研究范畴，是计算机科学、心理学、认知科学以及社会学等学科的交叉学科。

1988年唐纳德诺曼《设计心理学》 ，目前已有36年。诺曼的一些设计理念在当下并不过时，对于交互设计仍有重要的借鉴意义。

发展阶段

• 命令行

时间：20世纪50年代至80年代初期
特点：

1. 用户通过文本命令来控制计算机。
2. 这个阶段的用户界面非常基础，通常只包括一个文本终端或命令行界面，用户必须记住各种命令和参数。

尽管在用户友好性方面存在一些限制，但它为用户提供了强大的控制权和自定义选项。这个阶段对于计算机领域的发展起到了重要作用，它为后来的图形用户界面和更高级的交互方式奠定了基础。

• 图形用户界面

时间：1980年代中期至今
特点：

1. GUI通过可视化元素如窗口、图标、菜单和按钮来呈现信息和操作。
2. 图形用户界面（GUI）又称为WIMP界面，由窗口(windows)、图标(icons)、菜单(menu)、指点设备(pointing device)四位一体，形成桌面(desktop)
3. GUI 的主要特点是桌面隐喻、“所见即所得”、直接操纵。（以例子来记忆更好记）

降低了使用门槛；减少了学习曲线；提高了可视化反馈；获得了更广泛的用户群；在一些简单操作上提高了效率

• 自然和谐的交互

随着网络和无线通讯、虚拟现实、普适计算等技术的飞速发展，逐渐进入自然和谐的人机交互阶段：利用人的多种感觉通道和动作通道（语音、手写、姿势、视线、表情等输入），以并行、非精确的方式与计算机环境进行交互，使人们从传统的交互方式的束缚中解脱出来。

自然和谐人机交互阶段主要研究内容包括多通道交互、情感计算、虚拟现实、智能用户界面、自然语言理解等方面。

多通道交互（Multi Modal Interaction，MMI）是指“一种使用多种通道通信的人机交互方式。
通道（modality）涵盖了用户表达意图、执行动作或感知反馈信息的各种如言语、眼神、脸部表情、手势、头动、肢体姿势、触觉、嗅觉或味觉等”。

情感计算是人机交互中的一个重要方面， 赋予信息系统情感智能， 使计算机能够“察言观色”，将极大提高计算机系统与用户之间的协同工作效率，而情感的感知和理解离不开人工智能方法的支撑。这个领域的发展使得计算机界面和交互变得更加智能、人性化和适应性强。

虚拟现实（VR）是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生临近真实环境的体验。

自然语言处理（NLP，Natural Language Processing）是使用自然语言同计算机进行通讯的技术，因为处理自然语言的关键是要让计算机“理解”自然语言，所以自然语言处理又叫做自然语言理解，也称为计算语言学 。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

• 人机共生阶段

感知和认知基础

视觉

外界80%的信息都是通过视觉得到的，因此视觉显示是人机交互系统中用的最多的人机界面。

听觉

听觉感知传递的信息仅次于视觉，是非常丰富和重要的，但在日常生活中往往被视觉感知所主导，因此有时会被低估或被忽视。

听觉定位：单耳线索、双耳线索以及其他线索

肤觉

肤觉是指皮肤、黏膜等受外界刺激时所产生的感觉,分为触觉、痛觉、温觉及力觉等。

力觉感知一般是指皮肤深层的肌肉、肌腱和关节运动感受到的力量感和方向感，例如用户感受到的物体重力、方向力和阻力等。

知觉

• 基本特征：
  1. 知觉的选择性：人在复杂环境中，在某一瞬间，不可能对众多事物进行感知，而总是有选择地把某一事物作为知觉对象，与此同时把其他事物作为知觉背景，这就是选择性。
  2. 知觉的整体性（格式塔完形律）：指人根据自己的知识经验把直接作用于感官的客观事物的多种属性整合为统一整体的组织加工过程。
  3. 知觉的理解性：人在知觉过程中，不是被动地把知觉对象的特点记下来，而是以过去的知识经验为依据，力求对知觉对象作出某种解释，使他具有一定的意义。
  4. 知觉的恒常性：当客观条件在一定范围内改变时，人的知觉映像在相当程度上却保持它的稳定性。

知觉的恒常性主要包括：

• 形状恒常性：对物体形状的知觉不因它在视网膜上投影的变化而变化,称为形状恒常性。

• 大小恒常性：指在一定范围内，个体对物体大小的知觉不完全随距离变化而变化，也不随视网膜上视像大小的变化，其知觉映象仍按实际大小知觉的特征。

• 明度恒常性：当照明条件改变时，人知觉到的物体相对明度保持不变的知觉特征。

• 颜色恒常性：指有颜色的物体（熟悉的），当其表面颜色受到照明等条件的影响而改变时，个体对颜色的知觉不因色光改变而改变，趋于保持相对不变的知觉特征。

格式塔心理学：当视野中出现不完整因素时，视觉系统倾向于把它们完整起来，形成比较简单、稳定、正规化的图形。

简单律：

邻近律/相近性：

蓝色小球我们更习惯将其按行来组合，紫色小球我们更习惯按列来组合。

相似律/相似性：

连续律：

闭合律：

对称律：在视野中，对称的部分容易组成整体图形

协变律 The Law of Common Fate：同一运动趋向的元素会被归在一起

认知过程和交互设计原则

感知和识别

人们可以使用感官从环境中获取信息，并把它转变为对物品、事件、声音和味觉的体验。对有视力的个体来说，视觉是最重要的感觉，其次是听觉和触觉。（该部分上述已讨论）

注意

注意是作为认知过程的一部分，通常是指选择性注意，即注意是有选择的加工某些刺激而忽视其他刺激的倾向。
它是人的感觉（视觉、听觉、味觉等）和知觉（意识、思维等）同时对一定对象的选择指向和集中（对其他因素的的排除）

特性：

• 指向性–指心理活动有选择的反映一些现象而离开其余对象，其可以使我们有选择地引导和调整我们的注意力，以便在面对复杂的环境和任务时处理相关信息。
• 集中性–指心理活动停留在被选择对象上的强度或紧张，其反映了我们对所选择对象的关注和投入程度。

功能：

• 选择功能：注意的基本功能是对信息选择，使心理活动选择有意义的、符合需要的和与当前活动任务相一致的各种刺激；避开或抑制其他无意义的、附加的，干扰当前活动的各种刺激。例如：当前弹出一个错误弹窗，我们的注意力只需要集中在该弹窗上，并优先处理它。
• 保持功能：外界信息输入后，每种信息单元必须通过注意才能得以保持，如果不加以注意，就会很快消失。因此，需要将注意对象的一项或多项内容保持在意识中，一直到完成任务，达到目的为止。例如：强行记忆七种无关的事物的名称，我们必须一直在脑中重复（保持注意力）才能记住。
• 对活动的调节和监督功能：有意注意可以控制活动向着一定的目标和方向进行，使注意适当分配和适当转移。对于注意力的合理分配，使得能够同时做完很多事情。

品质：

• 注意的广度：也叫注意范围，是指一个人在同一时间里能清楚地把握对象的数量。
• 注意的稳定性：个体在较长时间内将注意集中在某一活动或对象上的特性。与注意的保持功能紧密相关。个体的需要和兴趣是注意稳定性的内部条件；活动内容的丰富性和形式的多样性，是注意稳定的外部条件。
• 注意的分配：个体在同一时间对两种或两种以上的刺激进行注意，或将注意分配到不同的活动中。注意的分配也就是通常所说的“一心二用” ，是指个体的心理活动同时指向不同的对象的特点。其基本条件是：同时进行的活动只有一种是不熟悉的，其余活动都非常熟悉、甚至达到了自动化的程度。否则很难有效分配。
• 注意的转移：个体根据新的任务，主动地把注意由一个对象转移到另一个对象上或由一种活动转移到另一种活动上。

变化盲视是人们对通常容易被注意到的大的变化反而无法观察到的现象。

注意的过程与目标和信息表示有关。

• 目标：分为明确目标（搜索特定的文件）和非明确目标（浏览网页）
• 信息表示：信息的显示方式对于人们能否快速捕捉到所需的信息片断有很大的影响。分类显示的信息就比较便于人们查找。

记忆

记忆是头脑中积累和保存个体经验的心理过程，也就是人脑对外界输入的信息进行编码、存储和提取的过程。

考虑人的记忆特点，进行交互设计时还应该注意的问题有：

• 应考虑用户的记忆能力，勿使用过于复杂的任务执行步骤。
• 由于用户长于“识别”而短于“回忆”，所以在设计界面时，应使用菜单、图标，且它们的位置应保持一致（一致性和迁移性原则）。看到和选择比回忆和输入更容易。
• 为用户提供多种电子信息（如文件、邮件、图像）的编码方式，并且通过颜色、标志、时间戳、图标等，帮助用户记住它们的存放位置。
• 提供外部记忆辅助工具 （记事本、标记工具等）
• 提供帮助和支持：为用户提供足够的帮助和支持，例如提供在线帮助文档、提示信息或引导教程等。这样用户可以通过查阅相关资料来辅助记忆，并解决遇到的问题。

问题解决

问题解决：是由一定的情景引起的，按照一定的目标，应用各种认知活动、技能等，经过一系列的思维操作，使问题得以解决的过程，也是在问题空间中进行搜索，以找到一条从问题的初始状态到达目标状态的通路。

问题空间：是指问题解决者对所要解决的问题的一切可能的认识状态，包括对问题的初始状态和目标状态的认识，以及如何由初始状态转化为目标状态的认识等。

语言处理

阅读、说话和聆听这三种形式的语言处理具有一些相同和不同的属性

• 相同：不论用哪一种形式表示，句子或短语的意思是相同的。
• 不同：人们对阅读、说话和聆听的难易有不同的体会。

许多人认为聆听要比阅读容易得多，但学习外语时，阅读要比聆听容易

影响认知的因素

• 情感

• 个体差异

• 动机和兴趣

• 设计思维

立体显示技术及其应用

红蓝眼镜

图像分色立体显示：将两个不同视角上拍摄的影像分别以两种不同颜色印制在同一幅画面上，虽然肉眼看到的是模糊的重影，但借助不同颜色的眼镜过滤不同的颜色而看到立体效果。

偏振式眼镜

将利用光的偏振现象（Polarization）区分左右眼图像。左右眼图像分别调制为垂直、水平偏振光；观众佩戴眼镜的左右眼镜片分别是相应的偏振片，则左右眼分别看到左右图像。

使用两套投影设备分别播放左右眼影像，两台投影仪分别使用相互正交的偏振片进行调制。使左眼图像变成水平偏振光，右眼图像变成垂直偏振光，区别出左右眼影像。用户佩戴偏振光眼镜 ，左眼只能看到左图像，右眼只能看到右图像，从而产生了立体视觉效果。

主动式（快门时）立体眼镜

利用人眼的视觉暂留效应，通过快速交替显示左右眼画面，使左右眼分别感知不同的画面，从而产生立体视觉效果。利用脉冲电平，使左右眼的液晶镜片交替呈现透明/不透明状态。

在影像内容的播放切换到下一帧之前，投影仪会以极快的速度发射出一个光脉冲。这种光脉冲不会对立体显示造成干扰，用户也并不会意识到它的存在。快门眼镜上的光电装置会捕捉光脉冲，并把它变更为电信号，通过电压来调整液晶镜片的开与关，达到同步的效果。

交互设备

输入设备

• 文本输入设备：打字机、多类键盘、手写板
• 图像输入设备：扫描仪、摄像头
• 三维信息输入设备：三维扫描仪、动作捕捉设备
• 指点输入设备：鼠标、触摸屏、控制杆

输出设备

投影仪（重点）

投影仪是一种可以将数字图像或视频投射到幕布上的设备。

投影仪的基本原理：

• 光学分色过程：将高亮度的白光光源分解为RGB三束光线，用于生成RGB三个位面的光学图像。
• 调制过程：通过光阀器件，使RGB三束光线分别接受原始数字图像中RGB三个位面的调制，从而形成RGB三个位面的光学图像。
• 合成显示：将R/G/B三个位面的光学图像进行合成，并投射出去，完成数字图像到光学图像的转换。

投影仪种类：

• CRT型投影仪

通常所说的三枪投影仪就是由三个投影管组成的投影仪，由于使用内光源，也称主动式投影方式。CRT投影仪可把输入信号源分解成RGB三个CRT管的荧光屏上，荧光粉在高压作用下发光系统放大、会聚，在大屏幕上显示出彩色图像。

优点：色彩丰富还原性好、无像素点和平滑过渡、极致的黑位表现
缺点：亮度受限在300流明以下、操作复杂且体积大

• LCD型投影仪

优点：色彩还原较好、体积小、重量轻、携带方便
缺点：灯泡亮度衰减、兼容性差（不同品牌、不同类型的投影机灯泡不能互换使用）

• DLP型投影仪

DLP以DMD（数字微反射器）芯片作为光阀成像器件。
一片DMD芯片是由许多个微小的正方形反射镜片（微镜）构成的，微镜按行-列紧密地排列在一起，由支架和铰链连接固定在底座上，并由底部的电机控制其反射角度。
每一片微镜都对应着数字图像中的一个像素。故，DMD芯片的微镜数目决定了一台DLP投影仪的物理分辨率。

DLP激光投影仪

• 低能耗，激光光源的能耗只有传统高压汞灯50%；
• 低发热，冷光源对散热要求更低，于是投影机就可以更安静；
• 体积小，固态光源发光体的体积不及传统灯泡的十分之一；
• 寿命长，2万小时的寿命，投影机坏了光源可能还没坏；
• 色彩纯净，RBG三基色直接混合，图像更加绚丽；
• 闪闭性，激光光源具有快速开关的特性，可以随时开关，无需任何等待。这使得DLP激光投影仪能够立即启动和关闭，没有炸灯的风险，并且可以实现更高效的投影操作。

投影仪参数

• 亮度：以流明为单位，并不一定越大越好，合适最重要。
• 分辨率：屏幕上显示的像素的个数。
• 对比度：最亮画面和最暗画面的亮度比值。2000:1说明从最亮到最暗分了2000档。
• 镜头
  

投影仪的拼接

打印机

• 针式打印机和喷墨打印机
• 激光打印机
• 3D打印机

语音输出设备

头戴式耳机、耳塞、耳挂和新发展出来的骨传导耳机等

界面设计

命令行用户界面

图形用户界面

三个重要思想：

• 桌面隐喻：在用户界面中用人们熟悉的桌面上的图例清楚得表示计算机可以处理的能力。
  • 直接隐喻：隐喻本身就带有操纵的对象。例如：使用文件夹图像代表文件夹。
  • 工具隐喻：代表所使用的工具。例如：打印机图标代表打印
  • 过程隐喻：通过描述操作的过程来暗示该操作。例如：撤销和恢复图标
• 所见即所得：用户的交互行为与应用程序最终产生的结果是一致的。
• 直接操纵：把操作的对象、属性、关系显示的表现出来，用光笔、鼠标、触摸屏或者数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程

多通道用户界面

多通道用户界面的基本特点：

• 使用多个感觉和效应通道

• 允许非精确的交互

• 三维和直接操纵

人类的大多数活动领域具有三维和直接操纵特点（数学的和逻辑的活动例外）人生活在三维空间，习惯于看、听和操纵三维的客观对象，并希望及时看到这种控制的结果多通道人机交互的自然性反应了这种本质特点

• 交互的双向性

• 交互的隐含性：追求交互自然性的多通道用户界面并不需要用户显式地说明每个交互成分，反之是在自然的交互过程中隐含地说明。例如：用户的视线自然地落在所感兴趣的对象之上；用户的手自然地握住被操纵的目标。

交互技术

看PPT

用户体验评估

看PPT