基于声控游戏的儿童言语障碍康复系统设计
基于声控游戏的儿童言语障碍康复系统设计
一、引言
特殊教育是我国教育体系中不可或缺的重要组成部分，提高特殊人群的生活质量，解决他们的社会需求，尤其是特殊儿童的教育、康复和保健问题，使其身心得到全面发展，是维持我国社会和谐稳定健康发展的重要基础。在我国，各类言语障碍患者数量高达几千万，致病原因包括生理病变、功能损失、情绪紧张等多方面，尤其对于儿童患者，言语障碍会影响其语言表达和日常交流，影响身心的健康发展，甚至可能成为影响社会安定的隐患。目前，言语障碍的康复治疗依次包括评估和训练两大部分 ，“评估”旨在用声学参数和生理指标评价患者的言语功能是否存在障碍，根据这些参数和指标代表的临床含义来诊断言语障碍的具体类型；“训练”则是根据评估结果对患者的言语障碍类型开展针对性的康复工作。在我国，言语障碍的评估方法已经形成较为成熟的体系，但是相关康复训练的手段仍比较单一，由医生或言语康复师对患者进行面对面的康复训练，辅助训练工具种类较少，例如，播放正常语音让患者练习跟读或利用印有文字和图像内容的卡片对患者进行诱导训练等。这些手段对于具备一定学习能力和知识积累的成人患者来说较为合适，而儿童患者的智力尚未发育成熟，学习能力有限，个别患者还可能伴有脑瘫、自闭症等更为复杂的病症，上述训练方式在吸引儿童注意力、激励他们的学习热情上很难发挥作用，因此，如何为儿童言语障碍患者设计更适合他们的康复训练系统，已成为特殊教育和康复科学领域的热门问题。 游戏对儿童发展的重要作用已被多数教育工作者认同，作为儿童生命早期的主导活动，游戏是儿童学习和融入社会的途径，对儿童身体发育和心智发展具有重要意义。将游戏与康复治疗结合的应用已经取得了很大的进展，这是由于将游戏融入治疗并非某一学科或者学派的特有方法，而是任何一种治疗都可以采用的工具，作为治疗和训练的一种中介。儿童言语障碍的康复训练能否借助游戏形式将复杂的监控指标动画化，让儿童在接受治疗的过程中逐步对语音及其特性，诸如响度、音调和起音等建立感性认识，这一问题的答案是肯定的。游戏训练的主体是儿童自己，由于身心发展的需要，他们迫切想要找到一种自主控制的感觉，如果游戏内容的设计具有互动性，使儿童在无论是否有能力完成游戏训练内容的情况下，都能够得到游戏中虚拟伙伴的表扬或鼓励，心理上获得的成就感或安慰可以刺激他们继续完成后续内容的学习热情，有助于提高康复训练效率。综上所述，提出一种基于声控游戏的儿童言语障碍康复训练系统，运用Visual C++程序语言，主要面向儿童言语障碍患者，使他们在色彩鲜艳、画面生动的动画环境中循序渐进地提高言语能力，一定程度上克服心理障碍，同时为特殊教育同行设计游戏训练系统提供借鉴。 二、游戏设计 本训练系统专门针对儿童由于言语障碍而导致的言语功能低下或缺失而设计，目的是能够使他们重新掌握控制言语发声的能力，如对语音响度、起音、最长声时、音调和构音等的控制能力。本系统基于较为成熟的语音信号处理技术，直接对语音进行声学分析，提取用于监控康复过程的声学参数，严格遵循儿童言语功能发育的过程编排康复训练内容，将复杂的语音信号处理过程用生动活泼的游戏替代，将言语运动过程与连贯的动画建立对应关系，使儿童能够对言语过程和语音特性产生感性认识，增强学习兴趣。 按照儿童言语功能的发展规律，本系统的训练游戏内容依次设计为五级：第一级为认识声音，第二级为起音和最长声时，第三级为语音的响度和音调，第四级为单元音及多元音构音，第五级为清浊音。下面按照上述顺序阐述系统设计过程。 1.认识声音 “认识声音”模块主要面向年龄较小的幼儿或者对语音缺乏知觉的言语障碍重度患者设计。该游戏模块的设计理念是让儿童通过视觉变化来感受语音的存在，对语音建立感性认识，同时，也要考虑到儿童注意力集中范围受限的因素，因此，游戏画面呈现的是以一个体积较大的动画角色为主，若干体积较小的辅助动画角色作为配合。当患者通过麦克风发出任意语音的时候，主要动画角色和辅助动画角色都会在各自原始的位置发生动作，如图1所示的“快乐熊”游戏，患者发音时，画面上的主要动画角色——大熊会在原地打击手中的乐器，而旁边的小老鼠则会拍手。患儿会在训练过程中将注意力集中在这些色彩鲜艳、形象可爱的卡通游戏角色上面，感受到语音的产生实际上是一种变化过程，引起他们对说话的兴趣。 2.起音和最长声时 起音障碍是儿童言语障碍的常见类型，起音过程属于前发声期阶段，作用时间很短，是能否发出正常、连贯语音的重要前提。起音障碍产生的原因可能是构音器官运动不协调，患者需要进行连续的训练才能掌握起音技巧。“起音”训练游戏的设计遵循临床康复的实际需要，让患者在一定时间内完成一连串重复的起音动作，以该模块中的“启动汽车”为例，如图2所示，患者在言语康复师的指导下，通过完成连续起音的动作，帮助老鼠先生点亮指示灯。指示灯一共有5个，患者每进行一次起音（通常是短促的发/a/音），指示灯就会点亮一个，当五个指示灯在规定时间内全部点亮，老鼠先生就可以发动汽车继续前进，否则汽车无法开动。针对不同言语障碍程度的患者，治疗师可以设置不同的规定时间，让患者有合适的时间完成游戏，每次训练时再根据患者前一次的完成情况来调整游戏的规定时间。 儿童言语障碍患者中也经常出现发音方式正确，但是软绵无力，无法持续发音，甚至“有口形，无语音”的情况。这通常与患儿的呼吸功能异常，尤其是呼吸支持不足有关。临床康复训练中，监控呼吸能力最常用的指标是“最长声时”，即让患者深吸气后一口气发元音/a/所持续的最长时间。一般，呼吸功能异常患儿的测量结果通常只有几秒钟，远低于正常水平。本系统基于呼吸功能异常康复训练的基本理念，设计了“最长声时”游戏模块，患者通过一次性持续发元音的方式完成游戏，从而达到训练的目的。如图3所示，以“买蛋糕”游戏为例，游戏初始画面左边有一只小猫，画面右侧则是一台自动蛋糕贩售机，患者深吸气后持续的发出元音/a/，会驱动小猫不断地向蛋糕贩售机方向行走，如果患者在规定时间内帮助小猫买到蛋糕，游戏就会呈现小猫手捧蛋糕并开心大笑的画面：若患者发音持续时间较短，无法完成游戏任务，小猫则会在停止的位置开始哭泣。这种多结局的游戏设计，能够让患儿在一定程度上体会到言语障碍所给日常生活带来的不便。在言语康复师的循循善诱下，患儿在游戏过程中逐步帮助小猫成功买到蛋糕，提高自身的最长声时水平，强化言语呼吸功能。 3.响度和音调 响度和音调是语音的两大重要特征。响度异常表现为语音音量过大或者过小，音调异常表现为音调过高、过低或者过于单一，不仅影响语音的可懂度，还可能对构音器官造成器质性上海。响度异常矫治训练游戏的设计思路是使患者意识到自身存在的障碍，并引导他们降低或者提高言语响度。以提高响度的游戏“长颈鹿”为例（图4），长颈鹿的脖子会随着患者语音音量的增加或降低而伸长或缩短，言语康复师引导儿童尽可能的大声发音，目的是为帮助长颈鹿的脖子伸到足够长，在规定时间内能够吃到树上的叶子。训练过程中，需要根据患儿语音的实际情况设定响度基准，只有响度大于该基准的语音才能驱动长颈鹿等动画角色的运动。降低响度的游戏设计思路基本类似，诱导儿童通过降低语音响度，控制动画角色实现下降动作以完成游戏。 音调异常训练的游戏设计兼顾音调过高、过低和过于单一三种主要障碍类型，以游戏“茶壶”为例，如图5所示，儿童在言语康复师的指导下通过改变自己的音调控制画面上的拟人化茶壶穿过由茶杯组成的阵列。茶杯阵列的类型包括“穿越”和“定向”两种，“穿越”是指茶壶在语音控制下穿过茶杯阵列，保证不与茶杯相撞，一旦两者发声碰撞，本次训练终止，当茶壶成功穿过茶杯阵列，系统会显示为茶壶颁发奖杯的画面，对患儿的训练成果给予肯定和鼓励。“定向”则是指患者利用语音控制茶壶与阵列中的每一个茶杯完成碰撞，以达到提高音调、降低音调或者变化音调的目的。两种训练类型的结合，能够使患儿通过不同的训练形式，锻炼音调控制能力。 4.单元音和多元音构音 发声功能正常（能够正常起音，语音的音调和响度正常），但是语音清晰度仍然较差的儿童言语障碍患者并不少见，这大多是由于患者的构音器官协调运动出现问题而导致的构音障碍。对于绝大多数语种来说，元音都是语音的核心，是评估构音功能正常与否，以及进行构音异常训练的最基本材料。本系统选取普通话单元音a、o、e、i和u作为训练材料，设计以发单个元音或者多个元音为手段的达成目标类游戏，完成构音障碍训练之目的。训练游戏包括单个元音到四个元音等四种训练模式。以两个元音的训练游戏“灰姑娘”为例，如图6。首先，患者需要录制样本元音并选择训练的元音个数，才能正式进入游戏。游戏中，患者需要按照录制的样本元音发音，每个元音对应画面上的一个游戏对象。在“灰姑娘”游戏中，两个元音分别对应灰姑娘和马车车夫，系统会自动对患者的发音进行识别，两个动画对象只有在患者的构音语音与样本元音完全一致时才会运动，直到在规定时问内到达系统规定的位置才能完成任务。这类游戏的最大特点是游戏重复利用率高，同一款游戏能够对不同的元音进行训练，游戏目的在画面中能够直观体现，易于被患儿理解并接受。 5.清浊音 构音语音的分类，通常根据声带是否振动分为浊音和清音两类。在普通话中，清音都是辅音，清音构音出现障碍，势必影响语音的可懂度。在本系统中，清浊音训练游戏的设计依照目前普遍使用的以不同颜色区分语音类型的方法，用红色动画主体表示浊音，而清音则用绿色动画主体来表示。以游戏“赛车”为例，如图7所示，画面上有左右两条赛道，左侧行驶的是代表清音的绿色赛车，右侧行驶的是代表浊音的红色赛车。患者需要按照言语康复师的指导，在规定时间内交替发出指定的清浊音，驱动两辆赛车前进，即患者发浊音时红色赛车前进，发清音时绿色赛车前进，若患者不发音，则两辆车都不会产生动作。言语治疗师可以根据实际情况，设计能够让患儿在规定时间内将两辆赛车都驱动到终点的清浊音训练语料。任务完成时，系统画面将会为到达终点的赛车手颁发奖杯，以鼓励儿童成功完成本次的训练任务。 综上所述，本系统包含的每一级言语障碍训练模块，其内部包含4～5个玩法基本相同的小游戏。系统为使用者提供操作简便而功能强大的设置选项，如，环境噪声设置、游戏时间控制、实时录音、语音信号波形和图谱显示、用户记录保存、快速游戏切换以及快速重启游戏等。本系统涵盖了大部分言语障碍儿童的训练目标及其相关内容，游戏难度适宜，画面鲜艳可爱，易被儿童接受和完成。同时，丰富的系统内容还能帮助特殊教育教师和言语康复工作者节省为每一位患者分别制定训练材料的时间，将大幅提高治疗效率。 三、游戏实现 本系统利用Visual C++语言在微软Windows操作系统平台上进行开发，游戏主程序、uI菜单界面基于MFC开发，声控动画游戏的实现则是基于DirectDraw开发包和语音信号处理算法。由于Visual C++语言具有运行效率高的优势，配合成熟可靠的语音处理技术，足以在普通家用计算机上提供出色的声控游戏使用体验。 1.语音信号处理技术 声控游戏的实现分为两步，首先是选定并提取声学参数，然后再建立声学参数与游戏动作之间的关联。不同类型的言语障碍对应不同的声学参数，这些参数都是康复训练中常用的监控指标。本系统包含了五个级别的言语障碍训练声控游戏，根据语音信号处理方法和提取声学参数类型的不同，可将“认识声音”、“起音”、“最长声时”和“响度”归为第一类，主要计算语音信号的幅度和能量，第二类则是“音调”和“清浊音”，主要计算语音的基音频率，而“单元音及多元音构音”需要利用语音信号的共振峰进行简单的 语音识别，故作为第三类。提取这三类声学参数的语音信号处理方法框架如图8，这些技术均基于实际应用非常广泛的成熟算法，故不再赘述。图中白色方框为语音信号处理的具体方法，灰色方框为需要实现的游戏训练项目，实线箭头指向的是语音信号处理的流程，虚线箭头指向的是最终实现的游戏训练项目。 2.界面设计 系统界面依次为初始界面、用户记录界面、环境噪声设置界面、游戏菜单界面以及游戏训练界面。打开系统即可进入初始界面，确认使用系统则首先进入用户记录界面，由言语康复师填写患者的个人信息，保存后进入环境噪声设置，记录环境噪声的目的是在语音处理过程中排除环境噪声对语音的干扰。游戏菜单界面包括训练项目菜单和每个项目下包含的游戏名称图标，用鼠标单击菜单或图标即可进入相应的训练项目或训练游戏。游戏训练界面包含游戏场景、音频控制（录音、播放）、参数设置、录音时间进度条、训练模块及游戏快速切换菜单等。 3.功能模块 声控游戏的功能模块包括：录音及播放模块、语音处理模块、图像绘制模块。其中，图像绘制模块基于DireetDrawSDK开发，能够提供比GDI层次更高、功能更强大的绘图机制，并且同样具有与硬件属性无关的优良特性充分，利用图形图像硬件设备的加速特性为用户提供最优的显示速度和效果。游戏过程中，用户的语音经过语音处理模块进行实时特征参数提取，用于实现声控游戏的后台控制。同时，用户的语音被录音及播放模块保存成WAV格式的音频文件，可以实现音频与声控游戏的回放。 四、总结 针对目前国内特殊教育和残疾儿童康复领域缺乏符合儿童学习能力和理解能力要求的康复教育与训练辅助手段的现状，提出了基于声控游戏的言语障碍康复训练系统。在设计游戏内容时，选取动物、植物、生活用品等常见事物，绘制成儿童喜闻乐见的动画形象，通过成熟而先进的语音信号处理技术，计算得到用于监控各类言语障碍类型的声学特征参数，利用这些监控参数的数值或相关变化规律控制游戏主角的活动，巧妙地融合了康复训练与游戏任务。患儿在完成这些游戏任务的同时，潜移默化地恢复自身的言语语言功能，还能够在游戏中培养自身的优良品格，例如，乐于助人、团结友爱、遵守时间等。 此外，本系统基于Visual C++开发，具有很高的灵活性和扩展性，在后续研发过程中将会添加网络通信模块，患者可以通过计算机网络在家中接受言语障碍评估和康复训练，这也是目前远程教育扩展到特殊教育领域的一种新思路，让“云康复”有机会走进家庭教育，大幅降低康复成本和时间，使更多的言语障碍患者重获沟通交流的能力。