多模态话语分析的系统功能语言学研究

引 言

多模态话语分析理论是结合语言、视觉、声觉等其中两种或两种以上的模态而展开分析的一种理论模式，语言学理论与现代多媒体技术的有机结合为这一理论的建立提供了可靠依据。人们在与他人交往或在表达意义的过程中，一般都会使用到符号资源，而语言中的语法体系则对由词语组成的句子、语篇等符号资源的使用起决定性作用。与此相类似，视觉中的语法则对人物与事物等因素如何组成不同复杂程度的视觉陈述起着决定作用。

一、多模态话语概述

（一）多形态话语的产生情况

1.生命感知模态的产生

分析生命科学研究成果得知，在不断演化的过程中，生命体逐渐获得视觉、嗅觉、听觉、味觉以及触觉等不同的感知通道，其中，依靠眼睛获取了视觉通道，依靠鼻子获取了嗅觉通道，依靠耳朵获取了听觉通道，依靠舌头获取了味觉通道，而依靠皮肤则获取了触觉通道。生命体通过这些通道，与周围的环境进行了有效的信息交换。此外，在物竞天择，适者生存的残酷竞争面前，生命体为获得生存与繁衍，他们就需利用这些感知通道之间的相互作用，对周围环境中的一切事物做出有效、迅速的反应。一些生物学家认为，生命体在获得以上五种感知渠道的基础上，分别产生了视觉、嗅觉、听觉、味觉、触觉五种不同的交际模态。而在这些模态中，视觉与听觉这两种模态与话语分析具有最为紧密的联系。近些年来，随着科技的进步与发展，其他三种模态也逐步应用于话语交际中。例如在触觉模态方面，人们可以利用数据手套，在将手指弯曲角度进行传递的基础上，将各种三维手势打出来，并通过有机结合语言与手势，进而促进人机对话朝着与自然人际对话相接近的方面发展。

2.模式、媒介、模态三者之间的区别

模式、媒介以及模态这三个词语经常出现在多模态话语的分析中.在意义上，它们之间存在一定的联系，但由于没有具备非常明确的界限，经常导致误解及混乱的发生，因而对其含义展开一定的说明是极为有你要的。

通常情况下，模式指的是与话语基调、话语范围并列为语境三要素的话语模式，其本意指的是人们交流的渠道，例如口头模式、书面模式、电子模式等。这些话语模式在实际的变化与使用过程中，将会对信息的流动情况产生一定的影响，进而对语篇应具备的特征造成最终影响。媒介则指的是人们社会交际过程中使用的相关技术，就严格语言学及符号学意义方面进行分析，媒介算不上语言学理论中的术语。另外，与情态相同的是，模态在英语中也被叫做modality，但二者所指代的事物存在一定的差异性，情态指的是在语言系统中，说话者对事物的必要性表明态度或对事物的可能性进行判断的一种语义系统，模态则指的是包括语言、颜色、图像、音乐、技术等多种符号系统在内的交流渠道与媒介。

（二）多模态话语的主要识别标准

从性质方面进行分析，多模态话语指的是人类在社会交际过程中对多种感知通道的综合使用结果，因此人们通常认为多模态话语分析是跨学科的，而不应局限在语言学的研究范畴中。实际上，多模态分析在经过一段时期的发展，已突破了语言学的囿限，扩展到了哲学、人类学、心理学、法学、符号学、美学等众多领域，其研究对象也已从语言文字逐步扩展至图片、音乐、影像，以及网页设计等众多社会符号系统中。而对于多模态话语的识别，主要有以下两条标准。

其一，当前语言学界比较认可的识别标准便是观察涉及到了多少种模态种类。如话语使用的模态数量仅有一种，则为单模态话语，例如我们通过使用听觉模态来收听广播，使用视觉模态来阅读书籍等。此外，同时使用的模态数量为两种或以上的话语，即为多模态话语，其中，也有相关学者将同时使用了两种模态的话语称之为双模态话语。在实际生活中，人们通过可视电话进行交际的过程中，双方均需要用眼睛观察对方手势与表情的变化，还需用耳朵听讲话的内容，这种话语形式即为双模态话语。同时使用三种或以上模态的例子有：用手机进行交流时，需用嘴讲，用耳朵听，有时还会用手收发信息，用笔记录信息等；在利用电脑上网时，还需用耳朵听图像发出的声音或文字的录音，用眼睛去看屏幕上的文字与图像，在技术条件允许的情况下，还可用鼻子去闻电脑发出的某种气味等。

其二，通过观察涉及到的符号系统数量来进行识别。在一些话语中，虽然涉及到的模态只有一种，但其包含的符号系统达到了两个及以上，例如，画册虽然涉及的模态只有视觉，但有文字与图画；广播剧尽管只涉及听觉模态一种，但其具有文字内容与背景音乐。因此，我们也可将这些话语看做是多模态话语。

二、多模态语篇及其分析

多模态语篇是融合了文字、声音、形象等多种交流模态来对信息进行传递的一种语篇，而多模态研究便是应用并加以扩展某种语言学理论。我国语言学专家张德禄先生以系统功能语言学的理论框架为依据，从文化的语境，话语的意义，情景语境，话语形式及其之间的关系，以及媒体五个层面出发，提出了多模态话语分析的理论框架，这一理论框架在充分遵循系统功能语言学传统研究形式的基础上，将纯语言的话语形式拓展至语言、声觉、图觉，以及感觉等多个方面，并将多模态话语研究的难点与重点放在了话语形式间的关系上面，进而将话语形式之间存在的相互关系进行了非常详细的阐述与说明。以下便以韩礼德的系统功能语言学理论为基础，对多模态话语分析展开进一步研究。

三、多模态话语分析的系统功能语言学理论及其研究

（一）多模态话语分析的系统功能语言学理论

韩礼德在其研究理论中，强调语言为一个符号系统，并且具有一定的特殊性，他还指出语言具有将其他与系统相符的事物表达出来的能力，是一门综合各种意义系统的工具。此外，韩礼德还认为人们对语言的各项要求，也即语言应当完成哪些功能主要由语言性质决定。这些功能尽管具有多种变化，且具备无限可能，但是依然可以将其归纳、总结为更具有概括性的有限功能，也即所说的纯理功能或元功能。他的纯理功能或元功能主要包括概念、人际、语篇三个方面的功能，其中，概念功能指的是语言对人们在包括内心世界在内的现实世界中的各种经历进行表达的一种功能；人际功能指的是说话者通过运用语言这门工具，参加社会各项活动的一种功能；而语篇功能则指的是语言在信息组织过程中所发挥出的功能。

一系列的事实表明，将语言作为形成意义的一种社会符号，并从社会文化语境与语言之间的关系出发，对语言展开研究的这种理论，相比于其他的理论来说，在语篇分析中具有更强的实用性与可操作性，因而对语篇分析也更为合适。在韩礼德的论述当中，他将这些纯理功能看作是人类所有交际系统中均必须具备的因素，除语言以外，还可扩展至其他更多的符号资源，例如对声音、视觉图像、电影、身体动作、建筑设计以及电子媒体等多种多模态交际方式的研究工作。我们在把图像作为一种社会符号的前提条件下，将功能语法当中的概念功能、人际功能与语篇功能这三种功能延伸至视觉图像的具体分析过程中，进而创建了以概念、互动及构成三种意义为核心，以图像分析为基础的视觉语法。

（二）多模态话语分析的系统功能语言学研究

1.再现意义研究

克瑞斯和勒文（Kressvan Leeuwen）在分析功能语法相关概念及意义的基础上，提出了多模态话语再现意义这一理念。以图像特点为依据，可分为概念再现与叙事再现两大类意义。其中，概念再现与功能语法描述的存在过程与关系过程类似，其主要分为分类、分析及象征这三大过程。而叙事再现主要包括行动、反应、言语以及心理等过程。有关语言专家学者指出，在一幅图片中，让图中各种元素形成斜线，一般情况下为色彩感强烈的对角线，进而形成了矢量，而矢量即为叙事图像的重要标志。在叙事再现行动这一过程中，动作者除了自身可以构成矢量外，还可作为矢量发出的参与者。在图像中，参与者一般是最为突出的，我们可以从他们的尺寸，在构图中占据的位置，色彩的显著性、饱和度或聚焦程度，与图像背景形成的对比，以及心理凸现的程度（例如人形及人脸，对于观看者而言，均具备显著的心理凸现性）等众多方面进行判断。

2.互动意义研究

在多模态话语中，功能语法具备的人际意义主要以互动意义的形式体现出来。展开具体分析，互动意义指的是有关图像制作者，图像表征的人物、事物与观看图像人员之间存在的关系。在对图像进行分析的过程中，接触这一概念指的是图像中的参与者通过目光指向进而与图像观看者建立起想象中的某种接触关系。当图像中参与者的目光与观看者进行直接对视时，就好似在向图像观看者索取什么，对于这种图像，克瑞斯和勒文将其称之为索取图像。当图像中的参与者不再是具有生命的人或动物，或是参与者的目光不再指向图像观看者时，也便没有了想象的目光接触，对于这一类图像，则被叫做提供类图像，也即向观看者提供一定信息的意义。

3.构图意义研究

多模态话语中具有的构图意义，与功能语法具有的语篇意义是对应的。构图意义一般有信息值、取景以及显著性这三种资源。其中，信息值的获得是通过在构图中放置相关元素而实现的，对于任何一种特定的元素，其在整体当中的角色，主要由它是被放置在中间还是边缘地区，左边还是右边，页面或图片空间的上方还是下方而决定的。其中，上方与下方产生的信息值是不相同的。倘若某些因素被放置在了上方，而其他的一些因素被放置在了下方，那么位于上方的信息值是理想的，而位于下方的则是真实的。其中，理想的指的是这些因素具备概括性的实质或信息的理想化，因而为图像信息最为显著的部分；而真实的则指的是细节等一类的更为特定的信息，或者是实际性更强的信息。

四、结语

综上所述，多模态话语分析的系统功能语言学研究，其意义在于可有机整合语言及其他相关的意义资源。在分析研究过程中，我们不但可以看到在意义交换过程中，系统功能语言具有的作用，而且还可看到颜色、图像以及音乐等符号系统在这一交换过程中产生出来的效果，进而更准确、全面去解读话语意义，从而对人类如何通过对多种模态进行综合使用，从而达到社会交际目的进行探讨与深入了解。