读书小札 Introducing Multimodality评介

多模态研究最新动态...

新书推荐

成书背景

（1）自20世纪末以来，多模态研究日益受到不同学科的重视。研究者们渐渐发现：要充分地研究意义的表达和识解，多模态是无法回避的问题。然而多模态并非新生事物，它伴随着人类交际的始终。我们很难找到纯粹单一模态的交际行为：即便是纯文字的交际，也存在着字体、颜色、标点、语言、载具等不同的模态资源，它们在不同的文化环境下有着不同的意义发生机制（van Leeuwen 2015）。与之相对应，多模态研究同样历史悠久(Norris 2015)，早期符号学的研究虽然大都关注单个符号的运作机制，但是这些研究为20世纪末多模态研究的全面展开奠定了基础。跟以往的符号学研究不同，多模态研究基于一个强势的理论出发点：即，人类的交际并非都由语言（或者其他单一模态）实现，相反，非语言模态在意义制造(meaning- making)中的作用甚至要远远大于语言，因此对多模态交际进行系统研究就变得十分迫切。这构成了该书的基本背景。

（2）近20年，多模态研究在不同的学术路径下取得了丰硕的成果。但是值得注意的是：不同学术传统在对待多模态这一问题上往往持有不同的理论立场和方法论原则。若要讨论多模态，首先应该搞弄清楚该多模态分析是基于哪种学科范式和学术路径，否则就容易产生认识论和方法论上的混乱。

It is very difficult and potentially problematic to talk about multimodality without making explicit one’s theoretical and methodological stance.(P1)             Jewitt, et al. (2016).

因此，对各个学术传统的多模态研究进行梳理，把握它们的区别与联系就变得十分有必要，《多模态导论》的及时出版有效地回应和解决了这一问题。

   Introducing Multimodalityis a timely publication aimed at teasing out diverse major approaches to multimodality – their key concepts and methods, differences and connections.

Guo,2017

二、全书内容

全书共7章：

第1章引入多模态研究，追溯了multimodality术语的起源，介绍了多模态研究的基本情况以及最新趋势，提出社会文化视角下多模态研究的三个主要路径：系统功能语言学(SFL)，社会符号学(SS)和会话分析(CA)。这三个路径分别在语言学、符号学和社会学的学科体系中占据重要的一席之地（虽然语言的社会符号学观是系统功能语言学的基本立场，但是在具体的多模态研究中SFL和SS存在系统差别，详见郭恩华（2016））。在本章，作者突出一点：多模态研究如果要维持最大限度的概念清晰度和一致性，首先需要建立有效的工作定义和假设。

第2章介绍了多模态研究的重要价值和前景。

第3、4、5章分别介绍了系统功能语言学(SFL)，社会符号学(SS)和会话分析(CA)路径下多模态研究的基本问题，如多模态如何脱胎于这些这几种学科体系，并形成各自的基本立场、关注点、研究取向、研究目标、研究问题、语料特点、研究方法等。建议读者对这3章进行纵向比较，并且参照Jewitt (2014)，因为这3章里面有很多案例都在Jewitt (2014)能找到详细的介绍。关于会话分析路径的多模态研究的详细探讨，敬请关注郭恩华、张德禄（2017）。

While each of the three chapters has to maintain adequate focus on each approach, it is up to the readers to read across the three chapters and refer back to Jewitt (2014) to gain deeper insights into the interrelations between these approaches. For example, cross-referencing Chapters 3 and 5 illuminates the fact that the key notion system in SF-MDA has no place in CA practice, hence little compatibility while examining system in CA (Guo 2017).

第6章介绍了其他5种混合多模态研究的范式：地理符号学(geo-semiotics), 多模态互动分析(multimodal interaction analysis), 多模态民族志(multimodal ethnography), 多模态语料库分析(multimodal corpus analysis), 和多模态感知分析(multimodal reception analysis)。这五种多模态分析路径往往是对既有多模态研究的某些不足的补强或既有研究框架的进一步发展，比如多模态互动分析(Norris 2004/2014)分别从中介话语分析、社会符号学以及互动语言学中汲取养分，突出了模态密度(modal dentisty)以及情景化互动(sitauted interaction)等概念的重要性（详见张德禄、王正 2016）；多模态语料库分析(Bateman 2008；O’Halloran 2014)主要得益于多模态分析技术手段的进步，其中Bateman的多模态语料库研究具有较强的语料驱动特征，它使得针对大规模语料的系统分析成为可能，从而可以有效地验证既有多模态研究的成果和假设。

It is a response to multimodal studies that focuses on analysing a small number of texts, offering a limited empirical ground to generalize. In short, corpus-based multimodal analysis calls for systematic analysis of larger corpora of texts to provide a stronger empirical grounding for multimodal theory.(P122)                                        Jewitt, et al. (2016)

在前6章的基础上，读者基本上对多模态分析的主要路径有了大体的了解。在第7章，作者水到渠成，着重讨论了如何设计一项多模态研究。本章一方面对全书提纲挈领、归纳整合，另一方面突出本书的工具性和教学性。作者结合实例，从如何选择研究路径、如何提出研究问题、如何设计研究方法、如何收集转写语料，如何兼顾研究伦理等多个侧面讨论了多模态研究的具体设计和实施。在这里，作者着重强调一点：在多模态分析中，研究问题的提出和研究方法的设计必须要和其研究路径的基本理论预设相一致。没有哪一种多模态研究范式可以包打天下，具体用哪一种合适则要根据研究者自身的特点、所设定的研究问题以及语料特征等来确定。

In other words, research questions and methods must be aligned rather than incompatible with their theoretical underpinnings. There is no so-called “all-purpose” or “best” approach; the choice of an approach is connected with the “researcher’s disposition, their concerns and context” (131). For example, mutimodal corpus analysis, which typically draws on SF-MDA and SS theory of meaning, is barely coherent with and useful for CA-based research questions (Guo 2017).

最后，本书结尾部分还设立了一个自学单元，这进一步突出了本书的教科书属性。

The book concludes with an optional self-study guide, which consists of seven units. Each unit serves as a companion to its corresponding chapter by encapsulating its main content, asking core questions and providing exercises, tips, and suggested resources in order to help readers to reflect on and familiarize with different approaches and enhance their hands-on skills in conducting multimodal research.

Guo (2017)对本书的总结是：

It should be noted that in this volume “a fundamental premise of multimodal approaches is a concern with the cultural and social resources for making meaning rather than with the senses” (84). One might want to interrogate the justification of this claim, as is evidenced by progress in cognitive and psychological paradigms within multimodality which have also yielded some significant insights in inner aspects of meaning-making. (Forceville and Urios 2009; Gibbons 2012). However, just as Jewitt (2014) argues, “the theoretical development of multimodality is an ongoing one” (450), the approaches discussed in this volume are by no means “intended as an exhaustive list” (109).

Overall, this book offers a comprehensive and insightful overview of up-to-date approaches to multimodality with detailed accounts of both their shared and distinctive theories of meaning and methods of analysis, using an array of representative study examples as illustrations. It is very comprehensible, requiring “no prior knowledge in linguistics or semiotics” (ix) on the part of readers and thus serves as a good starting point for novices in multimodality. It is also an excellent reference for established scholars who wish to deepen their insights into the complexities involved in various strands of multimodal research.

可以说，本书是迄今为止笔者见过的最适宜于研究生使用的多模态分析方面的教材。

本期特邀编辑 同济大学外国语学院15级博士生郭恩华  （本文为原创评述，若引用请注明）

相关链接：

Links of Guo (2017) at Social Semiotics

科研助力| 上海语言学通讯博士文库书稿征集

学术会议| 第六届新西兰话语分析会议:多模态话语分析（12月6-9号）

科研助力| 2017年上海交通大学马丁适用语言学研究中心--系统功能语言学专题培训课程

学术会议|马丁适用语言学研究中心"适用语言学与翻译研究国际会议"通知

学界新闻| 马丁适用语言学研究中心举办“从单模态到多模态”语料库研习班

    关注 上海语言学通讯