近年来，各种新媒体技术层出不穷，发展速度越来越快，如立体投影（3D Mapping）、实时交互、虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）、混合现实（Mixed Reality，MR）、GLSL等编程语言、实时渲染游戏引擎等，不断被应用于舞台演出。因此，舞台多媒体的创作越来越复杂，不再是单纯的平面视频设计，而涵盖了立体投影实现呈现、虚拟现实剧场、现实增强/混合现实电视/网络直播的交互实现、着色器（Shader）的编写等，使软件、硬件加速整合，并衔接形成新的创作流程；叙事方式也不限于传统的线性叙事，非线性叙事（Nonlinear narrative）、充满不确定性交互叙事（Interactive storytelling）也开始出现。

在创作理念、叙事方式、表现形式变化的过程中，出现了一种现象，创作者在尝试新技术进行创作时忽视了运用新技术的初衷。因此，在舞台创作过程中，如何实现艺术与技术的融合，尤其是在影像的制作中，运用媒体技术丰富视效并实现交互体验，运用蒙太奇手法叙事，是创作者需要关注和思考的。

1 媒体技术在舞台上的应用

从1998年的电影《罗拉快跑》开始，游戏行业就潜移默化地影响渗透着影视、新媒体行业，甚至改变着观众的审美习惯，使现代人习惯于游戏式的快节奏和更具带入感的主观运动镜头。主流游戏引擎（Unity、Unreal）的开发者也野心勃勃地进军游戏行业之外的领域，例如动画电影、演出等。专门为舞台演出服务的实时渲染引擎也开始出现（例如Notch）。

游戏引擎的介入使得实时渲染、虚拟现实、增强现实、混合现实能够在舞台上实现，计算机独立显卡（GPU）的发展使游戏引擎实时渲染的优势得以发挥，省去了视频制作所需的大量渲染时间，极大地提高了创作效率。而游戏引擎在创作虚拟现实、增强现实方面的优势使得叙事形式更加丰富，特别是交互叙事、VR剧场。舞台投射介质越来越立体：球幕、异形成为常态；VJ（Visual Jockey，影像骑师）式的实时交互影像操控开始流行。

游戏引擎、实时渲染技术的发展及其与互动媒体的结合使得媒体艺术更好地融入大型演出、即兴和实验表演艺术中，对舞台多媒体创作带来深刻变化，使得媒体技术应用在跨界艺术创作中成为重要元素。

三维实时预览、立体投影、实时交互特效、多媒体文件的播控等功能开始通过服务器整合，不同功能的硬件设备与服务器无缝衔接，形成新的创作流程。例如英国“Disguise”服务器，包括硬件和“Disguise designer”设计软件，它和渲染引擎“Notch”、红外跟踪设备（例如“BlackTrax”）、惯性动补设备诺亦腾“Noitom”整合进行舞台创作，见图1。

1.1 服务器与动态捕捉设备结合创作

红外跟踪设备（ 例如“BlackTrax”）等动补设备捕捉舞台装置或演员的表演动作，并传输到渲染引擎里绑定的虚拟角色，影像跟随舞台角色活动同步变化，形成有空间层次的交互立体视觉效果，模糊了现实与虚幻的界限（见图2）。

以笔者于2018年为武汉京剧院跨界融合剧《光之谷》创作的多媒体设计为例：在“Disguise”软件中导入舞台模型，舞台由6块活动的盒子和6道卷帘组成，拼接成一块15 m×7 m的投射面。6个盒子根据演出的需要运动。第二幕咖啡厅场景，1个盒子推进到前区，使舞台更有层次（见图3中的3、4、5）；尾声时，盒子依次排开全部推进到前区，与列车驶过城市的影像融为一体（见图3中的7）。

演出使用2台投影机：一台正投，投射活动到前区的盒子；另一台从高处投射后区。投影机的投影位置、亮度（流明数）、拼接融合等参数设置，都是通过Disguise完成的，并确定输出到每台投影机的画面。

演出使用红外跟踪设备“BlackTrax”捕捉舞台盒子的运动，并传输到服务器里，使影像如同活动舞台装置的衣裳一样同步变化，完全附着在一起，形成有空间层次的立体视觉效果。

1.2 多媒体创作舞台绘景式的2D平面发展到“3DMapping”

创作手法从之前舞台绘景式的2D平面发展到立体投影“3DMapping”。=它可以将影像完美地投射到户外建筑、汽车车身甚至钢琴、人的面部等任何可以投射的介质上。游戏引擎的介入使设计制作的视频能够完美、快捷地投射在三维介质上。而高流明激光投影机的普及极大地提升了投影画面的亮度，削弱了传统舞台灯光对它的影响。室内剧场演出的投影介质由传统的天幕，台口纱幕扩展延伸到地面和顶部。

设计师通过巧妙的创意构思，可以实现更加丰富、立体、富有变化的视觉效果，使观众的思维突破二维的限制，拓展出第三个维度的想象空间。视觉影像创作的内容开始摆脱舞台绘景式的具象画面，用简洁抽象的画面表现人物内心世界。同时也增加了叙事的难度，舞台越来越复杂，影像往往分割成好几个单元，创作影像时还需考虑各部分之间的联系。

笔者在2017年12月北京舞蹈学院创作的舞剧《“话说”南泥湾》的多媒体创作中也尝试运用“3DMapping”技术，在天幕、地面和侧幕条投射影像，使其成为相互关联的有机整体。演出使用4台三万流明的激光投影机，其中，2台挂在顶部投射舞台地面，另外2台分别放置在后方左右两侧投射天幕和侧幕条。运用“Disguise”服务器调整投影贴图的叠加和融合，使台下观众能够从屏幕上看到各种瓜果蔬菜从天而落，配合欢快的舞蹈表现丰收的喜悦（图4中的3，图5的中2、6）；巨大的黑色石块从天空落下，给人压抑感（见图4中的6）；拉石块的麻绳从左往右延伸，相互交织、又断开散去，配合演员左右拉伸的舞蹈动作，表现开垦南泥湾与恶劣的自然环境做斗争的艰难（见图5中的5）；地面凹陷，几何状的磨盘在窑洞前旋转升起，与演员围绕拉磨的动作相呼应（见图4中的2）；表现地面起伏运动的抽象三维方块阵列从左往右运动一直延伸到天幕，抽象的几何图形动画与舞蹈动作产生互动，表现了锄地翻土，人对大自然的改造（见图4中的1），使整体视觉效果更加真实统一，具有视觉冲击力。

相应地改变了传统2D多媒体影像的创作模式，预演环节显得尤为重要。前期创作运用了“Disguise”服务器的预演功能，使设计时就能直观地看到舞台合成后的最终影像效果，并及时做出调整。而之前只能看到割裂的单独创作各部分空间的视频影像，依靠经验预判整体效果，进入舞台合成时还需要大量的时间进行调整。

1.3 游戏引擎的实时渲染和编程相结合

一些“Audio Visual Show”（音乐视觉秀）将游戏引擎做好的游戏场景文件（Unity 3D），并运用编程软件（如“Touch Design”“vvvv”等）将场景文件编辑成完整的影像内容，通过MIDI与调音台进行同步，视觉设计师和音乐设计一起即兴操控视觉的变化，而不用演出前一帧一帧渲染好视频文件，既方便快捷又有很强的带入感。这种创作方式最早由游戏引擎Unity的开发师高桥启志郎（Keijiro Takahashi）开创。他本人也组建“VRDG+H”这一探索声音和视觉形象融合的新形式实验演出。如今，这种游戏引擎的实时渲染和编程相结合的VJ式的实时交互影像操控开始流行，中国也有一批媒体艺术家运用这种方式进行创作。

2018年中国（南京）腾讯《烎·2019潮音发布夜》上，沉浸式影像装置“Emergence”配合乐队演出作品《HoydeA》。通过传感器（Kinect 2）实时采集表演者的动作和形态，将获得的数据用计算机算法进行具象化解构，并呈现到舞台的影像环境中，营造一种混沌但有序的失控状态，呈现一个抽象的感受，一个由沙砾构成的虚幻世界，演出结束粒子散落一地，回到真实（见图6）。

图6 《烎·2019潮音发布夜》沉浸式影像装置“Emergence”（视觉设计“In_K” ）

这种VJ式的实时交互影像操控方式强调与演员表演的交互、同步、即兴，更注重节奏感、视觉冲击力，更适合抒发情绪，表现抽象内容。另一方面，利用计算机运算的创作，以其数学独有的美感和频率动态特点，挖深编程艺术独有的蒙太奇手法，增强多媒体在感观层面上的强度和整体结构性，但如果没有美学作为支撑，也容易造成作品千篇一律的感觉。

1.4 虚拟现实技术与沉浸式戏剧表演相结合

近年来，虚拟现实影像这一视觉艺术形式开始出现并流行，并应用于舞台创作中，虚拟现实技术与沉浸式戏剧表演相结合使观众成为演员，身临其境，呈现交互式、非线性叙事的观演模式。一些演出团体建立VR剧场，利用游戏引擎在开发虚拟现实作品方面的优势创作舞台作品。例如“NAXS 涅所开发（台北）”创作的《Render Ghost: XATAR》（VR剧场演出/装置）。2018年，笔者在时代美术馆“全息书写”开幕展演中欣赏了该作品（见图7）。

图7 《Render Ghost: XATAR》的演出形式

《Render Ghost : XATAR》采用VR剧场性装置、仪式剧场的演出形式，创作者尝试将光、声与虚拟现实相结合。观者身着防尘衣，配戴虚拟显示器，在声光与浓雾的包覆之下，徒步绕行于游戏引擎实时生成的信息丛生的人类世高塔与废墟中。在巨大的音效、浓雾、强风、粒子与镭射激光的包围下，虚实边界不断加速交融，以仪式剧场的角度探索人类处于信息历史中的坐标，想象由现实跃向虚拟的巨大坠落、变形、失速与超越，拓宽了感知。

这些表演不同于用预编程的虚拟角色的表演，由专业演员站在动作捕捉台上表演，引领观者完成故事，每一次故事都不会完全相同。这种交互叙事方式也给创作者带来挑战，需要熟悉逻辑性和线性的计算机系统。

5G网路的发展可以使世界各地的观众参与到实时交互叙事的VR剧场中来。虚拟现实开发者（例如Oculus）已经将这一技术与沉浸式戏剧相结合（例如《不眠之夜》“Sleep No More”），开发VR沉浸式剧场。而目前的局限在于，穿戴设备（VR眼镜等）略显笨重，每次穿戴都需要调整。可以期待，随着5G网络的发展，虚拟现实技术与剧场相结合将具有广阔的发展前景，能够在虚拟世界把演员带到观众家中。

1.5 增强现实技术和游戏式的交互叙事的结合

增强现实效果通过电视、网络直播呈现，现场的观众并不能裸眼欣赏到，而特效也需要前期设计好，作为现场舞台效果的延伸，表现实景难以呈现的魔幻效果。增强现实技术可以利用对摄影机影像的位置、角度的精算、图像分析等技术，让屏幕上的虚拟世界与现实场景结合并互动，使实时交互表演成为可能。其核心技术是追踪技术，现阶段的追踪技术主要有主动式红外追踪与被动式红外追踪。

主动式红外追踪需要在整个舞台空间内布置红外追踪摄像头，校准后，具有红外发射装置的发射器就可以追踪红外空间内的位置信息；而被追踪人员身上携带有追踪点设备，当其在舞台上移动，所产生的位置信息会被传回追踪服务器中产生六轴坐标点，送到渲染服务器（如Notch），实时地针对位置渲染视觉特效。主动式红外追踪可以满足现场复杂环境下超大范围内的稳定追踪。

被动式红外追踪是在摄像机自由运动的范围内，将标记点“Marker”贴在地面。校准后，摄像机的运动信息就能实时送到服务器（如Disguise）。被动式红外追踪主要应用于室内光环境稳定的精准追踪。

舞台上运用混合现实通常是这两种追踪方式的整合体，然后再配合渲染引擎的实时渲染达到所需的效果。利用这两项技术解决视觉特效与角色动作或场景的同步性，并进行3D拍摄。

以2018年德国科隆的基督音乐节（Einfach Himmlisch 2018 Christian Music festival，Cologne,Germany）为例，视觉设计师在所有摄像机跟踪设置好后，设计了AR环境作为视觉的延伸，将三维动画软件“C4d”与“Notch”相结合，动画师用“C4D”建模合成动画；将模型导入“Notch”，使用“Notch”的粒子动画和克隆创建特效，Notch可以在现场实时修改AR镜头里动画项目的参数；这些处理好的AR特效文件经“Notch”传输到“disguise”服务器，AR内容被分成RGB渲染，disguise里面的“Notchblocks”模块将关键帧key/matte/alpha转化为信号，与视频实时混合为播放信号，实时传送到网站、电视台播放。于是观众可以看到体育馆里随着音乐升起的教堂、流动的发光河流、似漂浮在古典油画中的云朵（见图8）。

图8 2018年德国科隆的基督音乐节的视觉设计

《烎·2019潮音发布夜》上同样运用了这一技术，将现实场景和虚拟世界结合在一起。晚会使用红外跟踪设备OB camera（Red Spy Stype）安装在斯坦尼康及手持相机上，“Red Spy”发射红外光线，由安装在天花板、墙壁及地板的反射标记反射回相机，实现摄影机实时追踪。渲染引擎“Notch”设计制作特效，并结合追踪到的位置信号，通过Disguise GX2服务器与摄像机拍摄的实景进行实时合成。同时，还要根据现场效果实时操控参数（通过MIDI和osc调整，例如水晶体透明度、火焰速度）。如在歌手王源的节目中，创作者运用增强现实形成一个几何形状的玻璃球体罩住艺人，体现一种与世隔绝的孤独感，随着情绪的渲染球体上升旋转最终破碎（见图9），最后破碎的玻璃形成人头和虎头与巨大的舞美景具衔接，体现一种情绪的爆发、与外界的和解，设计师希望借此表现一种积极向上的态度。在配色上也展现一种年轻时尚的视觉感，符合艺人的形象，主要使用蓝、黄、白的配色，辅以红色点缀。在虚拟之后的LED屏幕视觉部分以抽象的图案铺地，运用色块与线条配合歌曲节奏感，表现一种年轻时尚感。再如晚会结尾的合成特效，整场演出的直播视频会在100小时后删除，因此，最后结尾的主题是“阅后即焚”，同样运用虚拟现实技术，一个虚拟火焰手从天而降，从屏幕到现场“点燃”整个舞台，燃烧超过百万虚拟粒子（见图9）。这类应用增强现实技术的演出大多有国际团队的参与，国内的AR创作在审美、技术、创作理念上均有不小的差距。

图9 王源节目中加入的增强现实效果

图10 《烎·2019潮音发布夜》结尾的合成特效(其中4 by Michaël Al-Fa)

2 运用媒体技术完成舞台影像蒙太奇叙事手法的创作

近年来，舞台上媒体技术的运用往往会出现脱离叙事，缺少艺术审美单纯炫技，与主题关系不大的问题。盲目追求新技术使得传统影像在舞台演出中的运用受到了轻视，游戏引擎（实时渲染引擎）、编程软件以及各种追踪设备的结合使推拉摇移运动镜头，配合演员动作、声音实时交互的特效动画，充满不确定性的非线性叙事得到追捧，以至于整台演出变成了技术的堆砌，且大同小异，给人雷同感。因此，需要沉下心认真思考艺术与技术的关系。

反观一些行业内较成功的视觉工作室，在进行创作时根据内容选择适合的技术手段，如以擅长立体投影、交互编程、游戏引擎的“59Production”工作室在为2019年上海演艺集团偶剧《最后一头战象》创作多媒体视觉时反而回归传统，采用了手绘二维动画素材，服务器合成的方式，颇有返璞归真的意味。创作者考虑更多的是多媒体的使用与舞台演出的贴合度、艺术风格的统一，以及蒙太奇手法的实现。

图11《最后一头战象》的多媒体设计

“蒙太奇”一词来自法语，原义为建筑学上的构成、装配，借用到电影艺术中有组接、构成之意。如何发挥实拍影像的蒙太奇叙事优势，巧妙地与舞台演出融为一体，是创作者需要考虑的问题。

以笔者2008年为上海杂技团杂技秀《浦江情》创作的多媒体影像为例，除了烘托气氛，也开始尝试辅助叙事。在其中的《绸吊》节目中，台口纱幕出现下雨的上海街道，男孩打着伞从纱幕后走出，纱幕升起，男孩一眼瞥见老照相馆里曾经恋人的照片，勾起一段回忆（见图12）。

图12 《浦江情》多媒体影像的设计

传统影像源自电影、动画、电视等视频艺术。在文中提及的舞台影像介质为平面投影、LED屏幕，舞台影像内容为拍摄的影像和手绘、三维电脑动画。它在中国约2007年开始流行，最初主要用作舞台布景的替代，之后将蒙太奇叙事手法融入舞台表演。时至今日，影像的质量越来越高，规格大小从早期标清（物理分辨率720P以下）到高清（物理分辨率达到1 080P）、超高清（物理分辨率达4K或8K像素）。而影像在舞台中的运用手法是否有所突破？

长达四个小时的独角戏《酗酒者莫非》（2016年国家艺术基金资助项目）就是对这个问题的一次大胆尝试。该剧改编自中国作家史铁生（Shi Tiesheng）作品——《关于一部以电影作为舞台背景的戏剧之设想》，导演和视觉设计是欧洲戏剧巨人克里斯蒂安·陆帕（Krystian Lupa)。舞台背景是电影银幕，演员是舞台上一个白日梦游的醉鬼。故事和人间真相都由这个喝醉了的抑或真正意义上的清醒者醉鬼来说出，模糊了现实与虚幻。

舞台影像采用看来更为传统的手法——实拍故事和非线性叙事方式：从固定角度拍摄，使用者从同一个机位表现同一场景的变迁，体现时间的流逝 。

一块常见的居民楼前空旷场地，运送建材的工程车来来往往，掀起地上的滚滚尘土，空地变成了工地；下一幕，冬季的工地覆盖了白雪，洗去了平日的污浊，远处寒夜中的居民楼暖黄的灯火亮起……此处的影像通过对常日呆坐酗酒地方的描述，与舞台上角色的表演相结合，表现主角日复一日、无所事事的孤独生活（见图13中的1、4）。在这里运用蒙太奇表现手法，实时跟拍镜头舞台上主角喝醉酒独自穿过胡同回家迷路，看到左邻右舍怪异鄙夷的目光；用摄像机固定机位俯视实时捕捉主角在床上的呻吟、妻子抚慰和劝解（见图13中的8）的画面；用实拍影像表现母亲与坐着轮椅的儿子在果树下的对话，以影像叙事，并与舞台上演员的表演相呼应。

图13 《酗酒者莫非》剧照

还通过影像辅助来表现梦幻世界，醉鬼借助酒力回到过去，看见自己于父母虚伪的婚姻中诞生（见图13中的9）；警告那个纯真的、童年的自己控制欲望，别做出丢人的事；触摸已离婚出走前妻的手……在表现男主角与跨国追寻爱人的外籍女主角谈论爱情时，影像出现电影《广岛之恋》（1959年由阿仑·雷乃执导）片段表现两人理想中的爱情模样。

同样，笔者在2018年舞剧《苏园记忆》（该剧是国家艺术基金2017年度舞台艺术创作资助项目，跨界融合作品，由苏州歌舞剧院出品，2018年11月首演，分为春、夏、秋、冬四个章节）担任多媒体设计，创作中也尝试借鉴实拍电影的形式，运用蒙太奇手法来辅助叙事，增强作品的情绪感染力和艺术表现力。

影像内容采用实拍和动画特效两种形式：用动画特效表现抽象元素，例如在空中流动的水的影像和舞台上舞动的水袖相呼应（见图14中的1）；在淅沥的雨中缓缓旋转着的一把把雨伞的影像与女子打伞群舞相呼应（见图14中的3）；通过游戏引擎渲染的三维建筑动画运动镜头与男女主角游园的舞蹈戏曲动作相结合（见图14中的2），从主观视角来表现移步换景的园林景观，突出苏州园林的建筑美学和成就……

图14 舞剧《苏园记忆》多媒体影像的动画部分

实拍电影的手法表现男女主角的相遇和表情，眼神、手势这些舞台上难以表现的细节动作。在一幕表现女主角初入园林的场景中，配合舞台上月牙形的景具，特写景别的影像呈现出女主角透过缝隙欣赏园林，左顾右盼略显羞涩又充满渴望的表情（见图15中的1）；当男主与女主相遇时用男女主角的脸部特写表现两人的眉目传情（见图15中的2、3）；男主角伏案构思写作的影像与双人舞相互呼应，似乎在笔尖舞蹈幻化成了文字（见图15中的4）；女主角手部的戏曲动作影像与舞台上男女主角的相遇相呼应（见图15中的5、6），表现了热恋中女主角的细腻情感。影像用4K摄像机高速（120 f/s）拍摄（见图15中的7、8、9），放慢的动作影像更加细腻，体现出真实表演无法感受的动作美感。

图15 舞剧《苏园记忆》多媒体影像的实时拍摄部分

3 结语

媒体技术的发展给舞台演出带来诸多的变化，有理由期待未来会更广泛的应用，给观众带来更强的视觉效果和交互体验。但同时也不能迷信技术，过于追求技术带来的绚烂视觉效果，而忽视演出作品本身内容的创作，应回到媒体技术在舞台演出中运用的初衷，更好地实现技术与艺术的融合。