《现代电影技术》｜基于LED背景墙的虚拟拍摄在电影和电视制作中的应用研究

  目前，基于LED背景墙的虚拟摄制技术已在国内外诸多影视作品中得到初步应用，该技术颠覆了传统单向线性的制作生产模式，通过摄影机追踪、光照匹配、实时渲染、LED显示、人机交互等关键技术的应用，使前期制作的内容可以直接用于合成最终画面，改变了内容生产流程，提高了制作生产效率，并给予创作者更加广阔的创作空间，是影视拍摄制作领域的前沿技术，同时也是近年来影视院校、科研机构的研究热点，以及影视制作公司、电视台和网络视听企业的探索和实践方向。该技术尚存在视角偏差、显示偏色、景深匹配等局限性，加快开展有关技术的试验与研究、标准的制定，营造良好的产学研用环境非常必要，同时也是《“十四五”中国电影发展规划》“推动电影摄制提质升级”的题中之义。《基于LED背景墙的虚拟拍摄在电影和电视制作中的应用研究》一文，从电影和电视两个领域的应用场景出发，梳理发展脉络，对其使用需求、关键技术、实施方案及设备选型等异同进行了对比分析，总结了应用的优势与不足，能够对影视行业开展相关研究起到指导和推动作用，促进不相同的领域基于LED 背景墙的虚拟摄制技术应用相互借鉴，具有较高的参考价值。

  本文从电影和电视两大应用场景出发，梳理了基于LED背景墙的虚拟拍摄技术在不同应用方向中的发展脉络，对虚拟拍摄在电影和电视中使用需求、关键技术、实施方案及设备选型方面的异同进行了对比分析，总结了虚拟拍摄在电影和电视中应用的优势与不足，对我国虚拟拍摄技术的应用前景进行了展望。

  随着计算机图形技术、LED等终端制造业的成熟和电影电视行业的需要，虚拟拍摄技术近年来取得了快速的提升。虚拟拍摄技术是在传统绿幕拍摄方式的基础上发展而来的，以实时渲染、数字资产、摄影机跟踪、视频播控、LED屏幕呈现、画面融合等技术为主要实现方式，实现背景屏中呈现的虚拟场景画面与屏前真实场景中的角色在摄影机视角下保持正确的透视关系，最终达到虚实结合、所见即所得的拍摄效果。本文中所提的虚拟拍摄，特指基于LED背景墙的影视拍摄技术。近年来，虚拟拍摄技术已受到影视领域广泛关注，也使内容生产流程发生了全新的变化，存在广泛的应用前景，是影视及网络视听领域行业高质量创新发展的需要。

  目前，虚拟拍摄技术在国内外的影视拍摄中均有不同程度的应用，而电影和电视是虚拟拍摄技术最重要的两大应用场景，由于制作端和播出端上的差异性，使二者对虚拟拍摄技术的具体应用需求也有所区别。通过对电影、电视两大领域虚拟拍摄技术的应用情况做对比研究，对虚拟拍摄的技术探讨研究、设备研发制造，以及未来更具针对性的应用有着重要的现实意义。

  电视领域对虚拟拍摄的应用无论从时间维度还是从普及程度上，均要早于电影领域。直播技术的产生打破了先制作再播出的传统内容制作流程。随技术的持续不断的发展，一种更新的节目制作系统诞生了，也是虚拟拍摄技术在电视节目录制中最主要的表现形式——虚拟演播室系统。虚拟演播室最早在1993年的IBC展会上正式面世，经过数十年的发展已经较为成熟。近几年来，又产生了基于LED背景墙的新一代虚拟演播室系统。

  目前，全球范围内有数十家公司已开发或正在开发这种较为新颖的节目制作系统。我国虚拟演播室的建设起步较晚，早期发展中所运用的设备主要依赖进口产品。随着相关产业支持力度的加大、自主研发能力的提升，各种软硬件设备也逐渐国产化，德火、七维、澜景等一批国内企业致力于自主技术的研发，与国内重要新闻媒体机构深度合作，成功将虚拟拍摄技术应用于新华社太空航天员“面对面”采访、bilibili跨年晚会、央视中国诗词大会等不一样的广电综艺娱乐节目中，如图1所示。政策上的支持与技术上的提升使我国的虚拟拍摄技术迎来了加快速度进行发展的机遇期，也使我国电视节目中所应用的虚拟拍摄技术与世界领先水平的距离不断缩小。

  虚拟拍摄除了在电视节目制作中的探索应用之外，针对电影、剧集和广告的虚拟拍摄技术也逐渐发展起来。从最早使用虚拟制作技术来制作动态预览（Previz），在实拍中运用动作捕捉（Motion Capture）和运动控制（Motion Control），到电影《阿凡达》（Avatar，2009，詹姆斯·卡梅隆）使用的电影虚拟化制作，使绿幕影棚中的拍摄团队可以直接在监视器中看到经过合成的最终画面，到现在的新一代基于LED背景墙的虚拟拍摄制作技术，电影行业也在尝试运用新技术为创作带来更多可能。

  目前，欧美等国家在电影虚拟拍摄技术应用中处于相对领先的地位，北美及欧洲已有上百个摄影棚开始了基于LED 背景墙的电影虚拟化制作改造。据统计，目前已有超过210部影片使用了虚拟拍摄技术。从早前阶段《遗落战境》(Oblivion，2013，约瑟夫·科辛斯基）、《地心引力》（Gravity，2013，阿方索·卡隆）等影片对虚拟拍摄技术的尝试与探索，到该技术在众多电影与剧集中的应用，国外虚拟拍摄技术正加快速度进行发展。2019年，工业光魔（Industrial Light & Magic）、史诗游戏（Epic Games）等多家公司为美剧《曼达洛人第一季》（The Mandalorian Season 1，2019）所打造的Stage Craft就是这里面最具代表性的虚拟拍摄系统。

  国内的影视机构、科研院所和企业先后开展了对有关技术的研究。北京电影学院建设了基于LED 背景墙的虚拟摄影棚实验环境，根据影视拍摄需求来做探索实践；时光坐标基于LED的数字虚拟拍摄技术，在横店搭建了LED虚拟摄影棚（图2），探索了虚拟拍摄的制作流程；博采传媒历时3年研发了包括消除摩尔纹、零延时相机追踪、虚实跟焦系统、极端天气拍摄等多个核心技术，被好莱坞制片公司评价为下一代虚拟制片技术解决方案。同时，针对影视剧的虚拟拍摄技术已在《异星救援》《山河表里》《未知行星》《开端》《诞辰》等诸多影视剧作品中得到了某些特定的程度的应用。

  虚拟拍摄的关键技术方法最重要的包含LED屏显示及播控、摄影机跟踪、实时渲染和协同控制几个维度。电影与电视领域的虚拟拍摄对这几种关键技术方法均有不同程度的应用。

  在早期的电视虚拟演播室中，节目制作中需要借助色键技术完善具体的抠像工作，这样做才能够接收准确的数据信号，而且还要依托蓝色幕布凸显制作效果。［1］近年来，基于LED背景墙的虚拟演播室技术获得了广泛应用，减少了以往所需的抠像二次合成环节，做到了即拍即得。电影虚拟拍摄也逐渐采用LED屏幕墙作为背景，LED背景墙由多个显示模组拼接而成,可按需求组合为不一样的规格和分辨率,形成 CAVE式四面环绕或180°以上环形排列的大型背景墙结构服务于电影虚拟化制作。［2］根据摄像机的视角进行画面的透视矫正，通过LED播控服务器将实时变化的画面同步呈现在多面LED屏上。

  在摄影机跟踪方面，电影和电视中所采用的跟踪技术相类似，包括摄影机位置跟踪和摄影机焦距焦点跟踪。其主要原理为通过架设于摄影机云台或镜头上的机械或红外传感器捕捉摄影机的运动变化参数，生成较为精确的跟踪数据，并将信号输入至渲染服务控制机中的虚拟摄影机，完成拍摄位置正确的透视关系建构以及焦点、焦距等镜头参数的传输，使现实摄影机与渲染引擎中构建的虚拟摄影机各参数保持一致，形成虚实结合的全新画面。

  实时渲染一直在游戏领域得以应用，基于绿幕的电影虚拟化制作已经将实时渲染画面用于现场预演，随着渲染技术的进步和渲染效果的提升，实时渲染技术能确保电影虚拟化制作现场LED背景墙画面和光照效果更加线］在虚拟拍摄中，最重要的包含渲染服务控制主机，用于操作和控制渲染服务器，预览系统拍摄信号，采集跟踪数据，进行资源同步等操作。渲染服务器用于实时渲染引擎输出画面，一般会由多台计算机集群渲染，并根据电影与电视拍摄制作的不一样的需要渲染出符合参数标准的植入元素或背景画面。

  不论是基于何种应用场景的虚拟拍摄技术，都不同程度地有着协同控制的需要。要保证渲染前景、背景、LED屏与摄影机实时拍摄、渲染合成的画面严格一致，必须将以上系统来进行同步。支持这些协同数据的传输协议也很重要，目前有广泛使用的UDP、LTC同步、VRPN、FREE-D等。以同步发生器为核心的控制管理系统，可以使虚拟拍摄技术中各种软件、硬件连接为一个整体，使创作者在拍摄期间能够对总系统协同匹配运行做全面调控校正。通过同步发生器下发的时间码及播控系统的同步控制，实现播控服务器、渲染服务器、LED屏系统、定位系统及摄影机的整体调控，摄影机拍摄输出内容与合成端渲染画面一致。

  近些年电影和电视出现了某些特定的程度的融合趋势，一些制作精良的剧集和广告，借鉴了电影的拍摄和制作手法，技术上和电影已差别不大。另外，网剧、网络电影、真人秀的出现，也让电影和电视的界限越来越模糊。本文所说的“电影领域”，包括了传统电影、网络大电影、剧集等对呈现效果要求比较高的影视内容，而“电视领域”主要是指有直播需求的新闻报道、综艺娱乐节目、访谈节目，以及传统电视剧及小成本制作的影视内容等。

  基于电视节目、电影制作两种不相同的领域在创作思路、制作流程和呈现要求上的不同之处，使虚拟拍摄技术在不相同的领域中的具体应用方向和技术方法有所区别，并且同一技术在不相同的领域中的名称和设备使用也存在着一定的差异性。

  制作需求是电视节目和影视制作对虚拟拍摄技术具体应用手段不同的根本原因之一。在电视节目制作中，许多内容有着直播需要，如晚会、新闻播报等。以此为切入点，广电综艺领域对虚拟拍摄的应用需求主要有以下几点：（1）提升节目品质与制作效率；（2）减少相关成本，节省人力物力；（3）保证即时性，可以生成直播所需的实时内容；（4）场景环境的可重复使用。

  电影制作领域对虚拟拍摄技术的应用，主要是通过后期前置化，尽可能在拍摄中就能够得到与最终成片效果相接近的素材画面，节省后期时间，提高效率。需求主要有以下四点：（1）控制拍摄成本、缩短拍摄周期；（2）在前期拍摄中，为演职人员快捷、同步地提供更接近最终效果的直观画面呈现；（3）突破时间场地条件制约，使场景的构建与调整更自由、可控；（4）针对传统绿幕溢色及反射/映射材质光效错误问题的更优解决方案。由于电影、广告、MV等作品不需要具备直播属性，因此制作周期相较于直播类节目更加充裕，对画面内容的整体质量也有着更高的标准。

  不同的需求也使具体技术的应用产生了差异性，节目的直播和互动需求，使电视虚拟拍摄加入新媒体接入、基于手持移动电子设备的触摸点评系统、图文制播功能等技术模块，同时为保证实时播出的稳定性，对数字资产、植入元素的精度一般不做过高要求，但在设备协调程度、系统运行保障、灯光、背景转换的实时性等方面要求更高。同时，电视节目制作中普遍会应用到虚拟植入技术，将预先制作完成的三维模型、动画整合到演播室实景中，通过传感装置将虚拟元素与实拍画面进行线性叠加，进而实现虚拟物体与主持人的互动、广告植入，还能由交互系统控制植入元素的播出，添加各种包装元素，实现各系统的配合使用，丰富节目的画面呈现效果。

  另外一个区别，就是在电视领域的虚拟拍摄中，较多使用XR虚拟拍摄，它是在绿幕拍摄和虚拟拍摄的基础上发展而来的升级方案，这一技术很好地解决了虚拟拍摄场地和成本的问题。拍摄现场LED屏的宽度、高度是有限的，景别的切换再加上拍摄机位的运动，拍摄画面很容易超出现场屏体覆盖的范围造成穿帮，而XR虚拟拍摄技术能将这一部分穿帮的画面用虚拟画面替换掉，通过“XR扩展”将LED屏幕之外的画面和摄像机录制的有边界的画面实时合成，最终达到虚实结合的视觉效果。适用于小型节目、低成本拍摄和直播的需求，使内容产出更加快速、高效，使画面呈现更为丰富、多元。

  电影制作所使用的虚拟拍摄技术则有不一样的侧重点，因为电影的制作还会涉及后期环节，没有实时播出的需要，再加上前景实时合成画面的不可逆性，因此电影制作中对于AR前景、XR背景等虚拟植入技术鲜有使用。为了拍摄到更真实、精度更高的电影级画面，电影虚拟拍摄中对LED屏幕参数、数字资产精细度、渲染的真实性和光影效果、真实摄影机与虚拟摄影机的同步匹配关系等方面有着更高的标准。

  区别于之前的虚拟化制作或者现场预演，基于LED背景墙的虚拟拍摄技术更强调后期前置，致力于将对影片最终呈现的控制权交还给现场的导演和主创手中。［3］因此在拍摄之前，需要提前将相关的数字模型等虚拟资产制作出来。主创团队可以在拍摄现场运用手持移动或VR设备，完成对场景多角度、全方位审阅查看的勘景工作，实时做出模型修改、色彩校正、照明控制等一系列工作。经过调整后，由多台设备同时对内容做渲染输出，与跟踪系统所捕捉到的摄影机参数相互匹配，进而获得最终的拍摄画面。基于 LED背景墙的电影虚拟拍摄系统如图3所示。

  与电视相对固定的机位视角不同，在电影虚拟摄影棚中，表演的核心区域范围一般是几十平方米（根据详细情况设定）。该范围内会有大量的中近景及特写镜头出现，演员与环境内的道具有大量的互动接触，一般此范围内的场景要进行线］

  除中近景外，带人物与宏大背景关系的全景镜头也是电影中十分常见的，为满足多种情况的拍摄需要，影视应用的虚拟拍摄系统往往面积更大，广告、MV等作品所使用的LED面积一般在50~200平方米左右，而电影拍摄的LED面积普遍在200~1000平方米，立面屏一般会用环形屏幕，也会依据使用需要添加天幕。由于全景景别的拍摄需要更高更宽的背景屏幕，因此用于电影拍摄的LED屏高度一般不低于6米，主屏的宽度不小于10.6米（按照16∶9的画幅比计算）。由于拍摄距离相对来说还是比较远，因此LED屏的点距可以相对较大，这样一方面能够控制屏体的成本，另一方面能获得更高的屏体亮度，提供更接近大自然的光影效果。

  由于同时使用LED屏显示与照明，并且在系统中存在别的照明设备，需要匹配校正的内容较多，并且由于LED屏幕的发光特性导致色彩偏差，要让电影虚拟化制作系统准确地还原色彩，有必要进行色彩校正与照明匹配。［2］

  虚拟拍摄系统通过多面LED屏幕组成一个内容显示空间，但在电视节目的制播过程中，虚拟拍摄系统不仅需要出示可供拍摄的画面背景，画面前景中的包装文字或虚拟植入元素也同样重要。因此，在电视节目制作中，根据场地的不同特点，LED屏幕的设置可分为三种类型：L型适用于小型演播室，U型适用于场地较小的单一景区演播室，而中大型演播室通常用弧面型。通常立面屏点间距不大于1.5mm，地面屏点间距不大于2.5mm，立面屏幕分辨率一般在4K（3840×2160）以上。

  在电视节目制作中，除用于为LED背景实施提供画面内容的渲染服务器外，为满足图形在线包装的需要，还会另外配置AR渲染服务器，在真实环境中添加置于主持人前景的虚拟物品或虚拟效果，也会在虚拟植入元素上运行视频开窗、播放图片视频等功能，形成LED画面（置于后景）-主持人（位于中间）-AR虚拟元素（置于前景）的三层叠加画面效果，丰富了整体环境的层次感。同时，通过主持人与虚拟元素的互动使节目表现形式灵活性更好，传达给观众的信息也更加直观具体。基于LED背景墙的虚拟演播室系统如图4所示。

  电视虚拟拍摄系统一般配置有与主操作系统相匹配的各种灯光设备（如平板灯、聚光灯、投影灯、摇头电脑灯等），通过编辑调整灯光参数，将真实空间与虚拟空间所有类别灯光进行统一布局与调控，用于编排节目的动态光影变化，使动态内容制作达到自然一致，保证总系统光影统一协调。

  电视节目制作所使用的虚拟拍摄系统通常还可以对环境音效进行输出，增强场景的感染力与听觉感受，场景内部的视频素材和外部接入信号都能够直接进行音频的调整切换与输出，打造更丰富的视觉与听觉享受。

  创作思路、制作流程的差异性是电视节目和电影制作中虚拟拍摄系统所采用的配置与设备有所区别的另一个根本原因，通过对电视节目和电影制作两个方向虚拟拍摄系统实施方案的对比，两者之间的不同较为显著。

  在LED屏幕显示方面，电视虚拟拍摄技术多在综艺访谈、新闻播报等类型的节目中使用，这类节目所需的场地空间并不大，因此LED屏幕面积通常在200平方米内；而电影虚拟拍摄多需要尽可能真实地模拟户外或宏大场景，因此对LED屏幕面积也有更高的需求，此外，电影拍摄中LED屏幕一般不采用地屏，而会进行地面的置景，以提高地面与人物接触面的真实程度。由于空间大小的差别，以及拍摄机位的距离较远，用于电影虚拟拍摄的LED屏点距可以大一些，在P2至P4之间，特别是用于照明的顶屏，一般在P5以上。但是电影领域使用的LED对屏体的帧率、亮度、面板的吸光能力、显色性能、封装工艺等方面都有更高的要求。同时，电影拍摄的场景变化较多，因此LED屏幕的构成形式会比较多，如圆形、半圆形、方盒形、胶囊形等，而且有时会组合使用多种形式的屏幕。

  在摄影机跟踪定位方面，电视节目多为固定位置的对话、访谈或播报，主持人通常只进行小幅度的动作和移动，因此是否配置跟踪定位系统多会依据情况而定；而电影拍摄时人物和摄影机的运动幅度远超电视节目，镜头设计也更为灵活，尤其是人物的奔跑、战斗等状态，摄影机快速的推拉摇移等，本就具备一定的拍摄难度，因此跟踪定位系统所提供的技术上的支持对保证电影画面质量的作用至关重要。目前在电影领域的虚拟拍摄中，由于对定位精度、灵敏度和延时要求极高，最优选择主动定位的方案，如激光、红外光学定位等技术，同时为解决其同步问题，还应支持接收同步时间码。

  实时渲染方面，电影和电视领域的虚拟拍摄目前一般都使用游戏引擎，不过电影虚拟拍摄对渲染的精细程度和材质、光影的真实感有着更高的要求。电影领域常用的是UE（Unreal Engine）虚幻引擎，电视领域常用虚幻引擎和Unity引擎。电影虚拟拍摄中，存在内视锥渲染和外视锥渲染的区别［2］，内视锥显示的是摄影机直接拍摄的背景，而外视锥是摄影机拍摄范围以外的背景，大多数都用在照明和沉浸感的营造。因此在渲染算力的分配上，需要分给内视锥画面更多的资源，以生成足够精细的画面和足够小的延时，而外视锥画面则能够更好的降低分辨率以减少渲染资源的消耗。

  灯光照明技术方面，电视节目正常的情况下具有成熟且固定的布光方式，因此相比电影拍摄，电视节目所使用的灯光设备智能化程度更高，也更加自动化，使得灯光设备能并入电视虚拟拍摄系统内，在主系统上调整参数，统一调控；电影拍摄的布光方式更加多样，同时也较为复杂，因此在电影虚拟拍摄中，为达到拍摄效果，多采用LED屏幕照明和传统电影灯光设备相互配合使用的照明方式。

  目前，虚拟拍摄的发展尚有一些不足，也存在着摩尔纹、视角偏差、显示偏色、景深匹配等技术局限性。除此之外，我国虚拟拍摄技术起步较晚，相关的专业方面技术人才尚未形成规模，技术普及程度不高，技术应用大多分布在在国家级或经济发达省份电视台或企业中，还有进一步下沉推广的可能性。但从长远的角度来看，虽然现阶段虚拟拍摄技术的发展存在着一定的阻碍，但作为影视产业中的一次重大技术变革，其优势也是显著的，有着广阔的发展前景。

  我国为了扶持虚拟拍摄的应用，鼓励市场主体参与，国家广播电视总局在《广播电视和网络视听“十四五”发展规划》中提出“建立新视听节目的拍摄、制作、存储、播出、分发、呈现全链条技术体系”，有力推动了相关产业和技术的发展。国家电影局也在《“十四五”中国电影发展规划》中提出：充分应用传统摄制、虚拟摄制、云端制作、智能制作以及计算机动画等多元化电影摄制技术方法，推动建立电影创作、内容和数据共享技术体系。国家层面的支持对科学技术创新研发、推动产业优化升级起到了强大的引领作用。同时，相关科研院所也在积极跟进，进行研发技术与标准制定，高新企业也开始在软硬件设备制造、自研技术等方面逐渐发力，不同主体间的交流合作日益扩大，形成了我国虚拟拍摄技术发展的良好格局。

  2019年后，中国科幻电影强势崛起，相比传统拍摄手段，虚拟拍摄在宏大场景、视觉表现方面有着得天独厚的优势，更利于类型电影的创作。虚拟拍摄也与国家建立电影强国，推动电影工业化的发展趋势相契合，对中国电影产业做大做强，提升内容创作中的科技含量，提升艺术作品的质量有着划时代意义。

  虚拟拍摄的出现是一次重大的技术革新，为我国电影和电视行业提供了广阔的发展空间，也给内容创作者提供了一个全新的创作方式。随着虚拟拍摄技术的发展，不相同的领域应用的相互借鉴与促进，该技术也将发挥更加积极的作用，带来创作场景和内容生产流程的创新，促进电影和电视行业融合发展、迭代升级，助力中国广播电影电视事业迈上全新的高度。

  ［1］孙玉.虚拟演播室技术在电视节目制作中的运用探析［J］. 新闻研究导刊,2022,13(10):174-176.

  ［2］陈军,赵建军,卢柏宏.基于LED背景墙的电影虚拟化制作关键技术探讨研究［J］.现代电影技术,2021(08):17-25.

  ［3］陈军,赵建军,李想.基于LED背景墙的电影虚拟化制作系统集成与研发［J］.北京电影学院学报,2021(07):112-121.

  ［4］方荣国.电影虚拟拍摄技术发展探析［J］.现代电影技术,2015(07):16-26.

  【本文项目信息】中广电广播电影电视设计院科学技术创新课题《XR虚拟拍摄关键技术探讨研究及应用示范》（2021010）。