倍视传媒（Base Media）为融创文化成员企业，成立于 2006 年。旗下主要业务包括：为影视客户提供视效、设计、previs 和 post-vis 及动画服务的 Base FX（倍视视效），作为国内领军电影视效公司，Base FX（倍视视效）和融创文化虚拟制作团队携手众多科技领域的金牌供应商，致力于建设国内高标准 LED 虚拟制片全案流程，更专业的服务于行业客户。
就目前来说，虚拟制片是一种电影制作方式，它结合了许多前沿技术如 DXR 实时渲染（大于等于 30FPS 的渲染速率），学术上说，虚拟制片是一系列革命性的制作技术。
虚拟制片可能会应用于 pitch-vis（动态分镜）、shot-blocking（镜头分解）或者是 VFX Previsualization（视效预览），主要是在虚拟世界里像游戏一样“make a movie”。
shot-blocking（镜头调度/分解）
随着GPU（图形芯片）全面转向异构集成架构，如NVDIA CUDA+RT CORE+TENSOR CORE=RTX/DXR pipeline（光线跟踪渲染管线），在硬件光追和 DLSS（深度学习采样） 的加持下，GPU 现在可以以过去数十倍的渲染速度来生成三维环境的全局光照（GI）信息， 实时的产生出非常真实的三维环境。
再次凭借 AI 芯片的低精度的强大算力，LiDAR（激光雷达）将扫描到的实体道具或场景， 置换到三维环境中，借助 LED 屏幕，这些 LED 屏幕内的三维场景和真实的美术置景都将对被摄人物主题产生非常真实的光照和反射，极大程度的提升了拍摄现场中摄影机拍到的画面真实程度，因此，LED 虚拟拍摄又被称为“in-camera-compositing” of VFX（镜头内视效）。
利用AR做Techvis
以上图为例，DP（摄影组）将已经扫描好的卡车三维资产借助 AR 的技术投射在 LED 屏幕前，DP 则可以通过来回走动获得 Onset 环节中要拍摄的镜头预览，并与 VAD 和置景、导演等沟通具体的镜头呈现细节，在 LED 虚拟制片过程中，Techvis 则至关重要。
VP（虚拟组）一般会提前检查虚拟地平线（LED 显示的实际地平线），确认真实有机物（如植被）和虚拟有机物的差异，还有虚拟色彩列表（Colorchecker）。
Colorchecker
后期处理中，有两个 LED 的显示问题是值得我们去关注的，包括 Motion Blur 和 Double De-Focus，在以Unreal为代表的虚拟制片系统中，nDisplay 关闭了 LED 的运动模糊后处理效果，所以前景中，尖锐的物体往往不适合出现在快速的镜头中，这会导致画面看起来断断续续，通常地，我们采用虚化背景（De-Focus）的方式来减轻 LED 背景没有运动模糊的问题。
虚化背景（De-Focus）有时候会产生错误的景深效果，比如物理镜头的实际焦点应该在虚拟背景中的一块石头前，但是整个背景却已经都虚化了，所以要实现计算好实际需要的景深范围，根据需要的景深，来确认虚拟背景后焦平面，整个过程叫做 DoubleDe-Focus。
融创文化VPr团队De-Focus测试
融创文化VPr团队经过认真调研，选择了微缩模型的方式来测试LED虚拟制片的实际效果， 实现了mini版本的星球大战DEMO，微缩模型的优势在于不用严格定义虚拟地平线，可以比较方便的调整物理实景和虚拟景观的位置，另外，微缩模型离 LED屏幕更近，我们知道与光源距离增加光强则衰减的越厉害，更近的被摄距离可以产生更好的反射和光照效果。
融创文化VPr团队虚拟地平线测试
在 pre-production 的环节中，Camera Blocking（镜头调度/分解）也是极其重要的环节， 我们要对每个镜头提前做好分解规划，测试它实际看起来的效果，DP（摄影组）要给出符合透视科学的镜头画面，以便保证每个镜头的最终完成度。
CameraBlockingprevis（镜头调度/分解预演）
Virtual Scouting（虚拟勘景）是保证 LED 屏幕和物理实景完美衔接的重要方法，这里主要是 AR/VR 技术的使用，首先是通过 LiDAR 等快速扫描方式，实现对物理实景的完整扫三维扫描重建，也包括数字人（Virtual Human）的动捕实现，在一个较大的光学动捕影棚中，我们将率先完成 Camera Blocking（镜头调度/分解）的全部内容，由于我国缺少传统特效的历史经验，因此对于国内影视团队来说，应该认真选取拍摄题材，较高质量的完成物理实景和其数字孪生，在 VirtualScouting（虚拟勘景）环节反复观察，寻找最佳的虚实分界线。
VR 主要是帮助团队预览虚拟场景的效果和物理实景的关系，通过 AR 技术在 LED 屏幕前重现物理实景，主要是确认其物理实景的实际效果是否和 CameraBlocking（镜头调度/分解）匹配。
VirtualScouting（虚拟勘景）
LED 屏幕与实景分界线处，可能会出现以下几个问题，他们大多是由于重叠（Overlap） 引起的：
1.滑动（Slipping）：摄像机在垂直轴运动时，虚拟物体会产生滑动，彷佛掉到地平线下面去了。
2.比例问题（ScaleIssues）：虚拟物体的比例和真实物体不一致，摄像机跟踪的时候， 虚拟物体的移动速度和真实物体不一致。
3.视差问题（ParallaxIssues）：如果设计的虚拟物体在虚拟空间的Z轴上超过了 LED 屏幕，就会导致摄像机跟踪移动的时候，这部分景物的移动速度变慢，与实景产生一定的时差。
虚拟物体不应该超过LED屏幕在虚拟空间中Z轴的位置（虚实空间一致性）
相比于传统的Greenscreen绿幕合成后期方式，LED 虚拟制片的所有虚拟景物都是CG环境，像传统流程中还有很多 matte painting（数字绘景）的后期合成制作方法，而虚拟制片则大幅度减弱后期要处理的内容，使得现场样片成为可能，在实时渲染能力的帮助下，团队们可以顺利在Onset的时候即可以随意调整灯光、虚拟背景和更多本来会在后期才完成的内容。
后期前置是虚拟制片的核心优势，但是这就必须要求团队有着充足的前期准备，清单革命则为整个团队提供了强大的列表信息，在复杂紧迫的Onset 过程中，团队可以快速查找已经开发的资产和虚拟镜头效果，为团队快速提供可以实施的ABC 执行方案。
List对Onset环节至关重要
有的时候为了制作更大景别的全景镜头，VP（虚拟部门）必须扫描并重建高质量的实景道具，这主要借助Photogrammetry（摄影测量）技术，如 RealityCaptureAPP，被三维重建的虚拟资产在很多时候都有助于增加虚拟场景的细节。
使用2000张照片重建的卡车高精度模型
In-Camera VFX 的硬件条件主要是 HPC（高性能计算），我们也可以从硬件标准
（CPU\LED）来了解 LED 虚拟制片。
CPU 是整个实时渲染过程中的管理者，实时渲染的预置数据（数据接口得到交互信息如Camera tracking）依然由 CPU 在内存中管理并分发给 GPU 执行，再以虚幻引擎为代表的虚拟制片系统中，Unreal 官方给出了最低 3.0Ghz 的 CPU 主频和最少 64G B DDR-4 内存的基本要求。
为此，我们选用 AMD Ryzen™ Threadripper™ PRO 3955WX 作为虚拟制片系统中实时渲染节点的CPU，该 CPU 支持PCI 4.0 和DDR4，最大加速时钟频率最高可达4.3GHz， PCI 4.0 with X16 可以提供最高达 64GB/S 的统一内存带宽，为 CPU 向 multi-GPU 传输几何体（Geometry）数据提供高速接口，在 GPU 实时渲染时，大幅度提高篇对场景文件的加载和修改效率。
此外，线程撕裂者 PRO（Threadripper™ PRO ）支持多达 128 条 PCI 总线，可以更好的支持 NVMe（允许 SSD 使用 PCI 协议传输数据）SSD，使得 Unreal 等 DCC（数字内容生成软件）运行时，可以更有效率的加载缓存文件比如 Virtual Texture（虚拟纹理）。
基于Tile/page分割的可渲染动态加载纹理技术
3955WX不仅主频高，核心数更不少
128条PCI总线配备512bit位宽，提供了惊人的256GB/S峰值I/O带宽，Threadripper™ PRO 3955WX 在读写性能上分别提升了 86%和 58%（与同级别 CPU 对比），是目前I/O 最强的桌面级 CPU。
在LED方面，我们则选取了HDR标准的LED屏幕作为虚拍屏幕。
HDRLED
HDR：HDR 的标准是 50FPS@UHD，DCI-P3@D65 色彩空间（10-12bit），1500nits（PQ/HLG）亮度以上，100 万：1 的动态对比度。
人眼可以比较轻易的区分出 sRGB 色彩和 P3 色彩，现实物体的色彩范围大约为 rec.2020， LED 过少的色彩会导致前景背景的分离。
高阶灰度让 LED 的色彩过度更加细腻，1500nits 大约是一般光源的亮度，在摄像机不过曝拍摄的前提下，PQ/HLG 曲线将给 LED 显示带来更加真实的动态范围，更高的对比度对高反差虚拟背景有着更好的显示效果，让黑色更黑，白色更白。
动态扫描：LED 通过高达 3840Hz 的刷新率分为 12/16 等扫描方式，拍摄中出现扫描线主要是因为快门没有同步，采用快门同步的 LED 处理器便可以解决这个问题。
摩尔纹：主要由光的干涉导致，被摄距离、镜头分辨率、LED 间距的某种组合会形成摩尔纹，一般减少 LED 间距，增加拍摄距离可以解决。
过热：LED 在过热的时候会降低亮度，影响色彩，需要处理器动态校正。
版权声明 | 文章配图仅供学习参考，引用图片版权归属原作所有
如有问题，请及时与我们联系，我们将第一时间做出处理
