虚拟拍摄在影视制作中的应用，已经比较常见了，但你见过生成式AI+虚拟拍摄是什么样子吗？最近，在铺天盖地的AI新闻中，我发现了Cuebric，这是我目前所能搜索到的、在影视工业领域比较像模像样的生成式AI工具。
它工作起来可以是这个样子的：
片场的创作者可以挥挥手，告诉Cuebric提示操作员：“带我去冰岛，但要在火星上，还要有一堆金字塔。”——像这种近似荒诞的要求，Cuebric提示操作员用一段prompt（也可以是两段），生成你想要的场景，将其投屏到配套的2.5D背景上，用来进行拍摄。
Cuebric由Seyhan Lee和XR Studios公司共同推出，是一款面向电影制作的一体化工具，去年年底推出1.0版本并投入小规模测试。据说，这也是第一个为电影、电视制作而生的图像编辑式生成AI系统。可以生成、分割、修复、编辑和升级他们希望在片场看到的任何景观。
AI为虚拟制作带来了什么？
生成式AI工具Cuebric，给影视工业带来了新的工作流。我们可以称之为升级版的“虚拟制作”。
“这种在带有弧形LED舞台的房间内，通过实时技术制作和录制影视视觉效果的方法被称为虚拟制作。我们也可以称其为新绿屏。”Seyhan Lee的联合创始人、AI总监Pinar Seyhan Demirdag说，“在虚拟制作之前的时代，像一些难以在拍摄现场完全搭建的布景（比如一个完整的火星基地），演员必须在绿幕前拍摄，火星基地由工作人员在电脑上完成制作，并进行后期合成；而现在，一些电影场景是可以在拍摄前被创建，创建这个场景可以是概念艺术家，也可以是懂prompt的提示操作人员。”
对于影视制作来说，Cuebric的出现，可以让部分2D景观在现场被实时构建。这对劳动密集型3D环境搭建的团队来说，是一种快速且经济高效的替代方案，并且Cuebric与原有团队可以配合得很好。
XR Studios Hollywood正在使用Cuebric
Cuebric是如何工作的？
Cuebric的工作不会以图像的创建结束，在该工具启用之后还有很多工作要做。要在虚幻引擎中生成图像并最终将其作为分层的、准备好拍摄的2.5D资产，需要下面这些步骤：
1、图像生成和图像上传
Cuebric 使用Stable Diffusion作为其图像生成引擎。该工具使艺术家能够从任何提示生成4K、8K甚至16K分辨率的图像。要将导演的想法变成电影般的场景，需要有制作电影环境经验的敏捷艺术家。Seyhan Lee将在该工具的早期阶段提供提示艺术家。用户还可以将已经制作好的2D资产上传到该工具。
2、分割
必须将2D图像分割成多个部分才能成为2.5D。Seyhan Lee团队使用景观、城市、物体、人物和其他事物的开源数据集来教Cuebric如何将生成的图像分割成图层。该工具建议剪切图像的不同部分，然后用户将这些部分重新组合成图层。
3、修复
当一个图像被分割（剪切）成不同的部分时，当图层在场景中被分割时，它自然会产生孔洞（空白）。艺术家可以通过重建图像的缺失部分来填补这些空白，或者在稳定扩散修复的帮助下生成全新的作品。
4、编辑
在Cuebric的第一个版本中，一个紧凑的图像编辑工具可以让用户摆脱分段图层上不需要的伪影，或者用程序制作的创意内容填充空白。在下一个版本的 Cuebric中，将有一个基于网络的图像编辑器，它可以完成Photoshop可以做的所有基本事情，比如分层、蒙版、修复和绿屏抠除等等。这些功能使艺术家能够使Cuebric成为生成2.5D场景的第一步，也是唯一一步。
5、图像生成和上传
对于体积阶段，Cuebric允许将生成的板和上传的图像放大到高达16K的分辨率。
6、导出到虚幻引擎
制版完成后，用户可以使用内置工具立即将他们的作品导入虚幻引擎。只需点击一下按钮，准备在虚拟制作舞台上拍摄吧！
Cuebric图像也可以是动画的。例如，大图像有一些云在天空中移动也是可以做出来的。据Demirdag讲述：这些功能远远超出了我们自己的VFX技术深度，但生成的图像在大屏幕上看起来非常逼真。与后期添加背景图像的绿幕相比，体积上的生成图像更容易让演员处理，他们可以更容易看到他们所处的环境。
Cuebric关乎电影的未来
这就提出了一个问题：演员本身最终是否会被动画生成图像所取代？既然有了AI生成的移动图像，那理论上屏幕前的人类演员也是可以被AI生成的，事实上已经有很多人这样讨论过了。
Demirdag给这种可能性加了一个期限：十年。但“考虑到生成式人工智能的快速发展，这一天可能来得会更早一些。”
Cuebric旨在成为3D CG资产的合作伙伴。在制作过程中，并非每个场景都需要 CGI团队制作；对于镜头之间的15到20个过渡场景，Cuebric可以在提词操作人员的处理下自动生成，来减轻艺术家团队的工作量。
曾荣获奥斯卡金像奖的视觉特效艺术家约翰内斯·萨姆 (Johannes Saam)发表了他的使用体验：“Cuebric是迈向真正实时和AI驱动的现场制作解决方案的第一步。它将实时生成图像的能力，巧妙地跟2.5D投影相结合，我现在已经迫不及待地想更多去使用它了。”
XR Studios Hollywood正在使用Cuebric
目前，只有少数制作阶段和创意内容开发人员能够使用Cuebric。由于该工具需要“提示”来制作图像，因此需要具有大约50,000次以上环境制作经验、会正确提示prompt的专业AI技术人员来使用它，以确保导演的愿景可以在片场被正确执行。
Seyhan Lee的团队在制作Cuebric的同时，也在培训人们成为更加专业的提示专家，以便他们可以与Cuebric一起提供更好的服务。
版权声明 | 文章整理自网络，仅供学习参考，版权归属原作所有
如有问题，请及时与我们联系，我们将第一时间做出处理
