艺术家Stanislav Demchenko (stassius) 发布了Stable Houdini,这是一个将 Stable Diffusion集成到Houdini中的开源工具包。
该工具包可以在Houdini中使用Stability AI的AI图像生成模型来创建概念艺术、哑光绘画甚至动画,并可选择使用3D场景来指导结果。
Stable Houdini可以完全在本地机器上运行,已用于虚拟制作公司EVR Systems的项目,并刚刚在Houdini产品网站上被SideFX推荐。
Stable Houdini从Houdini内部控制生成AI模型,根据文本提示、源图像或3D场景的合成创建2D图像。下面这个视频,展示了用于生成详细的2D环境和匹配简单块、几何图形的角色图像的工具集,以及Mixamo角色的姿势。
该功能潜在的用例范围,从创建概念艺术和故事板框架,到视觉效果镜头的数字哑光背景,甚至是实时战略游戏的背景。
据悉,该工具可以使用开源的Stable Diffusion UI AUTOMATIC1111,能够满足本地机器离线运行AI模型,无需使用官方Stability AI DreamStudio帐户。
最重要的是,Stable Houdini可以使用AUTOMATIC1111的开源ControlNet扩展来更好地控制Stable Diffusion,尤其是在生成多帧时。
这里有一个长度为47分钟的演示视频,包括一些你可能使用到的一些用例,包括创建简单的变形动画、对现有视频进行风格化 – 甚至根据Rick Roll视频创建基努·里维斯 (Keanu Reeves) 跳舞的动画等等。结果在时间上不是特别稳定,但效果在视觉上非常令人愉悦。
Stable Houdini还可用于更一般的图像或视频处理任务,例如生成与当前帧匹配的法线或深度图。
Stable Houdini与Houdini 19.5和Python 3.9兼容。GitHub上提供了可下载的 .hda文件和Houdini .hip演示场景。源代码在Apache 2.0许可证下可用。
AUTOMATIC1111仅作为Windows 10和Nvidia GPU的编译二进制文件提供,但如果从源代码安装,它也可以在AMD和Apple Silicon上运行。它在Affero GPL许可证下可用。
GitHub工具包下载链接:
https://github.com/stassius/StableHoudini
版权声明 | 文章整理自网络,仅供学习参考,版权归属原作所有
如有问题,请及时与我们联系,我们将第一时间做出处理