title: “3D Content Creation and Stylization with AI”
Source link: GAMES Webinar 215-视觉专题:智能三维内容生成–重建与创造-Kangxue Yin
3D内容创作:
游戏,电影特效,动画,VR/AR,专业化程度高(建模软件)
动画电影创作流程:
- 剧本
- 原画
- Layout: 物体相机摆放,位置关系
- 特效技术研发
- 2D 建模为3D
- 纹理
- 绑定骨骼,皮肤,相对运动关系
- 人物运动(运动捕捉)
- VFX 特效模拟(爆炸)
- 打光
- 渲染(物理仿真)
梦工厂pipeline:https://www.youtube.com/watch?v=ru0tQRJ4qKs
3D 内容成本高:2009 阿凡达(3D) $ 2.37亿 ,而 2010年的2D电影 让子弹飞 只有 $ 0.18亿
元宇宙需要大量3D 内容
降低3D内容制作成本:让普通玩家参与创作(房子,汽车…)NFT,未经训练,细节不足,风格不够多样,用人工智能辅助。
Research works
-
Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape
输入 voxel 模型,网络合成细节。
-
3D represention 选择
Discrete Repre
Implicit Fields:
生成网络细节不足,转换为mesh有问题
differentiable iso-surfacing 把隐式方程转化为一个mesh,然后用 mesh 和 ground truth 之间的差(loss)来优化网络,降低 iso-surfacing 离散化带来的误差,其中使用的不是 Marching cube 而是 Marching Tetrahedra
-
-
3DStyleNet: Creating
3D 物体的风格迁移