Watch: 215-智能三维内容生成

Table of contents

title: “3D Content Creation and Stylization with AI”

Source link: GAMES Webinar 215-视觉专题:智能三维内容生成–重建与创造-Kangxue Yin

3D内容创作:

游戏,电影特效,动画,VR/AR,专业化程度高(建模软件)

动画电影创作流程:

img

  1. 剧本
  2. 原画
  3. Layout: 物体相机摆放,位置关系
  4. 特效技术研发
  5. 2D 建模为3D
  6. 纹理
  7. 绑定骨骼,皮肤,相对运动关系
  8. 人物运动(运动捕捉)
  9. VFX 特效模拟(爆炸)
  10. 打光
  11. 渲染(物理仿真)

梦工厂pipeline:https://www.youtube.com/watch?v=ru0tQRJ4qKs

3D 内容成本高:2009 阿凡达(3D) $ 2.37亿 ,而 2010年的2D电影 让子弹飞 只有 $ 0.18亿

元宇宙需要大量3D 内容

降低3D内容制作成本:让普通玩家参与创作(房子,汽车…)NFT,未经训练,细节不足,风格不够多样,用人工智能辅助。

Research works

  • Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape

    输入 voxel 模型,网络合成细节。

    • 3D represention 选择

      Discrete Repre

      img

      Implicit Fields:

      img

      生成网络细节不足,转换为mesh有问题

      img

      differentiable iso-surfacing 把隐式方程转化为一个mesh,然后用 mesh 和 ground truth 之间的差(loss)来优化网络,降低 iso-surfacing 离散化带来的误差,其中使用的不是 Marching cube 而是 Marching Tetrahedra

      img

  • 3DStyleNet: Creating

    3D 物体的风格迁移

Built with Hugo
Theme Stack designed by Jimmy