Diffusion惊艳应用大赏

自从Diffusion模型兴起之后，AI绘画圈又迎来了一波猪突猛进式的强化，早几年还只是Ins的二次元/迪士尼风格滤镜，让人穿上不同服装当接头霸王。现在，你随便输几句话，模型就能刷刷刷给你吐出一大堆精美的图来，画的比你好，风格多样化，还两分钟就交稿。

▲NovelAI画的星球与城市 [1]

虽然用AI搞艺术已经进入了全民应用的时代，但很多人对这个强大的工具的使用方式却让我不由感叹想象力的匮乏。想想吧！我当着妈妈的面打开小蓝鸟搜索这期推送的素材，结果齐刷刷跳出了一大排雪白的胸脯！我妈看我的眼神当场就不对了！！！

那么，今天我们就来看看Diffusion模型还有哪些好玩实用的应用，一起欣赏下吧！

本期内容参考@daniel_eckler。

游戏/动画制作

三维动作生成

模型名为MDM, Human Motion Diffusion Model [2]，只要输入语言描述，就能让三维小人模型做出对应的动作，生成结果具有多样性，每个小人会有一定的动作差异。从demo可以看出，目前动作已经非常生动流畅了。

▲MDM基于描述生成三维动作效果展示

建模贴图

dream-textures，基于Stable Diffusion实现的开源项目，可以自动生成纹理，给模型贴图，可以作为Blender插件部署 [3]。

▲dream-textures贴图效果展示[4]

MineCraft转绘画

另一项基于Stable Diffusion实现的工作，目前未开源，但它的效果展示引发了我无限的遐想 [5]。如果MineCraft转现实风格的图片效果这么好，《三体》动画的开发是不是可以基于《我的三体》加快进程了？

▲DiffusionCraft效果展示

增强现实与虚拟现实

虚空画图

Diffusion模型和GravitySketch的结合，原本GravitySketch的绘制效果非常简陋，但加上diffusion模型之后，图像生动了不止一点两点 [6]。

▲加上Diffusion后GravitySketch绘画效果比较

室内环境生成

还是基于Stable Diffusion的开源项目 [7]，能通过VR眼镜“扭曲”你周围的环境并基于一些参考图片进行再生成。老实说总体效果还是有些掉SAN，不过前途无量啊，想想以后在家里，带上VR瞬间变成凡尔赛宫，这不是很爽？

▲Deforum Stable Diffusion效果展示

最佳应用

在大部分人还在用Diffusion捏脸、造原创角色、沉迷美色的时候，有些人的格局已经打开了。直接靠着目前为止漫威的动画、电影素材，把《蜘蛛侠·平行宇宙2》的预告片给造出来了。看到这个整活的时候我内心的震撼程度更甚于当年看到Jack Frost和Elsa、林黛玉和伏地魔的拉郎MV [8]。

结语

Diffusion模型的使用姿势目前为止还没有被完全开发，它的潜力很大程度上取决于人类想象力能有多么精彩。所以说，还请大家整活的时候含蓄一点，免得下次我又被逮个现行，百口莫辩跳进黄河洗不清了！

 

[1] @Kemono_VR

[2]https://guytevet.github.io/mdm-page/

[3]https://github.com/carson-katri/dream-textures/tree/0.0.5

[4]@Kdawg5000

[5]https://www.youtube.com/watch?v=ThnAnva2RPY

[6]@ThoseSixFaces

[7]https://github.com/deforum-art/deforum-stable-diffusion

[8]@CorridorDigital

[9]https://huggingface.co/spaces/stabilityai/stable-diffusion