首页 >  资讯 >  详情

通过AI实现MMD视频动画化的探讨(by852话(https://twitter.com/8co28))(翻译)-环球速讯

2023-02-01 21:57:55来源:哔哩哔哩

(本文仅作为自己学习时顺便翻译的产物。论AI绘画这一领域,852话大佬带给了我太多惊艳和灵感,所以我也想通过这样的方式来分享给想要了解或者学习AI的网友,同时也想让大家知道现在AI所达到的stage)


(资料图片)

(本篇是以上视频的推特作者852话大佬的心得)

流程

在了解模型与运动规律的前提下制作并输出MMD动画。

在制作过程中,如果将摄像机固定且放置于距离模型较近的位置的话可以提高之后动画化实现的成功率。

受限于AI绘图的特性,在输出时最好选择正方向的视频格式,这有利于之后的转绘。

这次视频便是在960x960、20fps的基础上进行制作。推荐帧数设定在12-24之间。

将在第1步中制作完成的MMD动画逐帧以.jpg或者.png格式图片保存到同一个文件夹中。852话大佬本次使用了AE进行动画制作。

从第2步的文件夹中挑选出图片样品,在对参数进行调整后使用webUI的img2img功能绘制图片。制作过程中,Denoising strength的值设定在0.3-0.5之间会比较好。当设定好的数值与得到的seed出图效果比较好的时候就可以把这一参数固定以进行后续出图。

在batch img2img功能中以第2步中的文件夹为源,指定一个输出文件夹后将所有图片按照第3步中找到的数值与seed进行批量输出。这一步骤大概需要数小时。如果你将最开始的15帧进行实验性输进行试错的话则成功率会更高。

补充

为了抑制画面的闪烁,通过frame进行补帧。在flowframes里将20fps转换到60fps。只不过60fps的情况下画面会很粘稠,让人有种回归到了MMD动画的感觉,所以是否要进行补帧取决于个人喜好。

将之前补帧后的60fps动画进行降帧。这次视频最终在AE里吧视频帧数从60fps降到了23.976fps。

852话大佬的思考过程概括与视频链接我贴下面,有需求的小伙伴请自行科学上网。

实验过程①:可行性研究。通过AI绘图对MMD进行12fps-15fps之间程度的转绘(该过程852话发现AI对于MMD的转绘可行但因为出粗略输出所以精度不够,每一帧的变化还比较大)

视频:https://twitter.com/i/status/1619915680752730113

实验过程②:提高精度。通过插画调子转绘,提高精度的前提下按照12fps-15fps的程度进行转绘。(在这一过程中每一帧画面的变化明显变小了,比起最开始的版本更接近于3D动画效果。该步中使用到的模型,MMDモデル:Sour式ミク AIモデル:カスタム)

视频:https://twitter.com/i/status/1619968207061929986

实验过程③:补帧提高流畅度。通过补帧来使每一帧间的画面过度变得丝滑,藉此来实现画面间突变的减少。(结果来说画面已经非常丝滑,但是852话认为这样就和3D动画没什么两样了,为了实现2D化感官,将在之后进行降帧操作。)

视频:https://twitter.com/i/status/1620511029322203136

实验过程④:降低帧数实现2D动画感官。(结论来说比起60帧,降低帧数后确实有种2D与3D间纠缠不清的感觉,852大佬对此并不满意,但对从①到④效果的提升感到了惊讶,我也深受震撼,感觉3D辅助2D动画的制作在这一套流程下会变得非常简单,现在所需要的就是最后2D化效果的优化以及模型训练的进一步提升了)

视频:https://twitter.com/i/status/1620520587700629504

(用同为852话大佬最近出的我很喜欢的一幅图作为尾图)

关键词: 的前提下 还比较大 纠缠不清

[ 相关文章 ]

[ 相关新闻 ]