通过AI实现MMD视频动画化的探讨(by852话(https://twitter.com/8co28))(翻译)-环球速讯
(本文仅作为自己学习时顺便翻译的产物。论AI绘画这一领域,852话大佬带给了我太多惊艳和灵感,所以我也想通过这样的方式来分享给想要了解或者
(本文仅作为自己学习时顺便翻译的产物。论AI绘画这一领域,852话大佬带给了我太多惊艳和灵感,所以我也想通过这样的方式来分享给想要了解或者学习AI的网友,同时也想让大家知道现在AI所达到的stage)
(资料图片)
(本篇是以上视频的推特作者852话大佬的心得)
在了解模型与运动规律的前提下制作并输出MMD动画。
在制作过程中,如果将摄像机固定且放置于距离模型较近的位置的话可以提高之后动画化实现的成功率。
受限于AI绘图的特性,在输出时最好选择正方向的视频格式,这有利于之后的转绘。
这次视频便是在960x960、20fps的基础上进行制作。推荐帧数设定在12-24之间。
将在第1步中制作完成的MMD动画逐帧以.jpg或者.png格式图片保存到同一个文件夹中。852话大佬本次使用了AE进行动画制作。
从第2步的文件夹中挑选出图片样品,在对参数进行调整后使用webUI的img2img功能绘制图片。制作过程中,Denoising strength的值设定在0.3-0.5之间会比较好。当设定好的数值与得到的seed出图效果比较好的时候就可以把这一参数固定以进行后续出图。
在batch img2img功能中以第2步中的文件夹为源,指定一个输出文件夹后将所有图片按照第3步中找到的数值与seed进行批量输出。这一步骤大概需要数小时。如果你将最开始的15帧进行实验性输进行试错的话则成功率会更高。
为了抑制画面的闪烁,通过frame进行补帧。在flowframes里将20fps转换到60fps。只不过60fps的情况下画面会很粘稠,让人有种回归到了MMD动画的感觉,所以是否要进行补帧取决于个人喜好。
将之前补帧后的60fps动画进行降帧。这次视频最终在AE里吧视频帧数从60fps降到了23.976fps。
实验过程①:可行性研究。通过AI绘图对MMD进行12fps-15fps之间程度的转绘(该过程852话发现AI对于MMD的转绘可行但因为出粗略输出所以精度不够,每一帧的变化还比较大)
视频:https://twitter.com/i/status/1619915680752730113
实验过程②:提高精度。通过插画调子转绘,提高精度的前提下按照12fps-15fps的程度进行转绘。(在这一过程中每一帧画面的变化明显变小了,比起最开始的版本更接近于3D动画效果。该步中使用到的模型,MMDモデル:Sour式ミク AIモデル:カスタム)
视频:https://twitter.com/i/status/1619968207061929986
实验过程③:补帧提高流畅度。通过补帧来使每一帧间的画面过度变得丝滑,藉此来实现画面间突变的减少。(结果来说画面已经非常丝滑,但是852话认为这样就和3D动画没什么两样了,为了实现2D化感官,将在之后进行降帧操作。)
视频:https://twitter.com/i/status/1620511029322203136
实验过程④:降低帧数实现2D动画感官。(结论来说比起60帧,降低帧数后确实有种2D与3D间纠缠不清的感觉,852大佬对此并不满意,但对从①到④效果的提升感到了惊讶,我也深受震撼,感觉3D辅助2D动画的制作在这一套流程下会变得非常简单,现在所需要的就是最后2D化效果的优化以及模型训练的进一步提升了)
视频:https://twitter.com/i/status/1620520587700629504
(用同为852话大佬最近出的我很喜欢的一幅图作为尾图)
[ 相关文章 ]
(本文仅作为自己学习时顺便翻译的产物。论AI绘画这一领域,852话大佬带给了我太多惊艳和灵感,所以我也想通过这样的方式来分享给想要了解或者
当手机背景色变为黑色时,恢复设定的显示和亮度。以iPhone12为例,恢复手机屏幕背景色有两个步骤。具体操作如下:演示
还有四天,一年一度的“跨年收视大战”即将拉开帷幕。为了吸引更多关注,几大卫视纷纷开始晒阵容,生怕在宣传造势上输人一筹。跟其它几家一线
新华社巴西利亚1月31日电新华社记者陈威华卞卓丹赵焱巴西新任科技部长卢西亚娜·桑托斯日前在接受新华社记者书面采访时表示,自1974年巴西和中
厦门2023年计划征收土地5090 65亩房屋104 68万平方米
以下是山河药辅在北京时间2月1日10:07分盘口异动快照:2月1日,山河药辅盘中快速上涨,5分钟内涨幅超过2%,截至10点07分,报18 29元,成交2952
01月31日,药明康德获沪股通增持169 57万股,已连续5日获沪股通增持,共计520 35万股
1、凤凰县沱江大桥垮塌事故发生于2007年8月13日下午,北京时间16时45分许,位于中国湖南省凤凰县的在建的沱江大桥突
过去一年,房地产行业持续深刻调整,“活下去”成为房企的主要目标。随着年报季的逼近,这份不容易变得更加清晰具体。据《国际金融报》记者不
大宗交易成交价格18 39元,相对当日收盘价折价1 71%,成交60万股,成交金额1103 4万元,买方营业部为兴业证券股份有限公司哈尔滨和平路证券营
高松美咲的漫画作品《跃动青春(暂译,スキップとローファー)》宣布将推出电视动画,官方在23日这天释出主视觉图与首支宣传影片、追加声优名
拒绝爆冷!勇士轰下三连胜,库里38+8+12,克莱抢眼,维金斯回暖,勇士,格林,维金斯,美国篮球,亨利·克莱,莫·威廉姆斯,斯蒂芬·库里,奥林匹克运
韩国证券交易所:韩国寻求改善股息支付系统
来源:看看新闻Knews据日本广播协会(NHK)报道,日本鸟取县从27日起遭遇持续强降雪,截至当地时间28日,部分地区积雪厚度超过2米。大雪导致交
人大代表风采丨滕朝霞:以实干作风践行“人民电业为人民”
参考消息网1月30日报道据美国《华盛顿邮报》网站日前报道,美国《科学》周刊的最新研究发现,对大多数健康的成年人来说,每天喝(@参考消息)
广州中级会计证报名地址:全国会计资格评价中心官网(http: kzp mof gov cn ),报名时间一般在每年的6月中下旬开始,具体时间以官网通知为准
一个人的流年大运会受到多方面的影响,在不同的年份当中,我们的运势情况是会有所不同的。我们都希望自己的人生道路上是一帆风顺的,但是在不
国海证券发布研究报告称,维持阿里巴巴-SW(09988)“买入”评级,由于经济复苏及消费市场回暖的背景下,核心业务增速有望逐步修复,且降本增效
大家好,小太来为大家解答以上问题。疫情三年后农村首个春节纪实很多人还不知道,现在让我们一起来看看吧!1、想必大家现在对于疫情三年后农村
[ 相关新闻 ]
Copyright 2015-2022 医院头条网 版权所有 备案号:沪ICP备2022005074号-20 联系邮箱:58 55 97 3@qq.com