大家好,我是程序员晓晓
AIGC领域,有这么几个方向:写作、绘画、影视、音乐。
写作领域用的比较多的AI工具是chatgpt、文心一言、千译通问等,那么绘画领域有哪些AI工具,你知道吗?
**最知名的有两款,一个是midjourney、另外一个是SD(stable diffusion)。**前者是收费的,但是可以在线使用,你不用准备硬件设备。后者是免费的,要布署到本地,它对显卡有一定的要求。
今天我就跟大家分享一下如何利用SD(stable diffusion)软件,来制作AI美女跳舞视频。
你没看错,是用绘画软件,来制作视频。
本期教程开始之前,我们先确保自己的电脑上安装了StableDiffusion这款软件,如果你还没有安装使用,那么可以看看我的往期入门教程:AI绘画SD下载安装教程,学习AI绘画软件必看(SD怎么安装,SD安装教程,安装stable diffusion软件必看),本期教程所用到的所有模型插件,AI工具请看下方或文末扫描免费获取哦
教程开始
你一定在短视频平台刷到过AI美女跳舞的视频。这些美女形象都比较完美,或甜美、可爱,或性感火辣,又或清纯靓丽。做这些视频的人已经收获了大量的粉丝。
看完我的拆解,你也可以迅速去尝试一把。闲话不多说,上干货!
第一步:剪辑视频
从短视频平台找到你喜欢的美女跳舞视频,去水印下载,进行二创混剪,想省事儿,也可以整段拿来用。
挑选的素材尽量是正脸,别找那种特效多的,会有影响。
第二步:将视频拆帧
一般短视频的分辨率是1080 * 1920,帧率是30帧。也就是说,一秒钟共有30帧。
用SD(stable diffusion)中的插件Ebsynth utility (插件下载请扫描免费获取哦),把视频拆成图片帧。比如一段8秒钟的视频,拆完后就得到240张视频帧图片。
我们要把这240张图的人物脸部,全部用AI工具进行替换,之后再重组合并成视频,就得到一个AI美女脸的视频。这就是视频制作原理,很容易理解 。接着看。
第三步:抽取视频关键帧
在对每帧图片进行换脸之前,思考个问题,这么多图片,每一张都换脸,是不是要耗费许多的时间?
是的,很费时间, 还得要求你的电脑显卡必须是N卡,显存至少得是6G起步,最好是12G以上,同时电脑内存也要大,不然玩不了。(如果你的电脑无法支持,那可可以使用云端SD来进行出图渲染)。
为了缩短时间,我们从240张图中抽取一部分关键的帧图片出来进行换脸,比如每隔5秒钟抽一帧图,就样就得到50张左右的帧图。
我们只对这50张图进行换脸操作,这样时间就节省好多。
第四步:重绘关键帧
1、在SD(stable diffusion)软件中先选择要用的大模型,比较知名的写实风格的就用那个麦橘写实就行了。
2、准备好图生图的提示词,即prompt。有三种方法,一是自己纯手动写,得是高手才行,二是利用WD标签器反推人一张图上反推出提示词,然后你在基础上完善一下,三是从专业模型网站下载的样图会自带提示词及配置参数,可以一键导入。这里我们使用第二种方法。
前面不是已经得到了一些关键帧,挑选一张,用WD标签器反推得到一个提示词就好了,上面说的是正向提示词,那么反向提示词(不希望SD生成的东西,比如6个手指、丑女之类)可以使用通用的反向提示词(需要的看下方扫描免费获取)。
3、选择脸型参考LORA。 你可以把lora理解成大模型的微调,以实现某些局部的调整。我们就用这种换脸专用的lora,俗称捏脸。以实现创造一个完美的AI美女出来。
小提示:几个不同的美女lora,可以混合使用, 创造一个混血美女出来。注意的是几个lora要分配好权重,相加不能高于1,可能让图片崩掉。
4、启用ADetailer。 (插件下载请看上方扫描免费获取哦)可以实现脸部、手部控制。
5、启用controlnet。 就控制以原视频帧图片为蓝本,来画新生成的AI美女图。
6、在批量重绘50个关键帧之前,可以先单独重绘一个图, 看看AI美女效果,这个脸是不是你喜欢的,不喜欢就调整参数,直到满意为止。
效果确定满意后,用WD标签器,把50个帧图片都反推一下,得到50个图的提示词。
7、然后回到图生图,把重绘尺寸设置为720*1280,*也是为了减少重绘时间。
8、接着选择调用一个批量重绘脚本ISNET,设定好目录等参数,点击开始重绘。
最后,你就得到50张重绘后的新关键帧图片,脸部已经全部是你相要的AI美女了。
第五步:放大
这50张图,其分辨率是720*1280的,所以我们要再做一个放大图片的动作。
进入SD的【后期处理】功能模块,再进到【批量处理文件夹】,改一下放大后的分辨率为1080*1920,以及放大用的算法模型。在SD软件的后期处理中,常用的放大算法包括ESRGAN系列算法和4X-UltraSharp算法。
点击生成,就得到50张重绘并放大的清晰的AI美女图片。
第六步:补帧
这时候,就需要把50张图片,变成240张了。这个操作叫作补帧。
从第1张帧到第5帧之间补上3帧图、第5帧至第10帧之间补上4帧图,以此类推,补齐到240张。
先用Ebsynth Utility插件,把这50个新图进行重命名并处理后得到几个工程文件,后辍为ebs的工程文件。
然后再用桌面端的Ebsynth软件,运行这几个ebs工程文件,这样你就得到了240张新图片。
第七步:生成视频
继续回到SD中,使用Ebsynth Utility插件,将这240张新的AI美女脸的图片,合并生成视频。
你会得到两个视频文件,区别是一个有原始声音,一个没有声音。
至此,AI美女跳舞视频就完成了。
好了,今天的分享就到这里了
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。