目录
0 写在前面1 diffusion vs GAN2 NovelAI3 AI绘画环境搭建4 体验AI创作
0 写在前面
机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理;“广”在分析多个机器学习模型:决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。
?详情:机器学习强基计划(附几十种经典模型源码合集)
话不多说,先看看AI绘画的效果
接下来带大家体验一下二次元画师novelAI
1 diffusion vs GAN
所谓扩散算法diffusion
是指先将一幅画面逐步加入噪点,一直到整个画面都变成白噪声。记录这个过程,然后逆转过来给AI学习。
AI看到的是什么?一个全是噪点的画面如何一点点变清晰直到变成一幅画,AI通过学习这个逐步去噪点的过程来学会作画。
diffusion
和之前大火的GAN
模型相比,有什么优势呢?用OpenAI的一篇论文内容来讲,用diffusion
生成的图像质量明显优于GAN
模型;而且与GAN
不同,diffusion
不用在鞍点问题上纠结——涉及稳定性问题,只需要去最小化一个标准的凸交叉熵损失即可,这样就大大简化了模型训练过程中,数据处理的难度。
总结来说,目前的训练技术让diffusion
直接跨越了GAN
领域调模型的阶段,而是直接可以用来做下游任务,是一个新的数学范式在图像领域应用的实例。
2 NovelAI
NovelAI
是基于人工智能的绘画创作辅助工具,单纯训练就使用了数千个网站的数十亿张图片。NovelAI
是一个商业化的网站,绘画是需要付费的,然而这次其商业模型疑似流出,不管是小白还是画师都能体验一次AI创作的乐趣。这次流出的模型是stable-diffusion-webui
,也就是第一节介绍的扩散算法。
3 AI绘画环境搭建
主要分为以下步骤:
创建Python3.10的虚拟环境
conda create -n ai_draw python=3.10
虚拟环境相关操作请参考:Anaconda安装与Python虚拟环境配置保姆级图文教程(附速查字典)
在虚拟环境中安装Pytorch
这步比较涉及显卡相关的配置,比较复杂,请参考:最新CUDA/cuDNN与Pytorch保姆级图文安装教程(速查字典版)
下载模型stable-diffusion-webui
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
安装依赖库
首先进入虚拟环境
conda activate ai_draw
接着进入stable-diffusion-webui
根目录运行
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
采用清华源可以更快完成安装
下载模型和权重文件
模型文件model.cpkt
:model.cpkt,权重文件GFPGANv1.4.pth
:GFPGANv1.4.pth,模型文件移动到这个目录stable-diffusion-webui-master\models\Stable-diffusion
,权重文件留在根目录即可,最后的文件组织如图所示
根目录运行启动文件
python launch.py
期间会下载一些新的依赖,有可能超时报错,多启动几次即可
4 体验AI创作
通过第三节的配置,成功后即可在终端看到
开放了一个本地端口,在浏览器中输入即可
接下来测试最简单的文本生成图像功能:
NSFW,anime fine details portrait of a white haired girl ,black eyes,wearing hoodie on the city street background, close-up view, anime masterpiece,4k, sharp high quality anime, artstation Prhololive, uruha_rushia, 1girl, bangs, bare shoulders, red eyes, blue dress, blue green hair,blue sleeves, blush, bow, breasts, chick, collarbone, detached collar, detached sleeves, double bun, eyebrows visible through hair,frills, hair orhament, medium hair, off-shoulder dress 1girl looking_at_viewer upper_body, too many flowers,kyoto animation, bishojo, bare_shoulders black sleeves yellow_eyes emeraldblue_hair, sailor_collar and neckerchief, detached_sleeves frilled_shirt_collar frills grey_shirt headset heart long_hairsleeveless shirt twintails verv long hair wide sleeves highres 2girl, two bishojo snuggled up selfie, with white marble glowing skin and perfect symmetrical pretty face with blush cheeks and glaring eyes wearing a school uniform,golden hour lighting, strong rim light, intense shadowse , Ernst Thoms
输入反面标签:lowres, bad anatomy, bad hands, text,error, missing fngers,extra digt ,fewer digits,cropped, wort quality ,low quality,normal quality, jpeg artifacts,signature,watermark, username, blurry, bad feet
设置采样步长sampling step
为28配置CFG Scale
为12点击Generate
当然这里还有img2img
等丰富的功能,读者可自行测试
? 更多精彩专栏:
《ROS从入门到精通》《机器人原理与技术》《机器学习强基计划》《计算机视觉教程》…?源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系?