当前位置:首页 » 《休闲阅读》 » 正文

ChatTTS 开源文本转语音模型本地部署、API使用和搭建WebUI界面(建议收藏)

11 人参与  2024年09月16日 18:40  分类 : 《休闲阅读》  评论

点击全文阅读


ChatTTS(Chat Text To Speech)是专为对话场景设计的文本生成语音(TTS)模型,特别适用于大型语言模型(LLM)助手的对话任务,以及诸如对话式音频和视频介绍等应用。它支持中文和英文,还可以穿插笑声、说话间的停顿、以及语气词等,听起来很真实自然,在语音合成中表现出高质量和自然度(ChatTTS团队声称:突破开源天花板)。

同时,ChatTTS模型文件总大小1.1GB左右,常用的个人笔记本电脑均可部署,因此涉及到文本转语音场景,均可以自己操作转换了!

ChatTTS特点

由于ChatTTS以下极具吸引人的特点,使得它一经推出就成为了爆款:

多语言支持:ChatTTS的一个关键特性是支持多种语言,包括英语和中文。这使其能够为广泛用户群提供服务,并克服语言障碍。大规模数据训练:ChatTTS使用了大量数据进行训练,大约有1000万小时的中文和英文数据。这样的大规模训练使其声音合成质量高,听起来自然。对话任务兼容性:ChatTTS很适合处理通常分配给大型语言模型LLMs的对话任务。它可以为对话生成响应,并在集成到各种应用和服务时提供更自然流畅的互动体验。开源计划:ChatTTS团队目前开源一个经过训练的基础模型。控制和安全性:ChatTTS致力于提高模型的可控性,添加水印,并将其与LLMs集成。这些努力确保了模型的安全性和可靠性。易用性:ChatTTS为用户提供了易于使用的体验。它只需要文本信息作为输入,就可以生成相应的语音文件。这样的简单性使其方便有语音合成需求的用户。

下载ChatTTS模型文件

因最大模型文件超过900MB,为了防止使用Git无法直接下载到本地,我们通过git-lfs工具包下载:

brew install git-lfs

通过Git复制模型文件到笔记本电脑(文件夹:ChatTTS-Model):

git lfs installgit clone https://www.modelscope.cn/pzc163/chatTTS.git ChatTTS-Model

如果因网络不佳等原因,下载中断,我们可以通过以下命令在中断后继续下载:

git lfs pull

ChatTTS模型文件列表

安装ChatTTS依赖包列表

下载ChatTTS官网GitHub源码:

git clone https://gitcode.com/2noise/ChatTTS.git ChatTTS

进入源码目录,批量安装Python依赖包

pip install -r requirements.txt

特别注意:如果下载过程中,若出现找不到torch2.1.0版本错误,请修改requirements.txt文件,把torch的版本修改为2.2.2后再次执行安装:

torch版本找不到

Python依赖包列表requirements.txt文件如下,我们也可以手工一个一个的进行安装,无需下载整个源码(注意:torch的版本号为2.2.2):

omegaconf~=2.3.0torch~=2.2.2tqdmeinopsvector_quantize_pytorchtransformers~=4.41.1vocosIPython

ChatTTS中文文本转音频文件

特别注意:经老牛同学的验证,ChatTTS官网的样例代码API已经过时,无法直接运行,特别是chat.load_models方法入参是错误的,下面是老牛同学通过阅读API入参且验证的可执行代码。

# ChatTTS-01.pyimport ChatTTSimport torchimport torchaudio# 第一步下载的ChatTTS模型文件目录,请按照实际情况替换MODEL_PATH = '/Users/obullxl/PythonSpace/ChatTTS-Model'# 初始化并加载模型,特别注意加载模型参数,官网样例代码已经过时,请使用老牛同学验证代码chat = ChatTTS.Chat()chat.load_models(    vocos_config_path=f'{MODEL_PATH}/config/vocos.yaml',    vocos_ckpt_path=f'{MODEL_PATH}/asset/Vocos.pt',    gpt_config_path=f'{MODEL_PATH}/config/gpt.yaml',    gpt_ckpt_path=f'{MODEL_PATH}/asset/GPT.pt',    decoder_config_path=f'{MODEL_PATH}/config/decoder.yaml',    decoder_ckpt_path=f'{MODEL_PATH}/asset/Decoder.pt',    tokenizer_path=f'{MODEL_PATH}/asset/tokenizer.pt',)# 需要转化为音频的文本内容text = '大家好,我是老牛,

点击全文阅读


本文链接:http://zhangshiyu.com/post/160782.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1