AudioLDM
开源的文本生成音频模型,输入一句描述即可输出语音、音效或音乐,另支持音频到音频与文字引导的风格迁移,网页版仅限文本生成,完整功能需按 Python 3.8 环境从 GitHub 安装后用命令行调用,适合开发者与音频研究者做声音素材实验。
2 次可以打开平均 2.3 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。AudioLDM 是一个开源的音频生成模型,论文发表于 ICML 2023,代码放在 GitHub 上。它解决的是「用文字描述一段声音,直接得到音频」这件事:输入一句描述,输出对应的语音、音效或音乐片段。仓库里同时提供了命令行工具和一个基于 Gradio 的网页应用。
主要功能
仓库说明里列了三类能力。文本到音频是最基础的一种,给一段文字就生成音频;音频到音频则拿一段已有音频作参考,生成含有同类声音事件的另一段音频;文字引导的音频风格迁移,用文字描述把一段音频的风格转到另一段上。此外还附带了音频超分辨率和音频修补的 Python 管线。
网页应用目前只支持文本到音频,想用全部功能要走命令行。命令行里用 audioldm -t "A hammer is hitting a wooden surface" 这样的写法生成,结果默认存到 ./output/generation 目录;风格迁移用 --mode "transfer" 加 --file_path 和 -t 指定原音频与目标描述,--transfer_strength 取 0 到 1 之间,0 表示不迁移,1 表示完全迁移。
使用门槛
它不是装好就能点的在线服务。需要先建 Python 3.8 的 conda 环境,用 pip 从 GitHub 安装,再克隆仓库、运行 python3 app.py 启动网页应用,终端会打印一个链接,点开在浏览器里用。仓库的更新记录停在 2023 年 4 月,期间陆续加了多个 checkpoint,包括用 MusicCaps 和 AudioCaps 微调过的版本,网页应用里也能选模型。
出好声的窍门
README 专门写了一节技巧:描述里多给形容词(比如 clearly、high quality),目标写具体些,用「water stream in a forest」而不是「stream」;换不同的随机种子,生成质量有时差别很大;指人时用 man、woman 这类通称,别用具体人名或生僻的抽象对象。