【22年9月】团子AI研发日志
团子AI · 2022-09-26 预告
【22年9月】团子AI研发日志

上个月月底发布的伴奏人声提取7.5算法是7系列算法的最终版本,本月我们的精力主要聚集在8.0算法的研发之中。

我们计划在8.0算法中重新调整AI的提取能力,以下是一些计划进度:

· 减少CHOP类型的乐器错误提取

CHOP是一种现代音乐(尤其为电子音乐)常用的技巧,类似于把人声切成一块块的片段并把它当成“乐器”来用,但之前的AI会错误的将CHOP当为人声提取,实际上从音乐的构成来说尽管这是一种“人声”,但音乐制作者希望的是把它当成一种“乐器”,我们本次添加了更多的现代音乐来让AI学习CHOP的风格,减少对CHOP的错误提取,不会把CHOP当成人声提取出来而是保留在伴奏里。

audio-thumbnail
CHOP风格案例
0:00
/0:20

· 大幅度支持国风音乐的提取能力

伴奏提取AI的诞生,需要“喂”给它“听”大量的音乐数据来让AI学习伴奏和人声的构成,数据的多样性越强,AI就可以学习到更多的歌唱与音乐模式。而市面上任何的类似团子AI的伴奏提取,在让AI学习的过程中使用的训练素材均为外国语音乐,我们经常收到反馈AI在提取中国风的音乐中效果非常差,原因其实很简单,在AI诞生的过程中,根本就没有学习过中国风的音乐,所以会把国风乐器错误当成“人声”而提取。

本次8.0模型中,我们会添加大量的中国风音乐,蕴含了如二胡、笛(萧)、琵琶等数种难以提取的乐器,甚至于一些非国风的常见乐器(如萨克斯和一些管弦乐)我们也有加强。这将会大幅度强化AI在这类风格中的提取能力,让AI懂音乐,更懂国风音乐。

· 新增更多复杂人声的支持

我们将增加更多的复杂人声提取能力,减少伴奏中出现的人声泄露和齿音问题,同时在我们未来会提供一个“进化”渠道,当某首歌曲提取效果不佳时,用户可以框选出效果不佳的片段来反馈给我们,我们会针对这些难以提取的内容进行下一步的微调来提供给用户更完美的提取质量。

· 更大AI容量

AI模型的容量可以理解为人的“脑容量”,本次我们将AI的容量翻倍——尽管这让计算时间和成本也翻倍,但更大的AI模型容量可以提供更多的学习与泛化能力。

目前8.0的数据筹备工作已经进入尾声阶段,即将开始训练的过程,预计将在1-2个月内和大家见面,还请多多支持😇