团子伴奏提取6.0算法近日上线,7.0也在路上~
团子AI · 2022-06-14 预告
团子伴奏提取6.0算法近日上线,7.0也在路上~

从年初团子网站改版后,我们陆续研发出任意乐器提取无损升降音调两个功能,获得非常不错的反响😇

但我们的目光仍然聚焦在伴奏人声提取功能之上,5.0算法是我们实验性的一代算法,它对于音乐有更“深层”的理解,但仍有缺点——经过大量技术沉淀和用户反馈,我们对5.0算法的一些已知缺点进行总结,并已经着手研发6.0算法用以改进🤗

6.0我们将基于5.0算法进一步优化,5.0算法中有一个最大问题就是在轻柔音乐下支持不佳可能造成人声残留,6.0将修复此问题,并且处理的音乐更加连贯不会有某一段的“闪烁”感。

另外在6.0中我们同样增加了提取能力和精密程度来达到更少的人声残留

同时我们将在6.0中额外的增加一个“激进”算法,在大多数情况下他能消除更多的人声齿音残留,当然有优点就会有缺点——它会比较粗犷,同时也会消除一些特别轻微的伴奏里的乐器,而6.0默认算法会尝试保证伴奏本身乐器的完整性的前提下消除人声,在大多数情况下默认算法已经足够好,在某些歌曲(以齿音zi ci si这样的声音仍有残留的)中,您也可以尝试激进算法。

6.0算法将在一两周后就会和大家见面,它不会再被称为实验性算法,而是作为默认的上传选项,同时4.0和5.0算法将进入到“已过时”算法队列中,在未来7.0算法推出后将彻底不再支持。

我们也在筹备研发7.0算法,我们会增加更多的训练数据,同时我们将清洗之前质量不佳的样本,并增加更多学习困难的正负样本(减少错误的音色识别为人声),同时我们还会增大模型容量来增强算法的泛化能力。

和6.0作为5.0的修补版不同,7.0算法将作为一个长期支持(LTS)算法存在于团子中,我们计划届时推出“进化”功能,可以让用户主动报备提取效果不好的困难样本(比如吉他/弦乐器误被当成人声消除等),我们也会着重补充于这些困难正负样本的训练数据,计划在未来我们每个月都会根据用户的反馈来训练并更新AI的模型(可以理解为“大脑”)从准备数据到训练再到微调上线,这次将是一个非常漫长的过程,尽管我们已经清洗了25%的数据,但接下来仍然预计需要3个月到6个月时间左右上线,请拭目以待🤗🤗