伴奏人声提取7.0算法正在研发中🥳
团子AI · 2022-07-25 预告
伴奏人声提取7.0算法正在研发中🥳

在6.0伴奏人声提取算法发布后,我们将研发精力投入到7.0算法当中,在历代算法中我们都注重于人声提取的“残留”问题,也就是伴奏中是否有人声的轻微残留(主要以齿音为主),在6.0算法里我们几乎完美的解决了这些问题,但这还远远不够,除了人声残留,我们现在开始也要考虑伴奏残留问题。

我们的通用模型已经可以支持大多数的曲风和乐器,但是——在部分乐器上仍然支持有限,比如管弦乐(以笛子、小/大提琴为主)、部分中高音吉他,以及现代的EDM(电子音乐)等,这些音乐中的部分乐器(或合成器)和人声的发音频率非常相近,以至于AI对这些声音很容易混淆,随即将其误认为“人声”并提取,这种错误的提取会导致伴奏里丢失该乐器的声音并污染了人声音轨。

那么有没有办法能对付这种事情呢?答案是很难,但是可以!

我们近期将开始大量收集这样的音乐样本,这是一个漫长的过程,但我们已经做完将近65%左右的样本收集,当我们收集到大量的样本音频后,我们会让AI进行这方面的强化学习——AI学习了足够多这样的“困难”样本后,就会在这方面的歌曲里处理起来更加游刃有余,也就直接的提升了我们AI的提取准确度。

根据我们的大致规划,本次的7.0算法大约需要3个月左右的时间完成,如果时间可行的话,我们也可能会推出一个“进化”功能,用户可以标记歌曲中提取效果不佳的片段,我们将这些标记结果应用于模型的强化学习——也就是说您标记了一些提取不佳的片段,AI就会根据这些内容进一步的自我学习来提升准确性,团子将不断的进行“进化”,为大家带来更好的提取效果。😇