AI音乐工具ACE-Step是一个用于音乐生成的开源基础模型
ACE-Step是开源音乐生成基础模型,通过整体架构设计克服了现有方法的局限性。基于LLM的模型(如Yue、SongGen)在歌词对齐方面表现出色,但推理速度慢且存在结构性瑕疵。扩散模型(如DiffRhythm)虽然能够快速合成,但常常缺乏长期结构连贯性。ACE-Step通过结合基于扩散的生成、Sana的深度压缩自编码器(DCAE)和轻量级线性Transformer来解决这些已存在的问题,进一步利用MERT和m-hubert在训练期间对齐语义表示(REPA),实现快速收敛。 ACE-Step在A100