AI即兴创作!1.25亿参数模型实现iPhone实时钢琴自动补全,开发者亲历记

投资策略与投资组合管理

想象一下,当你坐在钢琴前即兴弹奏一段旋律时,一段与你演奏风格相符的音乐片段突然出现在你的手指下 - - 这不再是科幻电影中的场景,而是由人工智能驱动的现实。近日,一位名为Simon Edwardsson的开发者在个人博客中分享了他如何训练一个1.25亿参数的Transformer模型,在iPhone 15上实现实时钢琴自动补全功能,并推出了名为RollTab的免费应用。这一项目不仅展示了AI在音乐创作领域的巨大潜力,更为移动端AI应用提供了新的技术范本。从最初的构想到最终的成果,Edwardsson经历了漫长的技术探索之旅。他最初的想法很简单:将MIDI钢琴连接到手机,演奏一段旋律后,AI能够自动补全这首曲子。这听起来像是GitHub Copilot在音乐领域的翻版,但实际实现过程却远比想象中复杂。

经过十四次实验,他终于找到了合适的解决方案,并将其应用于实时音乐创作中。**MIDI文件的秘密:从音符到数据流**要理解这一技术突破,首先需要理解MIDI文件的本质。与MP3等音频格式不同,MIDI文件并不存储实际的声音波形,而是记录一系列音乐事件:某个音符被按下(包含音高和力度)、某个音符被释放、踏板状态变化等。这些事件通常被组织成多个音轨,例如旋律、和弦、贝斯、鼓点等。对于钢琴自动补全项目,Edwardsson主要关注钢琴类材料,因此需要从浩瀚的MIDI数据库中筛选出钢琴相关的内容。然而,将MIDI事件转换为Transformer模型能够理解的离散序列并非易事。

最直观的方法是为每个MIDI事件创建一个token,例如NOTE_ON_60_80(音高60,力度80)、NOTE_OFF_60(音高60释放)、TIME_SHIFT_12(时间步长12)等。但这种方法会导致词汇表急剧膨胀:128个MIDI音高和128个力度组合,仅NOTE_ON和NOTE_OFF事件就可能产生16,512个token。这种稀疏性不仅增加了模型的学习难度,还可能导致生成结果的不稳定性。为了解决这一问题,Edwardsson尝试了多种数据表示方法。最初他采用了语法化的token流,将音符事件分解为[NOTE_ON, PITCH, VELOCITY]、[NOTE_OFF, PITCH]、[TIME_SHIFT, DURATION]等组合。这种方法通过掩码机制确保生成的token序列语法正确,例如NOTE_ON后只能跟随音高token,音高后只能跟随力度token。

然而,这种方法在小型实时模型中容易出现问题,例如遗漏NOTE_OFF事件导致音符持续播放,或丢失活动状态跟踪。另一种尝试是显式表示音符持续时间,例如[NOTE, PITCH, VELOCITY, DURATION]或[TIME_SHIFT, DURATION]。这种方法避免了NOTE_OFF事件的遗漏问题,但代价是生成速度变慢:一个音符可能需要四个自回归Transformer步骤才能完成,同时快速消耗上下文窗口。最终,Edwardsson找到了一种平衡方案:NOTE(pitch, delta_onset, duration, velocity)。这种表示方法摒弃了单独的TIME_SHIFT事件,而是通过delta_onset(下一个音符的触发延迟)隐式表示沉默。例如,NOTE(C4, delta=0, duration=12, velocity=80)表示播放C4音符,持续12个时间步,下一个音符立即触发;NOTE(D4, delta=24, duration=12, velocity=80)表示播放D4音符,在24个时间步后触发。

对于和弦,则通过多个delta_onset=0的音符同时触发来表示,并按音高排序。这种表示方法的优势在于,Transformer模型每次处理一个完整的音符,而不是逐个生成音符的属性。在iPhone 15上,大型模型能够达到约108音符/秒的处理速度,远超人类演奏所需。每个音符由五个分类字段组成:事件类型、音高ID、delta_onset ID、持续时间ID和力度ID,每个字段都有独立的词汇表和嵌入层。模型通过将这些嵌入相加得到音符token,并通过分离的输出头预测每个字段。**踏板效果的简化处理**钢琴踏板(特别是延音踏板)是影响音符持续时间的重要因素。

Edwardsson没有显式处理踏板事件,而是在预处理阶段将踏板效果融入音符持续时间。具体来说,当踏板按下时,音符释放后仍会继续播放,直到踏板抬起;如果同一音高在踏板按下时重新触发,则之前的音符会在新音符触发时结束。这种处理方式虽然丢失了踏板的显式手势信息,但极大简化了模型的学习任务,使其只需预测音高、触发延迟、持续时间和力度四个属性。**数据清洗比数据量更重要**数据集的质量直接决定了模型的性能。Edwardsson在公开的MIDI数据库中搜索了大量古典音乐作品(主要是公版曲目),但发现数据质量参差不齐。最终,他通过自定义脚本对数据进行了严格清洗,构建了包含数十万MIDI文件、约3亿音符事件的数据集。

清洗流程包括:1. 筛选钢琴相关材料,移除或减少多音轨混合的病态样本;2. 通过密度和音高/时间覆盖范围进行过滤;3. 通过指纹去重(忽略全局移调和统一节奏变化);4. 将同一作品的不同版本分组到相同的数据分割中。有趣的是,当Edwardsson尝试将数据集规模扩大至原来的5倍时,模型性能反而下降。这表明,对于音乐生成任务,数据清洗和选择比单纯增加数据量更为关键。**训练策略:从交叉熵到DPO**在训练阶段,Edwardsson最初使用标准的交叉熵损失函数,分别计算事件类型、音高、delta_onset、持续时间和力度的损失,并将它们相加。这种方法便于分别跟踪每个属性的准确性,但存在一个重要局限:音乐补全并不存在单一的"正确"答案。即使是同一段提示,也可能有多种合理的续写方式。

因此,仅依赖交叉熵损失无法有效评估续写质量。为了解决这一问题,Edwardsson引入了数据增强技术,模拟真实演奏中的不完美:- 全局移调;- 节奏缩放;- 持续时间/力度抖动;- 提示音符丢失。在模型架构方面,他采用了标准的解码器Transformer,包括RMSNorm、旋转位置嵌入、因果自注意力、SwiGLU/MLP块等。他先后训练了三种规模的模型:小型(3300万参数)、中型(6400万参数)和大型(1.25亿参数)。实验发现,中型模型的性能显著优于小型模型,而大型模型虽然性能更好,但提升幅度有限。目前,他正致力于让中型模型达到大型模型的质量水平,以减少应用体积和延迟。

**计划采样:牺牲验证损失换取音乐质量**在训练过程中,Edwardsson发现了一种有趣的现象:计划采样(Scheduled Sampling)虽然增加了验证损失,但显著提升了续写质量。在标准训练中,持续时间和力度预测能够看到正确的音高。但在推理时,它们必须基于模型实际预测的音高。计划采样通过在训练过程中逐渐增加模型自身预测音高的比例(从0%提升至50%),使模型在推理时更好地适应自回归生成的不确定性。实验结果显示,计划采样将验证损失从2.9495增加到2.9998,但通过Gemini偏好评分,采样后的模型续写质量从35.7%提升至64.3%。这一发现表明,音乐生成任务的评估不能仅依赖传统的损失函数,而需要结合人类或AI评估的主观偏好。

**从主观评估到AI偏好优化**最初,Edwardsson通过手动聆听来评估模型续写质量。他使用4-32个音符的提示生成续写,发现4个音符的提示最具挑战性,8个音符的提示效果更好,而16-32个音符的提示能够提供足够的音乐上下文。然而,这种主观评估既耗时又不可靠。为了实现自动化评估,他设计了一系列指标,例如重复音高n-gram、音高熵、音高类熵、音高范围、音符密度、长停顿、和弦密度等。这些指标能够捕捉明显的失败模式,但无法准确反映续写的整体质量。最终,他转向使用Gemini 3.5 Flash进行成对评估。

与要求Gemini给出绝对分数相比,要求其在两个续写中选择更好的一个效果更佳。通过反转A/B样本,他进一步减少了位置偏见,构建了一个较大的偏好数据集,并用于直接偏好优化(DPO)。**DPO:让模型学会"听话"续写**DPO是Edwardsson在项目中取得最大突破的技术之一。通过为每个提示生成多个续写,并使用Gemini选择更好的续写作为"选择"样本,较差的作为"拒绝"样本,DPO训练模型使选择样本的概率高于拒绝样本,同时保持与原始模型的合理距离。实验结果显示,DPO将超过69%的续写偏好从基础模型提升至优化后的模型。β值(控制DPO惩罚强度)的选择也至关重要:β=0.01和β=0.03提升了模型性能,而β=0.10导致模型变差。

此外,通过保留评估者一致同意的偏好对,他构建了"共识"数据集,进一步提升了模型质量。Edwardsson猜测,基础模型已经学会了音乐的基本结构,但DPO帮助它学会了生成更符合提示的续写。这一发现表明,对于音乐生成等开放式任务,后训练技术(如DPO)可能比单纯的预训练更为有效。**技术挑战与解决方案**在项目开发过程中,Edwardsson遇到了多个技术挑战:1. **音符事件遗漏**:早期的NOTE_ON/NOTE_OFF表示方法容易导致音符遗漏或悬挂,特别是在小型实时模型中。通过显式表示音符持续时间,这一问题得到了缓解。2. **生成速度与上下文窗口**:音符级别的表示虽然提升了生成质量,但每个音符需要多个Transformer步骤,导致速度较慢。

最终通过音符级别的自回归生成,在iPhone上实现了实时处理。3. **数据规模与质量**:简单扩大数据集规模并未带来性能提升,反而导致模型变差。通过严格的数据清洗和筛选,模型性能得到了显著改善。4. **重复与连贯性**:Mirostat等去重技术虽然减少了重复,但往往导致输出不连贯。最终通过DPO优化,模型学会了生成更连贯的续写。5. **移动端部署**:将PyTorch模型导出为Core ML并量化为INT8格式后,首次启动速度较慢。

通过优化上下文管理(如保留最近384个音符并重建上下文),解决了长会话支持的问题。**应用体验与未来展望**经过近一年的开发,Edwardsson最终推出了名为RollTab的免费应用,支持iPhone和iPad用户通过MIDI钢琴实现实时自动补全。应用支持多种采样方法(top-k、top-p、min-p、XTC、top-h、Mirostat v2等),并允许用户在不同采样策略间切换。尽管项目已初步成功,但仍有许多改进空间:- 减少重复和循环;- 提升短提示续写的质量;- 优化模型大小和延迟,使中型模型达到大型模型的质量;- 支持更长的上下文窗口;- 增强对不同音乐风格的适应性。Edwardsson将这一项目比作GPT-2在钢琴领域的翻版:虽然尚不完美,但已经足够有趣,让用户能够享受与AI共同创作音乐的乐趣。他表示,这一项目让他重新爱上了坐在钢琴前即兴弹奏,并期待未来能够进一步改进这一技术。

**技术启示与行业影响**Edwardsson的项目不仅展示了AI在音乐创作领域的应用潜力,也为移动端AI应用提供了新的技术范本。通过精心设计的MIDI表示方法、严格的数据清洗、计划采样和DPO后训练,他成功地在资源受限的移动设备上实现了实时音乐生成。这一项目还揭示了音乐生成任务的独特挑战:与文本生成不同,音乐生成缺乏单一的"正确"答案,评估标准更加主观和复杂。因此,结合自动化指标和AI/人类偏好评估,可能成为未来音乐生成模型评估的重要方向。此外,Edwardsson有意避免深入研究现有论文,而是通过实践探索问题的解决方案。这种"从零开始"的方法虽然耗时较长,但也让他能够更深入地理解问题的本质,并最终找到适合移动端实时应用的解决方案。

**结论:音乐AI的新篇章**从构想到实现,Edwardsson的钢琴自动补全项目展示了AI技术在音乐创作领域的巨大潜力。通过在iPhone上实现实时音乐生成,他不仅为音乐爱好者提供了新的创作工具,也为移动端AI应用树立了新的标杆。随着技术的不断进步,我们有理由相信,未来的音乐AI将能够生成更加个性化、更加高质量的音乐续写,甚至与人类音乐家进行真正的协作创作。而Edwardsson的项目,正是这一未来的一个缩影。 。