在当前全球人工智能迅猛发展的浪潮中,大型语言模型(LLM)成为推动自然语言处理技术进步的核心力量。然而,多数市面上的大型语言模型过于侧重英语及其他主流语言,导致数量众多的弱势语言缺乏有效的技术支持和服务。针对这一挑战,欧洲人工智能领域涌现出一款备受瞩目的创新成果 - - TildeOpen-30B。这是一款由Tilde.ai开发、欧洲委员会通过EuroHPC JU大型人工智能重大挑战资助而打造的30亿参数级别密集解码器型变换器模型,专门聚焦于北欧及东欧多达32种语言,尤其是19种弱势语言群体,旨在填补传统人工智能系统在这些语言上的表现欠缺。 TildeOpen-30B的设计理念核心在于公平性与多语言平衡性。模型训练之前,团队采用了量身定制的等效分词器(tokeniser),确保无论输入文本属于哪种语言,其编码所需的标记数量保持均衡,避免某些语言因预处理不当导致模型效率低下或表现受限。
此外,训练过程采用了课程学习策略,分为三个阶段:首先在所有语言间均匀采样,保证模型从一开始就均衡接触所有目标语言;随后根据语言的自然分布进行采样,确保拥有大量使用者的语言得到足够的训练数据支持;最终再回归至均匀采样,强化模型在弱势语言上的识别与生成能力。这一创新训练范式不仅提升了模型在主流语言上的表现,也极大改善了对资源匮乏语言的支持,有效弥补了语言资源不均带来的技术鸿沟。 技术层面,TildeOpen-30B采用了60层深度架构,内嵌6144维度的嵌入层和21504维度的前馈网络隐层,结合48个自注意力头和8个键值头的GQA机制,利用SwiGLU激活函数和RMSNorm层归一化技术,配置了最长8192长度的序列输入。该模型基于EleutherAI的GPT-NeoX框架分支定制,在芬兰LUMI超级计算机的768颗AMD MI250X GPU上训练,处理了超两万亿个标记,显示出其出色的计算规模和性能表现。此外,模型不仅支持文本生成,还能理解和处理数学证明、编程代码以及包含翻译数据的XML文档等多种复杂文本类型。 TildeOpen-30B不仅技术先进,其开源与透明的研发策略也极具战略意义。
采用CC-BY-4.0许可协议,不仅允许学术界和企业自由使用与改进,更促进了基于社区驱动的创新与发展,推动了欧洲自主可控技术生态的建设,减少对非欧洲大型科技公司的依赖。未来版本计划在这一基础模型上构建专门的翻译引擎,利用其强化的多语言基础,为受支持的语言对间提供高质量、精准的自动翻译服务,进一步扩大其应用领域和社会价值。 评测结果方面,TildeOpen-30B在多个国内外知名基准测试中表现卓越。其在Belebele多语言阅读理解任务中的平均准确率达到了84.7%,领先于竞争对手,尤其在资源极度匮乏的语言如冰岛语(土耳其语等)表现突出,准确率大幅提升。在MultiBLiMP多语言语法测试中,模型准确率高达99.0%,显示出对语言规范的敏锐辨识能力。科学常识推理领域的ARC测试中,模型表现虽略逊于某些对手,但在非英语语言中的稳定记忆和理解令其依然极具潜力。
此外,在面向各国中学高考和大学入学考试模拟的本地化考试测试中,TildeOpen-30B也展现了66.6%的综合准确率,特别对阿尔巴尼亚语等弱势语言表现尤为优异,实现了显著的区域知识掌握。 另一个值得关注的亮点是其可用性与开放性。在Hugging Face平台上,用户无需复杂配置即可调用模型进行文本生成,通过简单的Python代码示例即可快速部署并应用,支持bfloat16张量类型和自动设备映射,方便研究者和开发者集成至多种应用场景。虽然当前版本尚未集成指令遵循及安全对齐功能,开发团队已规划在后续版本中完善这些关键特性,保障模型在实际应用中的安全性与易用性。 TildeOpen-30B的诞生为处理多语言、多文化的AI技术提供了新的范式。它不仅是一项技术进步,更是一场文化与语言公平的推动力量。
在众多弱势语言困境日益严峻的背景下,TildeOpen-30B凭借其高效公平的设计理念以及强大的技术架构,为维护语言多样性及促进语言数字化进程开启新篇章。未来,随着更多领域的深度融合与应用落地,相信这款基于欧洲自主力量打造的开源大型语言模型,将为促进全球语言平等交流、科技包容性发展注入强劲动力,激发更多面向多语言用户群体的创新场景与可能性。 。
