随着人工智能技术的快速发展,大规模语言模型(LLM)在自然语言处理领域中的作用日益凸显。然而,传统的许多语言模型在训练数据和语言覆盖范围上存在显著不足,尤其是在许多小语种和区域性语言的支持方面,存在明显的缺失和欠缺。瑞士联邦理工学院(EPFL)、苏黎世联邦理工学院(ETH Zurich)与瑞士国家超级计算中心(CSCS)联合推出的Apertus项目,标志着该领域的一次重要突破。Apertus不仅是瑞士首个大规模开放多语言语言模型,更以其包含丰富的多语言资源及高度透明的开发流程,为业界带来全新的创新可能。Apertus模型以其覆盖超过1000种语言、15万亿训练令牌的庞大数据训练规模,在其中非英语语料占比高达40%。这不仅极大丰富了模型的语言多样性,也使得一些长期被忽视的地方性语言如瑞士德语、罗曼什语等首次在主流大语言模型中得到了充分体现。
多语言的覆盖,不仅提升了模型在真实世界多样化语言环境中的适应能力,更为全球不同语言使用者提供了更为公平的技术支持。Apertus的命名源自拉丁语"open",体现了项目开发全过程的开放和透明精神。整个开发过程,包括模型架构、训练权重、训练数据集及训练方法等均实现了公开共享。开发团队将所有相关资源整理并免费发布在如Hugging Face等开源平台上,促进了研究人员、开发者乃至企业用户的自由访问和使用。如此开放的策略,不仅推动了科学研究的可重复性与创新进程,也为多元应用场景提供了坚实基础。Apertus目前提供了两种规模的模型版本,分别拥有80亿和700亿参数。
较小的模型适合个人用户进行实验和开发,较大的模型则能满足企业或科研机构更高性能需求。两者均采用了宽松的开源许可证,用户可以用于教育、研究、商业等多种场景,极大提升了模型的普及度和应用价值。依托开放的生态体系,Apertus支持通过最新版本的Transformers、vLLM、SGLang、llama.cpp及MLX等多种工具进行部署,使其能够在多样化的硬件设备上灵活运行,从个人电脑到大型计算集群,为用户带来良好的使用体验。数据隐私与合规性方面,Apertus严格遵循瑞士的数据保护和版权法律,同时积极符合欧盟AI法案的透明度要求。训练语料严格筛选自公开可用资源,并剔除了个人敏感数据和其它不适宜内容。更值得一提的是,模型训练也充分尊重机器可读的网页选择退出机制,确保了数据来源的合法和伦理合规性。
作为瑞士人工智能计划(Swiss AI Initiative)的重要成果,Apertus的问世离不开瑞士多所顶尖科研机构的合作与支持。EPFL与ETH Zurich集结了跨领域的研究人员、工程师和学生,联合CSCS强大的计算资源和基础设施,共同打造了这一具有国际影响力的开源项目。Apertus不仅在技术层面实现了突破,还为推动多语言包容性和人工智能透明性树立了标杆。在实际应用方面,Apertus具备极大潜力。未来,它可被广泛应用于智能聊天机器人、多语种翻译系统、教育辅助工具等多个领域。通过提升对少数语言和方言的支持,Apertus助力促进语言文化的传承与交流,为全球不同语言用户提供贴合需求的优质AI服务。
随着全球化进程的加快,语言多样性的保护与技术融合日益关键。Apertus的成功实践,既回应了这一时代命题,也展示了开放创新的力量。作为开源开放项目,Apertus后续将继续吸纳全球社区的反馈和贡献,不断完善模型性能,扩展语言覆盖范围,促进人工智能的公平使用和社会价值。总体而言,Apertus代表了多语言大规模语言模型发展的方向,为各界提供了珍贵的技术资源和应用机遇。它不仅为少数语言赋予了新的生命力,也推动着人工智能技术朝向更加多元和透明的未来迈进。未来可以预见,类似Apertus这样的项目将会成为推动自然语言处理技术全面进步的重要驱动力,促进更多元语言环境中智能应用的普及,进而惠及全球用户与社会发展。
。
