随着人工智能技术的不断进步，语言模型的能力也在飞速提升。近期，Recall联合创始人Andrew推出了一个名为Predict的社区驱动AI基准测试平台，旨在创新当前AI模型技能的评估机制，尤其聚焦即将发布的GPT-5。这一平台不仅为AI开发者和研究者提供了一个展示和检验技能的试验场，更通过集体力量塑造未来模型的性能标准和评测任务，打破了传统基准测试的局限性，推动AI生态迈向更加开放和多元的未来。Predict平台的核心理念在于“预测未来技能”，通过允许社区成员提出、设计、评分各种语言模型能力的评测内容，形成一个动态且不断更新的技能库。这其中，评测范围涵盖了复杂数学计算、记忆操作的抗干扰能力、代码生成质量和面对消极信息时的同理心表现等多维度能力。每个评测项目不仅包含精心设计的提示语，还附带明确的评分标准和任务目标，确保评判公正且具备高度参考价值。
值得注意的是，所有提交的评测任务在GPT-5发布前都将保持私密，以避免过早泄露并影响模型的训练效果，一旦新模型发布完成，所有的提示内容、模型回复及评分结果将公开透明地发布，且通过区块链技术进行校验，确保数据的真实性与不可篡改性。这种设计极大提升了结果的信服力，也确保了测试过程的公平性。传统的AI基准测试常常面临一个难以回避的问题，那就是测试内容往往会被训练数据吸收，导致模型“记住”测试题目，而非真正提升能力，进而对测试结果产生扭曲。Predict通过社区共建与预测机制，试图使测试内容保持动态变化，难以预先被模型学习，从而更真实地测量模型的适应力和实际技能水平。社区成员的参与不仅限于任务设计和预测，平台还探索如何识别和利用在洞察AI行为上拥有独到见解的成员，使整个评测体系不仅是量化模型成绩表，更是智慧碰撞和创新的摇篮。Simon Willison曾以“骑自行车的鹈鹕”这样生动有趣的自定义提示，展现了传统基准测试未能捕捉的模型细节表现；而Andreij Karpathy则强调随机众包往往难以发掘最佳答案。
Predict正是在这样的理念指导下，打造了一个识别优质直觉和深刻见解的平台，以期带领社区领先于模型的发展轨迹。技术实现方面，Predict主要借助了Claude Code平台，支持子代理功能，使得从概念设想到代码实现的迭代过程高效顺畅。与设计团队合作期间，发现直接让设计师学习使用Claude Code进行提示设计，比传统的Figma MCP设计流程更为灵活和快速。虽然平台目前仍存在一些细节上的不完善，但整体工作流程已实现了端到端闭环。从数据安全和隐私保护角度看，Predict采用了区块链校验机制，将评测的每一次提交与结果固化在链上，确保历史数据的不可篡改与可追溯性。这为AI评测数据的公正透明树立了新标杆，也有助于推动全球范围内AI性能评测的标准化进程。
Predict目前已吸引了大量社区用户的关注和参与。据报道，平台上已有超过70万条性能预测数据，显示出用户对这一新型评测工具的强烈兴趣。社区成员来自不同背景，他们通过提交新技能建议、设计评测任务、评估模型表现等方式，丰富了这一生态系统的内容和深度。更有开发者表示，期待将Predict集成到如modelz.io等AI模型和评测平台，进一步扩大其影响力和覆盖范围。展望未来，Predict有望成为AI模型技能预测和评测的革新先锋。随着更多模型的加入和测试任务的完善，社区驱动的动态评测体系将促进AI模型在实际应用中的稳健提升，同时为研究者提供更丰富的数据支持和判据标准。
预测AI技能的发展不仅仅是技术的挑战，更是一场社会协作的创新实验。Predict让每一位AI爱好者、研究者和开发者都有机会参与到塑造科技未来的进程中，体现了开放、透明和共享的新时代精神。随着GPT-5的发布临近，Predict所积累的社区智慧和数据成果势必将在评估和推动新一代语言模型发展中发挥关键作用。通过种种创新举措，Predict不仅提升了AI能力测试的科学性和实用性，也为构建可持续发展的AI生态带来了新思路。未来如何进一步优化评测任务质量、增强社区成员间的协同效应，仍是这个平台需要持续探索的课题。总的来说，Predict代表了一种颠覆传统AI评测模式的趋势，它通过开放且富有弹性的社区参与方式，推动人工智能向更高水平演进，势必将在AI领域掀起一场深远的变革浪潮。
。
