Datasets · Delivered
这里列出可以公开的已交付数据集：10 个，覆盖学科推理、软件工程和 Agent 评测。每个数据集说明交付规模、质检机制和数据字段。样例与完整说明按需提供。
专家级学科题。题目由竞赛教练团队原创命制，不是对公开题库的改写。
HLE（Humanity's Last Exam）由 Center for AI Safety 和 Scale AI 组织全球领域专家构建，是高难度多模态学术问答基准，题目要求答案明确可验证，且难以靠简单检索解决。
我们的交付竞赛教练团队按 HLE-Math 风格全新命制，严格多模态，用管线自动化生产。
HLE（Humanity's Last Exam）由 Center for AI Safety 和 Scale AI 组织全球领域专家构建，是高难度多模态学术问答基准，题目要求答案明确可验证，且难以靠简单检索解决。
我们的交付竞赛教练团队按 HLE-Physics 风格全新命制，严格多模态，用管线自动化生产。
HLE（Humanity's Last Exam）由 Center for AI Safety 和 Scale AI 组织全球领域专家构建，是高难度多模态学术问答基准，题目要求答案明确可验证，且难以靠简单检索解决。
我们的交付竞赛教练团队按 HLE 风格全新命制化学题，严格多模态，用管线自动化生产。
长流程软件工程与工程优化任务，每题带可执行的验证环境。
面向真实工程任务的生成式优化基准，47 个任务，覆盖计算与量子信息、运筹与决策科学、机器人与控制、光学与通信系统、物理科学与工程设计五大领域。模型在固定交互预算内反复生成或修改可执行代码，由领域验证器和仿真器给出性能评分与约束反馈。
我们的交付与原始基准保持一致，交付可执行的任务包和清单文件。
Datacurve 构建的长流程软件工程评测基准，113 个原创任务，覆盖 91 个活跃开源仓库和五种编程语言。任务要求模型自主理解代码库、设计方案、完成修改并运行测试，每个任务有隔离执行环境、功能验证器和参考解。
我们的交付与原始基准保持一致，交付 F2P / P2P 测试集。
Proximal 构建的超长流程编程智能体评测基准，v2 有 34 个任务，覆盖系统实现、科学计算、性能优化、视觉推理和 AI 研究五类。每个任务提供完整 Linux 环境和 20 小时执行预算，由确定性的自动验证器评估最终产物。
我们的交付与原始基准保持一致，交付 F2P / P2P 测试集。
由伯克利 RDI 与 300 多位行业专家共同领导的代理评估基准，面向长周期、高价值、结果可验证的任务，覆盖 55 个目标行业，已收集 1,500 多项任务，目标 5,000 项。
我们的交付专家生产，使用真实且许可允许的专业案例，配可执行参考解和独立评分器，按 Harbor Task 格式交付，每题有独立可启动的 Docker 环境。
多应用、长流程的 Agent 评测，按最终状态判分。
公开正式集 600 个任务，每个领域 100 个，另有 200 个 simple 基础任务不计入成绩，覆盖 47 个模拟 SaaS 应用。每个任务初始化一个模拟企业环境，要求 Agent 自主完成业务流程，再用程序断言检查最终状态。
我们的交付与原始基准保持一致。
108 个任务、32 个软件应用、604 个工具，平均约 20 轮交互。官方强调多样应用、真实初始环境状态和长程工作流，每个任务配有执行结果评估脚本。
我们的交付与原始基准保持一致。
首发官方介绍为 1,250 个任务、24 个法律执业领域、超过 75,000 条专家编写的评分标准。每个任务包含工作指令、客户事项材料和待交付成果要求，模拟律所合伙人向律师分派工作、律师处理材料并提交成果的流程。
我们的交付与原始基准保持一致。
告诉我们你的模型方向和评测目标，我们按需提供 Demo 与字段说明。
联系我们 →