欢迎加入
「易源易彩交流群」
「易源易彩交流群」
QQ扫码进群
（QQ群号：860213912）
注册得好礼
新用户微信注册享20元算力, >立即注册
关注公众号得算力
新用户关注易彩微信公众号享20元算力，
邀请有礼
邀请1人得5元算力，可累计叠加, 查看规则
摘要
上海人工智能实验室的AI4S团队推出了一项创新性评测基准——Scientists’ First Exam（简称SFE），用于评估多模态大型语言模型（MLLMs）在多学科和高难度科学专业领域的认知能力。这一基准测试对主流的多模态LLMs提出了严峻挑战，揭示了当前模型在真实科研水平上的局限性。通过SFE，研究者能够更准确地衡量AI系统在复杂科学任务中的表现，推动人工智能技术向更高层次的认知能力发展。
关键词
人工智能, 多模态模型, 科学评测, 认知能力, 科研水平
上海人工智能实验室AI4S团队近日推出了一项具有里程碑意义的研究成果——Scientists’ First Exam（简称SFE）基准测试。这一评测体系的核心目标是衡量多模态大型语言模型（MLLMs）在面对复杂、跨学科科学问题时的认知能力。与以往侧重通用知识或单一模态理解的评测不同，SFE首次将评估标准提升至真实科研水平，要求模型不仅能够处理文本信息，还需准确理解和推理图像、数据、公式等多模态内容。这一创新为人工智能在科学领域的应用设立了新标杆，也为未来AI模型的发展提供了明确方向。
随着人工智能技术的不断演进，多模态大型语言模型（MLLMs）逐渐成为连接自然语言与视觉信息的重要桥梁。这些模型通过融合文本、图像、音频等多种数据形式，在医疗诊断、材料科学、天体物理等多个专业领域展现出广泛的应用潜力。然而，尽管当前主流模型在日常对话和基础任务中表现优异，其在高阶科学推理和跨学科整合方面的能力仍显不足。SFE的推出正是为了填补这一空白，推动MLLMs从“信息处理者”向“科学思维者”转变，使其真正具备辅助科研工作的能力。
SFE的独特之处在于其构建方式完全基于真实的科研场景。该评测集涵盖了物理学、化学、生物学、地球科学等多个学科的高难度题目，许多问题来源于国际顶级期刊论文和研究生入学考试。这些问题不仅要求模型具备扎实的专业知识，还要求其能进行逻辑推理、数学建模以及跨模态信息整合。例如，某些题目需要模型根据图表推导出物理定律，或结合实验数据与理论模型进行综合判断。这种设计使得SFE成为目前最具挑战性的科学评测之一，也标志着AI评测从“知识记忆”迈向“科学思维”的关键跃迁。
尽管当前主流的多模态大模型在多个公开评测中表现出色，但在SFE面前却普遍遭遇“滑铁卢”。初步测试结果显示，即便是最先进的模型，在涉及复杂推理或多模态融合的任务中，准确率仍低于预期。例如，在一项关于量子力学原理的理解任务中，多数模型仅能识别关键词汇，却无法正确解释背后的物理机制；而在一项结合图像与公式的材料结构分析任务中，模型的表现更是大幅下降。这些结果揭示了现有AI系统在科学认知层面的局限性，也进一步凸显了SFE作为“科研级AI试金石”的价值。
尽管当前主流的多模态大型语言模型（MLLMs）在日常任务和通用知识理解方面表现出色，但在真实科研场景下的表现却暴露出诸多短板。根据SFE测试的初步结果，即便是最先进的AI模型，在面对需要深度推理、跨模态整合或数学建模的任务时，准确率也远未达到科研人员的预期。例如，在一项涉及量子力学原理的问题中，多数模型仅能识别关键词汇，却无法正确解释背后的物理机制；而在结合图像与公式的材料结构分析任务中，模型的表现更是大幅下降。这表明，现有AI系统仍停留在“信息处理”的层面，缺乏真正的科学思维能力。这种局限性不仅限制了AI在高阶科研中的应用潜力，也促使研究者重新思考如何构建更贴近科研需求的智能模型。
SFE评测体系涵盖了物理学、化学、生物学、地球科学等多个学科的高难度题目，许多问题来源于国际顶级期刊论文和研究生入学考试。这种跨学科的设计对AI模型提出了前所未有的挑战。测试结果显示，即便是在某一领域表现优异的模型，在面对其他学科的问题时也可能出现理解偏差或逻辑断裂。例如，一个擅长解析生物分子结构的模型，在面对天体物理中的引力波数据时却难以建立有效的推理路径。这种“学科壁垒”现象揭示了当前AI系统在知识迁移和综合运用方面的不足。要真正实现人工智能在科研领域的广泛应用，必须突破单一学科的知识边界，构建具备跨学科认知能力的智能系统。
SFE基准测试的推出标志着AI评测标准从“知识记忆”迈向“科学思维”的关键跃迁。该评测不仅要求模型掌握扎实的专业知识，还需具备逻辑推理、数学建模以及跨模态信息整合的能力。例如，某些题目需要模型根据图表推导出物理定律，或结合实验数据与理论模型进行综合判断。这些任务对AI的认知能力提出了更高层次的要求，推动其从简单的信息检索向真正的科学推理转变。此外，SFE还强调模型在复杂情境下的自主学习与适应能力，要求其能够应对未知问题并提出合理的解决方案。这种高标准的评测体系为未来AI模型的发展指明了方向，也为科研级人工智能的评估提供了权威依据。
为了提升多模态大型语言模型在科研场景中的表现，研究者正从多个维度探索优化路径。首先，在训练数据方面，引入更多来自学术论文、实验报告和科研文献的真实语料，有助于增强模型的专业知识储备。其次，在模型架构上，强化跨模态融合机制，使文本、图像、公式等信息能够在统一语义空间中高效交互，是提升科学推理能力的关键。此外，研究人员还在尝试引入因果推理模块和符号逻辑系统，以弥补当前模型在抽象思维和逻辑演绎方面的缺陷。通过持续迭代与技术革新，未来的AI模型有望真正成为科研工作者的智能助手，不仅能够辅助数据分析与假设生成，还能参与科学发现的全过程，推动人类认知边界的拓展。
Scientists’ First Exam（SFE）基准测试的推出，标志着人工智能评测体系正式迈入科研认知能力评估的新阶段。该评测通过涵盖物理学、化学、生物学等多个高难度学科任务，全面挑战多模态大型语言模型（MLLMs）在真实科研环境下的表现。测试结果显示，当前主流AI模型在复杂推理、跨模态整合及数学建模等方面仍存在显著不足，尤其在面对量子力学原理解释和材料结构分析等任务时，准确率远低于预期。这表明，尽管AI技术在信息处理方面已取得长足进步，但在科学思维层面仍有待突破。SFE不仅为AI模型设定了更高标准，也为未来科研级人工智能的发展提供了明确方向，推动其从“知识记忆”向“科学推理”跃迁。