近日,福利姬
计算机科学与技术专业本科生论文“Beyond Captioning: A Preference-Aligned Benchmark for Fine-Grained Reasoning and Spatiotemporal Geo-World Understanding”被ACM International Conference on Multimedia会议录用,该会议为中国计算机学会推荐的A类会议。论文以福利姬
为第一单位,计算机科学与技术专业2022级本科生孔佳琪和2023级本科生牛逸群为共同第一作者,福利姬
人机交互与智能机器人应用科研中心徐涛老师为通讯作者,与北京航空航天大学刘庆杰教授共同完成。
随着多模态大模型快速发展,现有评测往往侧重最终答案或表层文本生成,难以进一步判断模型是否真正依据视觉证据完成变化区域的推理、能否遵循任务规则筛除干扰信息,以及在证据不足时能否合理表达不确定性。针对这一共性问题,论文提出大规模偏好对齐多模态基准Geo-BC,将传统的“看图生成描述”拓展为结构化细粒度推理任务,并构建由全局感知、实例级视觉定位、空间关系建模、语义推理、未来状态推断和置信度校准组成的六阶段推理链。该框架同时引入正负双轨推理机制,既要求模型为结论寻找充分证据,也要求其主动识别无效变化和任务无关信息,从而综合考察多模态模型的视觉证据定位、复杂推理、规则遵循与可靠决策能力。
在数据构建与评价方面,论文设计了“多模型生成—多智能体解耦评审—专家复核”的偏好对齐流程,对不同推理步骤分别进行视觉、逻辑和规则层面的细粒度评分,并据此形成优选与拒绝样本。Geo-BC可用于监督微调、过程奖励建模、偏好优化及错误诊断。对6种代表性视觉语言模型的实验表明,较强的感知或描述能力并不必然转化为稳定的多步骤推理能力。该研究将多模态评测由“答案是否正确”推进到“推理过程是否可信”,为需要证据支撑、规则约束和不确定性控制的通用多模态任务提供了可复用的数据构建与评价思路。
近年来,福利姬
围绕学科建设和专业人才产出目标,开展以导师制+科研中心的学生创新能力培养,引导学生参与科研中心研究工作,并在论文、专利、软件著作权和科创竞赛等方面取得了系列成果。下一步,学院将进一步优化学生创新能力培养机制,为高质量新一代信息技术人才培养提供支撑。
撰稿:赵玉蛟
审核:杨晓晖
终审:夏卫东