ICML（International Conference on Machine Learning）是机器学习领域的顶级学术会议之一，由国际机器学习学会(IMLS)主办，被中国计算机学会认定为A类会议。会议涵盖了机器学习的各个前沿方向，包括但不限于深度学习、强化学习、自然语言处理、计算机视觉、贝叶斯方法及优化算法等。

本期将为大家介绍上海交通大学跨媒体语言智能实验室被ICML 2025收录的2篇论文。


01、Reducing Tool Hallucination via Reliability Alignment




论文作者：许洪深，朱梓臣，潘磊，王子涵，朱苏，马达，曹瑞升，陈露，俞凯

论文简介：大型语言模型（LLMs）的能力已从单纯的语言生成扩展到与外部工具的交互，从而实现了自动化和现实世界的应用。然而，工具幻觉（tool hallucinations）——即模型选择不恰当的工具或错误使用工具——带来了重大挑战，导致任务执行错误、计算成本增加以及系统可靠性降低。为系统性地解决这一问题，我们将工具幻觉定义并分类为两种主要类型：工具选择幻觉（tool selection hallucination）和工具使用幻觉（tool usage hallucination）。为评估和缓解这些问题，我们提出了 RelyToolBench，该基准集整合了专门的测试案例和新颖的指标，用于评估考虑幻觉的任务成功率和效率。最后，我们提出了 Relign，一个可靠性对齐框架，该框架将工具使用的动作空间扩展为包含犹豫性动作，允许LLMs推迟使用工具、寻求澄清或动态调整工具选择。通过大量实验，我们证明 Relign 能显著减少工具幻觉，提升任务可靠性，并提高LLM工具交互的效率。


完整论文：https://arxiv.org/abs/2412.04141


02、Heads up! Large Language Models Can Perform Tasks Without Your Instruction via Selective Attention Head Masking


论文作者：韩森宇，曾泓川，俞凯，陈露

论文简介：大语言模型（LLM）由众多Transformer模块构成，虽然这些模型可以执行各种功能，但如何将这些模块组合起来以展现各自独特的内在功能仍然是一个悬而未决的问题。本文研究了LLM内部的模块，并证明在推理过程中，仅通过屏蔽或保留特定的注意力头，LLM便能展现出特定任务的功能，而无需明确的指令或修改模型参数。针对不同模型和任务的实验表明，LLM天生编码了“功能路径”——这是一组结构化的、相互依赖的注意力头群，它们对于执行特定任务至关重要。这些路径不仅决定了模型的功能行为，还提高了参数效率，因为抑制路径之外的注意力头可以改善任务性能。