Xmart青年论坛由上海交通大学跨媒体语言智能实验室(SJTU X-LANCE lab)创办,中国计算机学会语音对话专委会主办,语音之家协办,旨在邀请国内外优秀的青年学者分享其最新科研工作和成果,促进多元且深入的交流与合作。Xmart学生论坛作为其中一个系列,致力于邀请国内外知名高校有成体系工作的研究生,主要通过线上分享的方式,系统地介绍其科研成果和心得,为青年学生打造一个学术探讨,思维碰撞和多学科交叉融合的平台。

Xmart•学生论坛丨姜成翰:赋予口语语言模型思考能力

形式:线上

时间:12月18日(周四) 10:00 ~ 12:00

报告嘉宾

姜成翰,台湾大学在读博士生,导师为李宏毅教授。主要研究方向包括大语言模型评估以及口语语言模型推理。在 ACL、EMNLP、Interspeech 等国际顶会发表多篇论文,并在 ICASSP 与 AACL-IJCNLP 等会议担任教程讲者。他是最早研究 LLM-as-a-judge 框架的研究者之一,提出多项改进自动评估与模型推理的方法。姜成翰也是 STITCH 与 SHANKS 的作者,这两项工作是最早系统探索口语语言模型(SLMs)推理机制的研究,为「边想边说」与「边听边想」的低延迟推理范式奠定基础。

报告摘要大型口语语言模型(Spoken Language Models, SLMs)正逐步应用于实时人机对话场景,但仍缺乏人类交流中的一项关键能力:在开口之前进行内部思考。

本报告将介绍两种新的推理时序框架: Stitch 与 Shanks,使得 SLM 能在保持低响应延迟的同时进行有效思考。Stitch 通过「推理分块与语音分块交替生成」实现 边想边说:在语音片段播放的空隙时间内,模型持续扩展内部推理,使语音输出能基于部分推理结果生成,显著提升了数学推理任务表现。进一步地,Shanks 探索另一种更贴近人类的策略:边听边想。模型接收使用者的流式输入,即时生成隐式推理,从而提前规划回答、发起工具调用,甚至在用户尚未说完时做出适当打断。

希望通过这次报告,向大家展示 Stitch 和 Shanks 如何为下一代口语语言模型带来新的可能,使模型更贴近人类自然对话的节奏,并具备更实时、更前瞻性的推理与互动能力。

参加方式

①

直播将通过语音之家微信视频号进行直播

手机端、PC端可同步观看

👇👇👇

②

腾讯会议参加

会议号:606-621-649