AI不光得会说,还不能乱插嘴!Omni AI变革实时交互
2026-10-29 13:48:10 来源: 新智元
新智元报道
AI已经能听、能看、能回答。
但面对持续变化的对话,它如何一边回应,一边保持理解与推理?
(相关资料图)
当你让AI分析屏幕上的图表,又突然补充「等一下,看右边那条曲线」,系统需要停止旧回答、更新目标,并检查后台计算是否仍然有效。
实时交互的难点,就在这些瞬间。
伊利诺伊大学厄巴纳—香槟分校、卡内基梅隆大学、哥伦比亚大学等机构的研究人员最新提出的综述提出了连接全模态智能与交互能力的统一概念框架,系统梳理从流式表征、模型架构、训练方法到实时部署与评测的技术链路,并进一步总结智能与交互之间的关键权衡及未来研究方向。
论文地址:https://doi.org/10.13140/RG.2.2.20245.69602
项目地址:https://github.com/ShenYifanS/Awesome-Interactive-Omni
图 1|综述共总结了349篇工作,提出统一概念框架,将全模态智能与交互能力作为两个相互关联的组成部分,串联表示、架构、训练、部署与评测。来源:论文 Figure 1。
实时交互全模态智能
Omni AI(全模态智能)追求对文本、图像、音频和视频等多种模态的统一理解、推理与生成。但具备多模态能力,并不意味着具备自然交互能力。
综述将实时交互式全模态智能划分为两个相互关联的组成部分:
Omni Intelligence(全模态智能): 关注跨模态理解、推理与生成。
Omni Interactivity(全模态交互): 关注回应时机、轮次管理、打断处理和动态调整。
论文进一步总结了三个关键特征:流式输入、持续演进的内部状态,以及在线响应控制。这意味着模型需要持续接收信息、更新判断,并动态决定何时回应、等待或修订输出。
图2|全双工交互允许同时听说,并需要处理附和、语音重叠与打断。「原生」进一步强调,时间对齐、增量处理和交互控制被纳入模型架构与训练本身。单纯降低回答延迟,还不足以覆盖这些要求。来源:论文 Figure 2。
两条技术路线
在统一概念框架下,综述归纳了两条主要技术路径。
一是基于现有模型进行适配。通过流式处理、模态模块、后训练和外部编排,为预训练语言模型或全模态模型增加实时交互能力。优势是复用已有能力,挑战在于延迟、状态同步与打断控制。
二是构建原生交互模型。将连续多模态处理、时间结构和交互控制融入模型架构与训练,实现更紧密的感知与交互协同,但对训练数据和能力保留提出了更高要求。
何时开口,如何应对打断?
实时交互要求模型准确判断何时回应、等待,以及如何处理中途打断。
围绕这些问题,综述系统梳理了响应时机控制、轮次管理与打断恢复机制,分析了现有方法如何结合语音、视觉、语义和任务状态,实现动态交互决策。
在训练层面,文章总结了如何利用停顿、附和、语音重叠、纠正与沉默等交互信号,让模型不仅学习回答什么,也学习什么时候回答。
针对打断后的交互恢复,综述进一步归纳了六个关键环节:
检测(Detect): 识别用户是否真正发起打断,区分有效指令与背景声音。
让出话语权(Yield): 及时停止或降低当前语音输出。
回退(Rollback): 对齐用户实际听到的内容。
取消(Cancel): 中止过时的任务。
修订(Revise): 根据新指令更新意图和任务。
恢复(Resume): 基于更新后的状态继续交互。
兼顾智能与交互
面对复杂推理和工具调用,模型过早回答可能导致信息不足,而等待计算完成又会影响交互体验。
综述将这一问题概括为智能与交互之间的权衡(Intelligence–Interactivity Trade-off):训练阶段关注交互适配对原有能力的影响,运行阶段则需要平衡响应速度与答案质量。
图 3|智能与交互之间的权衡:训练阶段关注能力保留,运行阶段关注响应时机与任务完成质量。来源:论文 Figure 14。
为应对这一权衡,综述进一步讨论了多时间尺度交互智能(Multi-Rate Interactive Intelligence),通过协调快速响应与较慢的推理、检索和工具调用,兼顾交互实时性与复杂任务处理能力。
一种实现思路是前后台协同,前台负责持续感知和快速响应,后台异步执行复杂推理与工具任务,并通过状态同步避免使用过时的计算结果。
图 4|前台维持低延迟交互,后台异步执行检索、工具调用、推理和记忆操作。来源:论文 Figure 6。
评测与展望
针对现有评测难以同时衡量回答质量与交互行为的问题,综述从延迟、时机质量、内容质量、鲁棒性、长会话质量和修复能力六个维度系统整理了现有评测方法,强调需要在可比较的交互场景与资源预算下,同时衡量智能水平与交互表现。
综述进一步总结了四个值得关注的未来方向:
多时间尺度协同: 协调不同时间尺度下的感知、推理与交互。
持续状态与长期记忆: 维护长时间交互中的任务状态与记忆。
主动与社会性交互: 判断主动回应时机,理解多人交互中的角色与权限。
开放环境中的安全与效率: 兼顾安全、计算成本与系统可靠性。
从「能听、能看、能说」,到持续理解、适时回应并动态调整行动,是实时交互式全模态智能下一阶段的重要研究方向。
参考资料:
https://doi.org/10.13140/RG.2.2.20245.69602
编辑:LRST
为您推荐
精彩放送
热门文章
-
四大行总市值盘中突破10万亿元大关 创出历史新高
-
科创中国行|合肥·大V手记:邂逅“梦中情搭”
-
盈趣科技(002925.SZ)新增一起对外投资,被投资公司为厦门北洋瑞恒智慧健康有限公司
-
短讯!沙拉木成队史得分王却遭无视 新疆队这样做原因是什么?
-
【时快讯】赤子城科技(09911.HK)发布公告,于2026年10月28日斥资198.15万港元回购22.4万股
-
港股异动 | 中国通号(03969)跌近3% 前三季度归母净利同比下降11.53% 公司期间费用率有所上升
-
快讯:Agent Box跑大模型,FP4为何成关键选择?“周易”X3 NPU IP以软硬协同打通部署链路
-
16只北交所股票获融资净买入超百万元
-
石药集团(01093.HK):SYS6043(B7-H3 ADC)用于治疗晚期乳腺癌的I/II期临床研究结果于2026年ESMO年会以快速口头报告形式公布 焦点消息
-
KEEP(03650.HK)10月27日耗资11.4万港元回购10万股
-
每日动态!美三大股指期货转涨
-
港股午评:恒生指数跌0.14% 恒生科技指数跌0.77%
精彩图片
热文
-
荣利营造(09639.HK)拟折价约9.77%配售最多1亿股 净筹9460万港元
-
动力新科:拟回购不低于5172万股且不超过1.03亿股公司B股
-
热点评!亿腾嘉和(06998.HK)10月28日耗资78.5万港元回购50万股
-
今日播报!奥尼电子:前三季度净利润7437.84万元,同比扭亏
-
图解财报:美邦科技前三季归母净利润2937.10万元,同比增长598.81%
-
【时快讯】赤子城科技(09911.HK)发布公告,于2026年10月28日斥资198.15万港元回购22.4万股
-
中国平安(02318.HK)2026年前三季度归母净利润966亿元 同比下降27.3%|快讯
-
电声股份(300805.SZ):第三季度净利润266.97万元 同比减少75.08%|信息
-
图解财报:*ST实达前三季归母净利润-4217.34万元,上年同期-8341.02万元 焦点消息
-
奔图科技:截至9月30日最新股东户数5.70万户,较上期减少15.26%_微资讯
-
有赞:10月28日斥资132.08万港元回购130万股
-
明略科技-W(02718.HK)控股股东自愿延长禁售期12个月 涉1483.55万股 微头条
-
芯碁微装最新公告:前三季度净利润同比增长131.98%
-
恒指夜期开盘(10.28)︱恒生指数夜期(11月)报23042点 低水53点 资讯
-
每日短讯:图解财报:成都银行前三季归母净利润99.18亿元,同比增长4.48%
-
今日观点!金陵饭店:截至9月30日最新股东户数2.32万户,较上期增加5.04%
-
信息:上海九百换手率38.22%,上榜营业部合计净卖出4013.85万元
-
斩获全场大奖!2026金投赏阿里妈妈拿下11项奖,用AI把确定写进增长
-
10月28日徕木股份涨停:人形机器人,手机产业链,毫米波雷达概念热股_每日讯息
-
10月28日中欣氟材涨停:PEEK材料,制冷剂,固态电池概念热股
-
中捷精工:截至2026年10月20日,公司合并普通账户和融资融券信用账户的持有人数为6,273|焦点要闻
-
图解财报:翰博高新前三季归母净利润1138.33万元,同比增长229.54% 焦点播报
-
要闻速递:上海九百(600838)龙虎榜数据(10-28)
-
芳源股份:截至9月30日最新股东户数1.90万户,较上期增加3.34%_当前热讯
-
港股异动 | 中国通号(03969)跌近3% 前三季度归母净利同比下降11.53% 公司期间费用率有所上升
-
【报资讯】健信超导:公司生产经营一切正常
-
中远海运集团在扬州成立发动机公司_每日速递
-
A股收盘|三大指数反弹!创业板指大涨3.4%,全市场超4100只个股上涨
-
焦点报道:九典制药:盐酸溴己新口服溶液获得药品注册证书
-
重百集团:前三季度净利润6.12亿元 同比下降38.24%
-
快讯:Agent Box跑大模型,FP4为何成关键选择?“周易”X3 NPU IP以软硬协同打通部署链路
-
8位在韩中国人民志愿军烈士身份被确认
-
财通基金金梓才季报引关注:基金经理长期看好AI,公司同期赎回旗下产品
-
再生中空:成本支撑强劲,近期价格上涨_简讯
-
中金:维持国药控股(01099)“跑赢行业”评级 目标价21.25港元 1-3Q26业绩符合预期 焦点要闻
-
汇川技术前三季度营收增近两成,通用自动化提速、利润端承压
-
何意味?柏林联合社媒:亲爱的中国人,我们德国杯能晋级吗?
-
百度旗下小度科技CEO李莹离职,阮瑜接任 最新资讯
-
上海家化Q3美妆放量驱动盈利跃升 品牌升级 线上运营双轮加速
-
每日热文:诚志股份:已于近期按照计划逐步对装置开展例行检修
-
每日热文:首华燃气:公司拟通过市场化方式参与铝土矿资源竞拍
-
要闻速递:物理AI板块走强 SENASIC(琻捷)(06675)涨超22% 机构看好通用大模型落地具身智能
-
A TASTE OF ROCKBUND 怎么玩?外滩国际美食节超全游玩攻略 & 参与指南
-
港股物理AI概念股走强,截至发稿,仙工智能(06106.HK)涨8.7%,报68.7港元 每日快报
-
诚志股份:MTO加工价差收窄,产品盈利空间被压缩-新要闻
-
港股异动 | 中国外运(00598)涨超5% 三季度归母净利润同比增近30% 铁路代理业务量高增 每日聚焦
-
今日精选:君正股份涨超13% 三季度净利同比大增近26倍
-
万辰集团旗下签约量贩零食门店数量突破3万家
-
东莞市棱序精密机械有限公司成立 注册资本50万人民币 今日要闻
-
16只北交所股票获融资净买入超百万元