智元WITA-Omni Preview登顶DailyOmni全模态理解榜单,超Gemini、豆包等模型

摘要

7月28日,智元自主研发的全模态大模型WITA-Omni Preview在权威榜单DailyOmni最新评测中以85.21分的综合成绩登顶榜首,超越千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项获得第一。该模型采用原生端到端架构,将物理动作和表情提升为与语音并行的一级输出,实现Thinker-Talker-Actor架构,突破传统聊天模型限制。DailyOmni榜单大量采用真实开放环境音视频素材,核心考验模型融合视觉画面、环境音频信息,精准识别声画对应关系、事件先后顺序及跨模态语义的综合能力,高度贴合人形机器人在真实物理空间开展人机交互所需的核心感知能力。WITA-Omni领先的关键在于其并非简单地将聊天模型“装进”机器人,而是将物理动作和表情提升为与语音并行的一级输出,用一个原生端到端模型统一驱动感知、决策与表达,从Thinker–Talker范式上进一步扩展出面向具身输出的Thinker–Talker–Actor架构。在中训练阶段,WITA-Omni使用千万小时级多模态数据,将强文本、视觉底座进一步升级为能够“听得见、看得懂,并进行音画联合推理”的全模态模型。

智元WITA-Omni Preview登顶DailyOmni全模态理解榜单,超越Gemini、豆包等模型

新浪科技讯 7月28日下午消息,近日,具身全模态理解权威榜单DailyOmni最新评测结果揭晓,智元自研的具身原生全模态大模型WITA-Omni Preview以85.21分综合成绩登顶榜首,超过千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项取得第一。

DailyOmni是行业公认的检验音视频时序对齐、跨模态联合推理能力的权威第三方榜单。该榜单大量采用真实开放环境音视频素材,核心考验模型融合视觉画面、环境音频信息,精准识别声画对应关系、事件先后顺序及跨模态语义的综合能力,高度贴合人形机器人在真实物理空间开展人机交互所需的核心感知能力。

据悉,WITA-Omni领先的关键,在于它并不是简单地把聊天模型“装进”机器人,而是将物理动作和表情提升为与语音并行的一级输出,用一个原生端到端模型统一驱动感知、决策与表达,从Thinker–Talker范式上进一步扩展出面向具身输出的Thinker–Talker–Actor架构。

在中训练阶段,WITA-Omni使用千万小时级多模态数据,将强文本、视觉底座进一步升级为能够“听得见、看得懂,并进行音画联合推理”的全模态模型。(文猛)

欢迎关注ZZZ新闻资讯网,指尖轻点,瞬间洞悉世间万象。
返回首页