中科院自动化所发布跨模态通用人工智能平台“紫东太初”

小字号

原标题：中科院自动化所发布跨模态通用人工智能平台“紫东太初”

中国科学院自动化研究所(中科院自动化所)成功研发的跨模态通用人工智能(AI)平台“紫东太初”9日正式对外发布，其以多模态大模型为核心，基于全栈国产化基础软硬件平台，可支撑全场景AI应用。

中科院自动化所所长、中国科学院大学人工智能学院院长徐波研究员当天在2021世界人工智能大会上就人工智能的最新进展做学术报告，发布“紫东太初”并展示该所最新打造的虚拟人“小初”，对通用多模态大模型的人机对话进行演示。

徐波介绍说，依托面向超大规模的高效分布式训练框架，中科院自动化所构建出具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型，并开拓性地通过跨模态语义关联实现图文音(视觉-文本-语音)三模态统一表示，构建三模态预训练大模型，赋予跨模态通用人工智能平台多种核心能力。

“紫东太初”兼具跨模态理解和生成能力，与单模态和图文两模态相比，其采用一个大模型就可以灵活支撑图文音全场景AI应用，具有在无监督情况下多任务联合学习、快速迁移到不同领域数据的强大能力。其引入语音模态后的多模态预训练模型，可实现共性图文音语义空间表征和利用，并突破性直接实现三模态的统一表示。

徐波指出，“紫东太初”跨模态通用人工智能平台包括三大关键技术和六大核心能力。三大关键技术分别是：多模态理解与生成多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化；六大核心能力则体现为：多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速。

他表示，“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式，多模态大模型将成为不同领域的共性平台技术，是迈向通用人工智能路径的探索，具有广阔应用前景。

同时，中科院自动化所全栈国产化通用人工智能平台的成功实践，将使人工智能研发的规则发生重大变革，对中国实现人工智能领域科技创新、占领核心技术高地具有重要意义。

基于“紫东太初”打造的虚拟人“小初”，形象展示出不同模态间的互相转换和生成实例，涵盖视频描述、智能问答、图像检索、吟诗作赋、中文续写、双语翻译、语音识别等多个功能。徐波认为，这表明，通过图文音三模态的关联与协同，可以有效提升机器的理解和生成能力，让AI接近人类想象力。(记者 孙自法)

(责编：赵竹青、陈键)

分享让更多人看到

推荐阅读 白皮书：我国东北黑土地总面积109万平方千米   　　人民网北京7月10日电 （记者李栋）近日，中国科学院发布《东北黑土地白皮书（2020）》（以下简称《白皮书》），这是国内首次发布黑土地白皮书。《白皮书》显示,我国东北黑土地总面积109万平方千米，其中典型黑土地耕地面积1853.33万公顷，是我国最重要的商品粮基地。…    
6月新增人民币贷款2.12万亿元 专家：信贷结构持续优化 企业信贷有所改善   　　人民网北京7月11日电 （黄盛）日前，央行公布了今年6月份我国多项金融数据。数据显示，今年6月末，广义货币（M2）同比增长8.6%，预期增长8.2%，前值增长8.3%；6月社会融资规模新增3.67万亿元，预期为2.89万亿元，前值为1.92万亿元；6月新增人民币贷款2.12万亿元，预期为1.85万亿，前值为1.5万亿元。…