倪光南：生成式AI尚在初期，抢抓应用兼顾安全

人民网北京3月3日电 （记者申佳平）第二届北京人工智能产业创新发展大会日前在北京举行。中国工程院院士倪光南在大会致辞中表示，中国在人工智能市场和应用场景上潜力巨大，当下一方面要抢抓发展机遇，在垂直领域和应用场景方面发力，另一方面要有针对性地思考和研究生成式AI存在的诸多问题，统筹发展与安全。

倪光南认为，当前生成式AI正处在发展初期，检索增强生成（RAG）、精准算法增强等大模型增强技术仍有较大的发展空间。

他以近日备受关注的文生视频应用Sora举例指出，尽管Sora系统通过输入提示词可输出对应的视频，但其目前还无法准确模拟复杂场景的物理特性，也无法理解实体之间的因果关系。如，在Sora生成的果汁泼溅视频中，实体有两个稳定状态，一个是水杯直立的状态，另一个是果汁已经泼溅出来的状态。但是最为复杂的物理状态，即果汁从杯中流洒出来的过程并没有生成出来。

“要做到这一步还需要将众多科学定律、工业软件和计算能力等与大模型融合，很有挑战性。”倪光南表示，目前我国很多企业和机构正在许多垂直领域和应用场景的中小模型方面发力，值得鼓励和支持。

据悉，倪光南院士曾于2019年11月至2023年12月，担任人民日报社主管、依托人民网建设的“传播内容认知全国重点实验室”学术委员会主任。该室验室在生成式AI垂直应用领域开展了积极探索，其推出的“写易”智能创作引擎，训练之初就充分运用符合我国主流价值观的数据集和语料库，内容涵盖政治、经济、文化、社会、生态、党建、国防、外交等重点领域，保障生成内容安全，着重为公务人员、事业单位、国有企业提供优质、持续迭代的智能创作服务。“写易”可基于标题生成观点评论、会议材料、方案策划等，目前已在多个党政系统应用。

倪光南坦言，在可解释、透明、公平、合法、安全等方面，生成式AI仍存在很多问题，需要有针对性地进行深入思考和认真研究，并采取一系列迅速有效的举措，以保障安全有效地应用生成AI。

他指出，有多种途径可“人为”影响生成式AI系统的“价值观”倾向，包括：训练时所使用的大数据集合；依靠人类反馈进行增强训练时所采用的奖惩规则；算法中的某些环节或者运行中施加的某种干预；使用交互中对其进行的诱导等。对于此类“价值观”倾向，建议由权威机构按照“主流价值观”的要求，对生成式AI的产品和服务进行相应的价值观测评，以帮助用户选取适合的对象。

据了解，传播内容认知全国重点实验室针对大模型存在的意识形态风险，于2023年3月研究建立了生成式大模型内容安全测评技术体系，对大模型的应答内容，从政治方向、舆论导向、价值取向、伦理安全等10余个维度，采用人机结合的方式进行综合测评。与此同时，人民网在对各人工智能大模型进行内容安全测评的基础上，针对大模型普遍遇到的、自身难以克服的意识形态安全问题，建设了“主流价值语料库”，为人工智能大模型提供安全语料支撑、知识增强服务，助力各类机构研发的人工智能系统提升意识形态安全水平。

“生成式AI是当代的重大科技创新，将催生新产业、新模式、新动能，是发展新质生产力的核心要素。要以全球视野进行谋划和发展，争取在人工智能时代跻身世界前列，为实现科技强国梦和民族伟大复兴作出更大贡献。”倪光南说。

以下为演讲全文：

女士们、先生们：

大家下午好!

很高兴参加第二届北京人工智能产业创新发展大会。由人工智能引领的新一轮科技革命和产业变革在全球范围内蓬勃兴起,当前世界各国都在做出重大部署，将人工智能领域作为提升国家竞争力的科创高地。