百度CTO王海峰：知识增强大语言模型具备人工智能的四项基础能力

原标题：百度CTO王海峰：知识增强大语言模型具备人工智能的四项基础能力

　　9月21日，由科学技术部、中国工程院、清华大学共同发起主办的长城工程科技会议“人工智能赋能高质量发展”主题大会在清华大学召开。科技部党组书记、部长王志刚、清华大学党委书记邱勇致辞，中国工程院潘云鹤院士、中国科学院张钹院士等多位学术界、产业界专家围绕人工智能技术前沿与产业发展分享了真知灼见。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰以《人工智能技术生态与产业模式》为题作主旨报告。会上，王海峰表示，人工智能具有多种典型能力，理解、生成、逻辑、记忆是其中的核心基础能力，这四项能力越强，越接近通用人工智能，而大语言模型具备了这四项能力，为发展通用人工智能带来曙光。

　　早在2019年，王海峰就曾提出，深度学习具有很强的通用性，并具备标准化、自动化和模块化的工业大生产特征，推动人工智能进入工业大生产阶段。四年来，深度学习技术和应用的发展充分验证了这一观点。深度学习技术的通用性越来越强，深度学习 平台的标准化、自动化和模块化特征越来越显著，而预训练大模型的兴起，使得人工智能应用的深度和广度进一步拓展，技术生态更加完善。人工智能已进入工业大生产阶段。

　　标准化方面，框架和模型联合优化，多硬件统一适配，应用模式简洁高效，大幅降低人工智能应用门槛；自动化方面，从训练、适配，到推理部署，提升人工智能研发全流程效率；模块化方面，丰富的产业级模型库，支撑人工智能在广泛场景的便捷应用。

　　据了解，得益于飞桨产业级深度学习开源开放平台和文心大模型的互相促进，贯通了深度学习全产业链，飞桨生态愈加繁荣，已凝聚800万开发者，服务22万家企事业单位，基于飞桨创建了80万个模型。伴随大模型的发展，百度推出了星河大模型社区，寓意“文心加飞桨，翩然赴星河”，与开发者共享共创大模型生态。

　　王海峰表示，人工智能具有多种典型能力，理解、生成、逻辑、记忆是其中的核心基础能力，这四项能力越强，越接近通用人工智能，而大语言模型具备了这四项能力，为发展通用人工智能带来曙光。

　　具体而言，人工智能的典型能力如创作、编程、解题、规划等都依赖于理解、生成、逻辑、记忆等核心基础能力，依赖程度有所不同。以解题为例，从读懂题目、解答题目到最后写出答案，需要理解、记忆、逻辑及生成能力的综合运用。

　　知识增强大语言模型文心一言充分验证了这一点。在训练数据规模和参数规模相同的情况下，纯中文模型比多语言模型生成能力强，理解和逻辑能力弱。文心一言首先从数万亿数据和数千亿知识中融合学习得到预训练大模型，在此基础上采用有监督精调、人类反馈的强化学习和提示等技术，并具备知识增强、检索增强和对话增强等技术优势。在检索增强和知识增强的基础上，通过知识点增强，提升对世界知识的掌握和运用；通过逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络，提升逻辑推理能力。进一步地，通过多种策略优化数据源及数据分布、基础模型长文建模、多类型多阶段有监督精调、多任务自适应有监督精调、多层次多粒度奖励模型等技术创新，全面提升基础通用能力。

　　效率方面，通过飞桨端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化，文心大模型训练速度达到原来的3倍，推理速度达到原来的30多倍。根据人民数据、新华网等多个公开测评，文心大模型3.5支持下的文心一言综合能力超过ChatGPT，遥遥领先于国内其他大模型。IDC《AI大模型技术能力评估报告，2023》显示，文心大模型3.5拿下12项指标的7个满分，得到“综合评分第一，算法模型第一，行业覆盖第一”三个绝对第一。