大模型发展提速 中文语料够“吃”吗

原标题：大模型发展提速 中文语料够“吃”吗

继去年“百模大战”之后，今年国内大模型产业应用进入爆发元年。

然而，大模型产业发展如火如荼的同时，其训练数据规模的增长速度跟不上、语料质量参差不齐，尤其是高质量中文语料短缺的问题日益凸显，成为各方关注焦点。

阿里研究院5月发布的《大模型训练数据白皮书》（以下简称《白皮书》）显示，互联网上中文语料和英文语料占比存在显著差异：在全球网站中，英文占比高达59.8%，而中文仅占 1.3%。

同样，语料的质量会显著影响大模型的性能。在大模型领域，输入低质量数据，必然会输出低质量结果。

在近日举办的第六届北京智源大会上，中国互联网协会理事长尚冰指出，高质量数据的生成速度远低于AI大模型训练数据需求量的增长速度，数据短缺问题已初现端倪。

如何获取规模化高质量中文数据？建设高质量中文数据集的难点和堵点是什么？加速数据流通，推动中国特色大模型创新发展与应用的意义何在？对此，科技日报记者进行了采访。

高质量中文语料供给严重匮乏

语料即大模型训练所需数据，是大模型训练的基础，也是决定大模型性能和专业性的关键因素。商汤科技大装置事业群高级总监张行程告诉记者，中文高质量语料相对缺乏是国内外大模型面临的共同问题。中文语料库不仅规模较小，且其电子化和网络化程度明显不足。此外，受版权、隐私等限制，许多优质中文语料库也无法公开获取。

其中，有一类型的中文语料极为重要，但又非常短缺——中式价值观类语料。《白皮书》主要编写成员、阿里研究院数据经济研究中心副主任王峥解释说，为了更好理解客观世界和掌握客观规律，大模型需要学习大量知识和价值观层面的数据，这些数据深受人类主观意志的影响。

在王峥看来，文言文、古汉语、电子书等反映优秀传统文化的内容，以及主流媒体发布的反映本土价值观的内容，都可视为具有中式价值观的高质量语料。

“训练中融入更多这类中式价值观语料，有助于大模型深入理解和反映中文使用者的文化背景和价值取向，从而在全球化背景下保持中国文化的独特性。”王峥说，“更重要的是，能更好地服务中国本土用户，满足行业发展的需要。”

但目前面临的实际困难是，这类语料开放共享与开发利用的程度远远不够，且无法通过机器翻译弥补其短缺问题。《白皮书》指出，中文语料量的短缺尚有可解决方案，但中式价值观类语料的短缺，则会成为制约我国大模型发展的短板。

高质量中文语料的供给是中国大模型本土化的关键。“我们希望行业能加强企业间合作以及产业上下游协同，共同推动高质量中文数据集的共享、开放，鼓励数据提供方将高质量中文语料库在一定范围内公开，为各行各业大模型技术创新和应用奠定坚实的基础，形成中国特色的AI大模型创新路径，不断提高国际竞争力。”张行程说。

供需双方合作机制尚待完善

一方面，大模型厂商需要高质量数据支撑，以解“巧妇难为无米之炊”的困境；另一方面，高质量中文语料库的数据拥有者，如拥有各类图书、文献的出版商等，也期望在智能化时代实现数据增值。因此，探索数据供需双方合作模式是关键。

然而，要推动数据供需双方建立合作并非易事。“拦路虎”到底是什么？

当前，大模型数据获取主要有合理爬取、版权采购等途径。

张行程透露，商汤目前的解决方案是联合各机构尽量挖取、寻找现存的中文高质量语料，比如精心编校过的书本、论文等，以及向供应商购买版权语料。“虽然购买数量有限，但质量很高。”张行程说。这是以前置协商付费方式来获取版权类语料的传统商业模式。阿里巴巴“通义千问”大模型也采取了类似做法。

王铮还提到第二种潜在的方式，即与版权方协商，以训练后的模型为版权方提供服务的方式进行对价。