上海人工智能实验室发布多模态语料

小字号

　　本报上海8月15日电  （记者沈文敏）近日，上海人工智能实验室宣布联合语料数据联盟成员单位，共同开源发布“书生·万卷”1.0多模态预训练语料。

　　“书生·万卷”1.0集合了语料数据联盟成员丰富的内容积累与上海人工智能实验室的数据处理能力等优势，将为学术界及产业界提供高质量大模型多模态预训练语料。本次开源的数据总量超过2TB，具备多元融合、精细处理、价值对齐、易用高效等四大特征。

　　本次开源的“书生·万卷”1.0包含文本、图文、视频三部分数据集。其中文本数据来自网页、百科、书籍、专利、教材、考题等，数据总量超过5亿个文档，数据大小超过1TB，覆盖科技、文学、媒体、教育、法律等多个领域；图文数据主要来自公开网页，经处理后形成图文交错文档，总量超过2200万个，数据大小超过140GB（不含图片），覆盖新闻事件、人物、自然景观、社会生活等多个领域；视频数据主要来自中央广播电视总台和上海文广集团，包含新闻、影视等多种类型的节目影像，总计视频文件数超过1000个，数据大小超过900GB，内容覆盖军事、文艺、体育、自然、知识、影像艺术等方面。

　　《 人民日报 》（ 2023年08月16日 12 版）

(责编：岳弘彬、杨光宇)

关注公众号：人民网财经

分享让更多人看到

推荐阅读 为全球生态保护与治理提供中国方案 我国首部生态保护红线蓝皮书正式发布   　　人民网北京8月15日电 （欧阳易佳）今日，在首个全国生态日主场活动现场，中国国土勘测规划院组织编撰的《中国生态保护红线蓝皮书（2023年）》（以下简称《蓝皮书》）发布。这是我国首部生态保护红线蓝皮书，系统总结了全面完成生态保护红线划定的历程、方法、成果和实践案例，提出了加强生态保护红线监管、完善生态保护红线制度的思路和建议。…    
国家林草局发布美丽中国建设最新成果   　　人民网北京8月15日电 （欧阳易佳）在今日举办的首个全国生态日主场活动上，国家林草局发布美丽中国建设最新成果，成果显示，我国生态系统质量持续改善，防沙治沙走在世界前列，国家公园建设取得标志性成果，生态保护制度更加健全，生态美百姓富扎实推进。 为全球贡献约1/4的新增绿化面积 通过不断加强生态保护修复，推进山水林田湖草沙一体化保护和系统治理。…