亮剑:国际化团队填补“天然鸿沟”
skymind软脑实验室科学家团队交流现场
如何填补人工智能从研发到规模化产业应用之间的“天然鸿沟”,使未来人工智能规模化集群应用成为可能?这道难题目前有答案了。
1月13日,记者从张江实验室脑与智能科技研究院/上海脑科学与类脑研究中心获悉,隶属于该研究机构的思凯迈(Skymind)软脑联合实验室解决了这个难题,推出了全球首个人工智能规模化产业应用统一部署平台(Konduit)。该平台以“打造人工智能行业标准”为理念,从底层解决人工智能在大规模的产业化应用过程中面临的多平台兼容性、运行效率、数据品质、模型标准、代码的维护与效率等瓶颈问题。
天然鸿沟:人工智能产业应用的一道坎
目前,全球针对于模型训练的人工智能深度学习框架的生态已经基本成熟,然而在生产部署的应用端出现因开发平台不同而造成兼容性差、效率低等共性问题已经成为人工智能产业应用的一道坎。
“人工智能产业应用包括科学研究(模型训练)与生产部署(产业应用)两大环节。由于开发的目标不同,往往导致科研环境和生产环境之间出现‘天然的鸿沟’。这一‘鸿沟’,不利于人工智能产业的发展,更不利于政府对产业的扶持政策的制定以及模型安全管理。”
思凯迈(Skymind)中国CEO、软脑联合实验室负责人潘颜凯向《中国科学报》解释:“这是因为研究与应用有着不同的代码形态和路径,两者在不同语言之间转换、合作及同步,需要二次开发;各框架间的底层运算库的不同又导致优化困难,另外还需处理多个模型及批量推理工作,存在多系统、多框架的兼容性问题。”
兼容并包:为人工智能从科研到生产的扫除技术障碍
潘颜凯告诉《中国科学报》,这项研究成果,统一解决了人工智能从科研到生产部署的技术难题,兼容了目前全球主流的深度学习框架、主流芯片商和大数据系统平台,支持通过云端或本地化部署。
“这个平台可以为开发人员提供基础服务模块,从数据预处理到最终的模型服务应用,让开发人员能够编写属于自己的机器学习模型工作管道机制,并通过简单的应用程序编程接口(REST API)来实现对外开放。”
“我们首创了一个叫做工作流水线步骤(Pipeline Step)的概念。” 潘颜凯进一步介绍,通过步骤的流式化封装和管理,使模型开发和部署更加高效和易用。帮助开发者们创建机器学习领域的“生产流水线”,把人工智能模型快速地部署到各类实际应用场景,实现模型成果的快速转化,创造人工智能的社会和商业价值。
“让问题的解决变得简单、便捷、高效”。“让研发者在最短的时间内把模型部署到实际的生产环境中;让人工智能企业节约解决兼容性成本,把资金用于招募人才和产品的开发上,让投资更有价值。”
对于未来,潘颜凯充满信心。“我们希望通过这个平台,为各地方、企业等大数据中心,搭建一座‘从数据存储为主的成本中心转变为以数据应用为主的价值中心 ’的桥梁。”潘颜凯说。
机制创新:让国际人才在这里找到发展土壤