大模型是AI未来发展的重要方向，其研究和应用将逐步成为AI发展的关键方向，并有望形成新一波AI推广浪潮，而AI数据开源将进一步促进大模型的发展。

——林咏华 北京智源人工智能研究院副院长兼总工程师

◎实习记者 裴宸纬

在6月9日—10日举行的2023北京智源大会上，“AI数据开源”引发广泛关注。AI数据为什么要开源？AI数据开源面临哪些挑战？它会是未来AI发展的重要趋势吗？科技日报记者带着这些问题采访了相关专家。

AI数据开源意义重大

有专家认为，AI数据开源对深度学习模型的发展意义重大。由于训练AI大模型需要大量资源，所以预计“赢家通吃”类AI系统的开发和管理将首先由少部分闭源实体所主导。

但遗憾的是，这种资源限制导致研究人员、非营利组织和初创公司等小规模实体因无法承担高昂的成本，几乎不可能从零开始训练自己的AI大模型。

以对话类模型为例，目前国内外众多已经开源的对话模型，其实都是基于语言基础大模型，再利用少量指令微调数据进行训练所得。

如果开源AI大模型的数据在质量上具有足够的竞争力，深度学习模型的规模化训练和运行成本将大幅降低。

北京智源人工智能研究院（以下简称智源）副院长兼总工程师林咏华对记者表示，大模型是AI未来发展的重要方向，其研究和应用将逐步成为AI发展的关键方向，并有望形成新一波AI推广浪潮，而AI数据开源将进一步促进大模型的发展。

深度学习需要大量的标注数据进行模型训练。在林咏华看来，过去10年，深度学习技术快速发展的重要原因，就是许多志愿者团体、国外科研团队一直在积极地收集、整理并开源用于深度学习的训练数据集。“当前AI大模型训练对数据量的需求，比之前的深度学习小模型对数据量的需求有了百倍，甚至千倍的提升。所以，尤其在过去一年，数据开源的问题日益受到广泛关注。”林咏华说。

背后挑战不容忽视

开源固然会为AI发展带来诸多好处，但其背后的挑战也不容忽视。其中之一，便是开源安全与合规挑战。林咏华认为，对传统的商业软件而言，开源中的安全、合规、许可证和代码质量风险等是使用开源组件必须面临的挑战。然而在AI大模型时代，更大的挑战则在开源数据集方面。

因此，AI数据开源应在协议许可的范围内进行。“用于AI大模型训练的开源数据必须是合法地从公开或可公开获得的资源中收集的数据。人们可以在开源协议允许的范围内，以AI大模型训练、AI算法开发为目的，对数据进行访问、修改和使用。部分数据可能要求使用过程中遵守更严格的协议。”林咏华表示。

此外，今天的基础AI大模型不只具备理解能力，还具有生成能力，它能够对外进行认知输出、价值观输出等，可能给社会带来巨大影响。“我们在训练基础大模型的时候，所使用的预训练数据会对AI生成内容质量起到很大程度的决定性作用。因此，开源数据的质量十分重要。”

林咏华指出，由于高质量的数据（如文章、图片、视频等）通常有版权，由于版权或商业因素导致的闭源以及数据孤岛等挑战会制约AI的发展，所以需要多方推动构建更多高质量的开源数据集，尤其是用于训练基础AI大模型的开源数据集。

LF AI & DATA基金会董事主席堵俊平对此也深有感触：“AI大模型就像一个贪吃的‘怪兽’，始终需要研究人员投喂更多的、质量更好的数据。”他说，当前数据几乎都是从“在网络上主动收集”“从第三方购买”“利用公开数据集”这三个渠道得来。在堵俊平看来，从第一个渠道得到的数据局限性较强，由于版权问题，很多公司只能从其私域获得数据；从第二个渠道获取的数据面临数据定价、数据质量等问题；而从第三个渠道获取的数据往往只能作为研究使用，在商用或者其他方面有很多限制。

开源渐成AI发展重要趋势

记者了解到，智源对2023年1月到5月底发布的、具有影响力的语言模型进行过统计。统计结果表明，国外发布的开源语言模型有39个，国内发布的开源语言模型有11个。

“开源是推动AI技术进步的重要力量，AI开源开放生态及平台建设也日益受到重视。开源开放毫无疑问已经成为重要的AI发展趋势之一。”林咏华表示，“开源能够促进AI大模型科研创新，推动和降低AI大模型落地乃至整个AI产业落地的门槛。”

然而，通往开源的道路并非一帆风顺，在数据之外，算力也是开源路上的一只“拦路虎”。AI大模型训练依赖庞大的数据、算力。训练参数量级的增长使得算力需求也随之增长，算力集群正变得愈发庞大。

然而算力成本却是小型开发者的“不可承受之重”。拿到AI大模型开源数据后，往往需要对其进行微调和二次开发。但现实的情况是，对一些小型开发者来说，仅仅是做推理都很困难，就更别提对AI大模型做微调、二次开发。以ChatGPT为例，仅就算力而言，Open AI为了训练它，就构建了由近3万张英伟达V100显卡组成的庞大算力集群。有消息称，Open AI公司发布的新一代语言模型GPT-4甚至达到了100万亿的参数规模，其对应的算力需求同比大幅增加。

目前，有一些研究机构希望用技术的革新抵消巨大的算力成本。最直接的手段是通过训练技术的革新加快AI大模型推理速度、降低算力成本、减少能耗，以此来提高AI大模型的易用性，让开源数据更好地发挥价值，但这只能从工程上对算力资源的约束起到缓解作用，并非终极方案。

有业内专家表示，解决算力问题最终还是要回到AI大模型自身寻找突破点，一个十分被看好的方向便是稀疏大模型。稀疏大模型的特点是容量很大，但只有用于给定任务、样本或标记时，模型的部分功能才会被激活。也就是说，这种稀疏大模型的动态结构能够让AI大模型在参数量上再跃升几个层级，同时又不必付出巨大的算力代价，一举两得。

此外，开源社区的作用同样不容忽视。开源社区是推动开源发展的重要基石，开源的最初发源点，就是来自于社区开发者的贡献。“Linux系统的成功很大程度上得益于开源社区。30多年来，Linux系统发展成为拥有海量全球用户的操作系统，其成功以及长久不衰的秘诀就是开源，尤其是内核社区成千上万开发者的贡献。”林咏华举例说。

“开源开放可以使得我们站在前人的肩膀上前行。”林咏华总结道，“这些年AI领域取得的成果大多受益于开源，如果没有开源，AI不会发展到今天。”

来源：科技日报