



时间:2025-05-30 关注公众号 来源:网络
在人工智能的浩瀚征途中,我们正站在一个微妙的十字路口。长久以来,海量的数据被视为驱动AI发展的燃料,不断推动着机器学习和深度学习技术的边界。然而,随着模型复杂度的日益增加,传统训练数据的获取与利用方式正面临着前所未有的挑战。这并非意味着数据的绝对短缺,而是质量、多样性、以及伦理隐私保护方面的要求日益提高,使得有效数据的获取与处理变得愈加困难。我们正处于一个转折点,需要创新的数据生成与标注方法,以及更加智能的数据利用策略,来突破这一瓶颈,继续引领AI向更高效、更智能化的方向前进。这不仅是技术的挑战,也是对社会资源分配、隐私保护法律框架以及数据共享机制的考验,预示着AI研究与应用将进入一个更加注重质而非量的新时代。
人工智能(AI)在过去十年取得了显著进展,这得益于神经网络规模的扩大和海量数据的训练。大型语言模型(LLM),例如ChatGPT,便是“做大做强”策略的成功案例。
然而,众多权威期刊如《自然》、《麻省理工科技评论》等指出,AI的扩展正遭遇瓶颈。一方面,AI消耗的能源日益增多;另一方面,为AI模型提供养分的传统数据集正被过度利用。
训练数据即将枯竭的警讯已现。研究机构预测,到2028年,AI模型训练数据集的典型规模将与现有公共在线文本总量相当,这意味着AI可能在短短四年内耗尽训练数据。同时,数据所有者(如报社)加强了对内容的版权保护,限制数据访问,加剧了“数据共享”危机。AI开发者必须另寻出路。
数据供需失衡日益严重
过去十年,LLM发展对数据的需求呈爆炸式增长。自2020年以来,用于训练LLM的“标记”(或单词)数量增长了100倍,从数百亿飙升至数万亿。RedPajama等大型数据集包含数万亿个单词,这些数据经处理后成为训练LLM的定制数据集。
然而,互联网可用内容的增长速度远低于预期,年增长率不足10%,而AI训练数据集的规模却每年增长一倍以上。预测显示,这两者将在2028年左右相遇。
此外,越来越多的内容提供商通过软件代码或修改条款来阻止爬虫和AI抓取数据。2023年,明确禁止爬虫访问的内容比例不足3%,而2024年这一比例已激增至20%到33%。
围绕AI训练中数据使用的合法性,多起诉讼正在进行,数据提供商寻求获得合理的经济赔偿。例如,《纽约时报》和多家报纸已对OpenAI和微软提起诉讼,指控其侵犯版权。OpenAI则回应称诉讼“毫无根据”。
如果法院最终支持内容提供商的索赔请求,那么AI开发者,特别是资金有限的研究人员,获取所需数据将变得更加困难。
新的解决方案有待验证
数据匮乏对AI的传统扩展策略构成巨大挑战。
获取更多数据的途径之一是收集非公开数据,例如社交媒体信息或视频转录文本。然而,这种做法的合法性存在争议。
一些公司选择使用自身数据训练AI模型,例如Meta利用虚拟现实头显收集的音频和图像。但各公司政策不一,Zoom等公司明确表示不会使用客户内容训练AI。
另一种选择是专注于快速增长的专业数据集,例如天文学或基因组学数据,但其对训练LLM的适用性和有效性尚不明确。
如果AI能够接受多种类型的数据训练(而非仅限于文本),则可能解决数据匮乏问题。Meta首席AI科学家YannLeCun指出,人类通过观察学习到的数据量远超用于训练LLM的数据量,类人机器人或许能从中受益。
此外,生成数据也是一种解决方案。一些AI公司付费让人们生成训练内容,或使用AI生成的合成数据。这可能成为巨大的数据来源。然而,合成数据也存在问题,例如可能会巩固错误,放大误解,降低学习质量。
小型化、专业化模型的兴起
另一种策略是放弃“模型越大越好”的理念,转向更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据和更先进的训练技术。
OpenAI发布的OpenAIo1模型就是一个例子,它更注重强化学习,让模型对每个回答进行更深入的思考,这标志着一种转变,即从依赖大规模预训练数据集转向更注重训练和推理。
LLM可能已经吸收了互联网大部分内容,或许无需更多数据即可变得更智能。斯坦福大学的研究表明,模型从多次读取相同数据集中学习到的内容,与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专业数据集、多次读取和自我反思等方法的结合,或许将共同推动AI的进一步发展。
文章来源:科技日报
以上就是AI发展:训练数据即将遭遇瓶颈的详细内容,更多请关注其它相关文章!
文章内容来源于网络,不代表本站立场,若侵犯到您的权益,可联系我们删除。(本站为非盈利性质网站)
电话:13918309914
QQ:1967830372
邮箱:rjfawu@163.com