AI进步:迎接训练数据的新挑战

时间:2025-05-30 关注公众号 来源:网络

在人工智能的浩瀚征途中,我们正站在一个微妙的十字路口。长久以来,海量的数据被视为驱动AI发展的燃料,不断推动着机器学习和深度学习技术的边界。然而,随着模型复杂度的日益增加,传统训练数据的获取与利用方式正面临着前所未有的挑战。这并非意味着数据的绝对短缺,而是质量、多样性、以及伦理隐私保护方面的要求日益提高,使得有效数据的获取与处理变得愈加困难。我们正处于一个转折点,需要创新的数据生成与标注方法,以及更加智能的数据利用策略,来突破这一瓶颈,继续引领AI向更高效、更智能化的方向前进。这不仅是技术的挑战,也是对社会资源分配、隐私保护法律框架以及数据共享机制的考验,预示着AI研究与应用将进入一个更加注重质而非量的新时代。

  

ai发展:训练数据即将遭遇瓶颈

  

人工智能(AI)在过去十年取得了显著进展,这得益于神经网络规模的扩大和海量数据的训练。大型语言模型(LLM),例如ChatGPT,便是“做大做强”策略的成功案例。

  

然而,众多权威期刊如《自然》、《麻省理工科技评论》等指出,AI的扩展正遭遇瓶颈。一方面,AI消耗的能源日益增多;另一方面,为AI模型提供养分的传统数据集正被过度利用。

  

训练数据即将枯竭的警讯已现。研究机构预测,到2028年,AI模型训练数据集的典型规模将与现有公共在线文本总量相当,这意味着AI可能在短短四年内耗尽训练数据。同时,数据所有者(如报社)加强了对内容的版权保护,限制数据访问,加剧了“数据共享”危机。AI开发者必须另寻出路。

  

数据供需失衡日益严重

  

过去十年,LLM发展对数据的需求呈爆炸式增长。自2020年以来,用于训练LLM的“标记”(或单词)数量增长了100倍,从数百亿飙升至数万亿。RedPajama等大型数据集包含数万亿个单词,这些数据经处理后成为训练LLM的定制数据集。

  

然而,互联网可用内容的增长速度远低于预期,年增长率不足10%,而AI训练数据集的规模却每年增长一倍以上。预测显示,这两者将在2028年左右相遇。

  

此外,越来越多的内容提供商通过软件代码或修改条款来阻止爬虫和AI抓取数据。2023年,明确禁止爬虫访问的内容比例不足3%,而2024年这一比例已激增至20%到33%。

  

围绕AI训练中数据使用的合法性,多起诉讼正在进行,数据提供商寻求获得合理的经济赔偿。例如,《纽约时报》和多家报纸已对OpenAI和微软提起诉讼,指控其侵犯版权。OpenAI则回应称诉讼“毫无根据”。

  

如果法院最终支持内容提供商的索赔请求,那么AI开发者,特别是资金有限的研究人员,获取所需数据将变得更加困难。

  

新的解决方案有待验证

  

数据匮乏对AI的传统扩展策略构成巨大挑战。

  

获取更多数据的途径之一是收集非公开数据,例如社交媒体信息或视频转录文本。然而,这种做法的合法性存在争议。

  

一些公司选择使用自身数据训练AI模型,例如Meta利用虚拟现实头显收集的音频和图像。但各公司政策不一,Zoom等公司明确表示不会使用客户内容训练AI。

  

另一种选择是专注于快速增长的专业数据集,例如天文学或基因组学数据,但其对训练LLM的适用性和有效性尚不明确。

  

如果AI能够接受多种类型的数据训练(而非仅限于文本),则可能解决数据匮乏问题。Meta首席AI科学家YannLeCun指出,人类通过观察学习到的数据量远超用于训练LLM的数据量,类人机器人或许能从中受益。

  

此外,生成数据也是一种解决方案。一些AI公司付费让人们生成训练内容,或使用AI生成的合成数据。这可能成为巨大的数据来源。然而,合成数据也存在问题,例如可能会巩固错误,放大误解,降低学习质量。

  

小型化、专业化模型的兴起

  

另一种策略是放弃“模型越大越好”的理念,转向更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据和更先进的训练技术。

  

OpenAI发布的OpenAIo1模型就是一个例子,它更注重强化学习,让模型对每个回答进行更深入的思考,这标志着一种转变,即从依赖大规模预训练数据集转向更注重训练和推理

  

LLM可能已经吸收了互联网大部分内容,或许无需更多数据即可变得更智能。斯坦福大学的研究表明,模型从多次读取相同数据集中学习到的内容,与从相同数量的唯一数据中学习到的内容一样丰富。

  

合成数据、专业数据集、多次读取和自我反思等方法的结合,或许将共同推动AI的进一步发展。

  

文章来源:科技日报

以上就是AI发展:训练数据即将遭遇瓶颈的详细内容,更多请关注其它相关文章!

阅读全文
扫码关注“ 多特资源库
更多更全的软件资源下载
文章内容来源于网络,不代表本站立场,若侵犯到您的权益,可联系我们删除。(本站为非盈利性质网站)
玩家热搜

相关攻略

正在加载中
版权
版权说明

文章内容来源于网络,不代表本站立场,若侵犯到您的权益,可联系我们删除。(本站为非盈利性质网站)

电话:13918309914

QQ:1967830372

邮箱:rjfawu@163.com

toast