AI 的关键是语料

未知
2024-05-11 12:12:38
0

大家有没有发现,现在打开新闻,都是 AI 模型的消息。

今天甲发布一个模型,明天乙发布一个模型,个个(听上去)都具备了不得的能力。

2023年5月有一个统计,那个时候,10亿参数以上的模型,中国已经发布了79个。一年过去了,现在恐怕上千了。

说实话,我现在看到新模型,已经麻木了,压根不觉得这种消息有什么重要。

我的观点是,不管怎么调整模型的架构、功能、参数,作用是有限的,真正决定性的因素是训练模型的语料。

不需要说,你的模型多新颖、多强大,只需要告诉我,你用什么语料训练模型。

模型完美,但是语料垃圾,一样不行;反之,模型很平常,但是语料足够,那就 OK。模型不是关键,语料才是关键。

这其实不是我的观点,而是 OpenAI 的工程师 James Betker 的观点。他是 AI 专家,著名"文生图"模型 DALL-E 的第一作者。

去年,他写过一篇文章,只有几段话,在国外的影响很大。国内似乎没人提到这件事。但是我认为,这篇文章很重要。

他说,自己的日常工作就是开发 AI 模型,但是不管怎么增加参数、调整方程,模型效果都不如语料集的大小来得显著。

更多的训练材料,会显著提升模型效果,影响远大于其他因素。更神奇的是,不同的模型拿同样的语料训练,最后的表现居然很接近。

他的结论是,模型的差异其实不是关键,决定性的是你的训练材料。只要有更多更好的语料,不管用什么模型,都会得到差不多的结果。

初次听到,你可能觉得,这个结论难以置信,但是仔细想想,你会发现它很可能是对的。

因为不管什么 AI 模型,最终目标只有一个,就是模仿人类的思维。语料体现的正是人类思维,同一份语料,不管你拿什么规则去分析,最后得到的结果应该是一样的,因为它包含的人类思维是不变的。

这就好像,不同的画家去临摹同一个模特,如果目标都是复现原貌,那么只要画家达到一定水准,不管谁来画,结果将非常接近,因为模特的长相是不变的。

这告诉我们两点启示。

(1)哪一家公司的语料的数量多、质量好,它的模型就会强于其他公司。

(2)开源模型完全可以替代闭源模型,前提是训练语料要足够。

下面是 James Betker 的原文,大家仔细读读,看看是否认同他的观点。

我在 OpenAI 工作已经快一年了。这段时间里,我训练了很多生成式 AI 模型,比任何人能想到的还要多。

每当我花了几个小时,观察和调整各种模型配置和参数时,有一件事让我印象深刻,那就是所有训练结果之间的相似性。

我越来越发现,这些模型以令人难以置信的程度,向它们的语料集靠近。

这表明在相同的语料集上训练足够长的时间,几乎每个具有足够权重和训练时间的模型都会收敛到同一点。足够大的扩散卷积网络会产生相同的结果。

这是一个令人惊讶的观察!

这意味着模型行为不是由架构、参数或优化器决定的。它由你的语料集决定,没有其他决定因素。其他一切因素都不过是为了有效计算以近似该语料集的手段。

当你谈论 Lambda、ChatGPT、Bard 或Claude 时,指的并不是它们的模型,而是它们的语料集。

以上就是AI 的关键是语料的详细内容,更多请关注全栈开发网其它相关文章!
原文链接:https://www.ruanyifeng.com/blog/2024/05/weekly-issue-299.html
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 service@p2hp.com 进行投诉反馈,一经查实,立即处理!
-- -- 0

相关内容

大模型的Tokens是什么
大模型的Tokens是什么
大模型中的"tokens"指的是模型处理的输入文本中的单词、标点符号或...
2024-05-16 11:48:05
国内Ai大模型排行榜
国内Ai大模型排行榜
国内AI大模型的发展呈现出多样化的态势,各种类型的大模型纷纷涌现,包括改头换面的、剑走偏锋...
2024-05-11 12:30:21
Sora到底是如何工作的
Sora到底是如何工作的
现在有众多关于这个最重要的视频模型的不实信息。幸好,我们没必要乱加推测。
2024-03-21 10:23:17
AI生成代码:程序员的黄昏和个体的崛起
AI生成代码:程序员的黄昏和个体的崛起
​​在未来的某一天,当你沉浸在解决一个棘手编程问题的思考中,身旁的人形机器人或许会转身,轻...
2024-03-21 10:16:13
2024年技术发展趋势
2024年技术发展趋势
展望2024年,许多科技领导者和观察人士表示,人工智能仍将主导对话和企业计划。然而,重点不...
2024-03-19 11:48:47
国内Ai大模型排行榜 国内AI大模型的发展呈现出多样化的态势,各种类型的大模型纷纷涌现,包括改头换面的、剑走偏锋的、借壳炒...
大模型的Tokens是什么 大模型中的"tokens"指的是模型处理的输入文本中的单词、标点符号或其他文本单...
2023 年度 AI 大事记 2023 年度 AI 大事记,记录了 2023 年人工智能的重要时间线(1 月至 12 月)
AI 的关键是语料 我的观点是,不管怎么调整模型的架构、功能、参数,作用是有限的,真正决定性的因素是训练模型的语料。不需...
国内Ai大模型排行榜 国内AI大模型的发展呈现出多样化的态势,各种类型的大模型纷纷涌现,包括改头换面的、剑走偏锋的、借壳炒...
AI 的关键是语料 我的观点是,不管怎么调整模型的架构、功能、参数,作用是有限的,真正决定性的因素是训练模型的语料。不需...

最新文章

大模型的Tokens是什么 大模型中的"tokens"指的是模型处理的输入文本中的单词、标点符号或其他文本单...
国内Ai大模型排行榜 国内AI大模型的发展呈现出多样化的态势,各种类型的大模型纷纷涌现,包括改头换面的、剑走偏锋的、借壳炒...
AI 的关键是语料 我的观点是,不管怎么调整模型的架构、功能、参数,作用是有限的,真正决定性的因素是训练模型的语料。不需...
2023 年度 AI 大事记 2023 年度 AI 大事记,记录了 2023 年人工智能的重要时间线(1 月至 12 月)