感恩节期间,AI 大咖 Andrej Karpathy 在 X 平台上发了两条推文,引起了大家的热议。他直截了当地说,现阶段的 AI 其实没那么神奇,主要是一些人类数据标注员的工作成果的投射。
这和马斯克之前说的 “AI 就是统计学” 有点类似,不过卡帕席的解释更详细,也更让人信服。
Karpathy 提到,如果你用未经标注和微调的基础模型来玩,AI 的输出会非常混乱,根本没有判断力,十几个字连起来看也没啥意义。只有通过少部分人类标注的数据进行二次训练,AI 才能给出有用的回答。这意味着 AI 的表现很大程度上取决于这些标注员的专业水平和他们输入的数据。 所以,当你向 AI 提问时,其实是在向这些标注者的集体智慧寻求答案。
在一些专业领域,比如编程、数学和医疗问诊,AI 表现得超乎寻常,这也是因为相关公司聘请了高水平的专业标注员,确保了训练数据的质量。 比如,问 AI “阿姆斯特丹十大景点” 时,AI 的回答往往是基于标注员之前研究和整理的内容,而不是 AI 自己随机生成的。这种高质量的标注让 AI 在特定任务中表现得像个“超人”。
不过,评论区也有不同的声音。有用户认为,AI 不仅仅是多个标注者思维的简单平均,模型在训练过程中可能会展现出某种涌现行为,超越单个标注者的智慧。另外,关于 RLHF(从人类反馈中强化学习)的应用,卡帕席指出,虽然它提升了模型性能,但本质上还是基于人类的反馈,AI 还没达到真正独立学习的阶段。
尽管如此,卡帕席坚持认为,现阶段的 AI 主要是对人类知识和偏好的高效整合,还不具备自主意识。他提醒大家:“如果你去问 AI 如何管理政府,本质上是去问标注数据的那些人如何管理政府。” 这句话让人们在享受 AI 带来便利的同时,也要清楚它的来源和局限性。
总的来说,卡帕席的观点让我们更理性地看待 AI 的发展。他强调,AI 的强大来源于人类标注员的智慧积累,而不是 AI 自身有多聪明。这有助于大家更科学地理解和使用 AI 技术,避免对 AI 的过度神化。
“如果你去问 AI 如何管理政府,本质上是去问标注数据的那些人如何管理政府。” ——Andrej Karpathy