我们如何才能防止人工智能系统中的模型崩溃,并确保其保持准确性和无偏性?简而言之:需要人类。
在“自动化艺术与后知识经济? ”一文中,我推测了“后知识”经济的概念,即不仅仅是通过基于知识的服务(而不是实体商品和基于劳动力的服务)积累财富,还发展出一种由人工智能驱动的经济,可以“毫不费力地”产生知识,似乎绕过了人类的输入。
我们似乎正处于一个“关键时刻”,“人工智能准备将我们带入后知识经济”。这种情景的弱形式将涉及“越来越多地采用人工智能模型和工具,但只会坚持重复已经存档的所有内容,而不一定贡献任何新内容”。这种“剪切粘贴”场景可以说已经是我们所处的境地,“将我们带回后现代模拟辩论(如电影《黑客帝国》中的那样)”。事实上,对生成式人工智能的批评之一是它只是模仿或重复 之前所说的一切。因此,“它只能与它所依赖的人类记录一样好(自我监督的人工智能可以浏览的大量但不完整的图像和文本档案)”。
我补充说,还有另一种情况,即“存在一种信息生成性描述(例如从 DALL-E 2 和其他类似模型中大量生产出来的图片),这些信息作为交换场所的新创意投入,而这种交换场所不再是我们独有的”。这是后知识经济的强形式,诚然,我只是暗示了这一点,但它具有一定的必然性。一个关键问题摆在眼前:人工智能开始自食其力!
我在文章的最后提出了后知识经济的概念,即“一种新知识的先兆,这种知识可能不是人类的专属,而是代表着一种巨大的(和高度开放的)普遍智慧”。然而,问题在于,随着我们被人工智能生成的文本和图像所淹没,一个重大的统计错误悄然出现。索菲·布什维克 (Sophie Bushwick) 在《科学美国人》的TikTok 账户上解释道:
当人工智能使用人工智能生成的数据进行训练时,它会产生错误,并且每次迭代都会累积错误。在最近的一项研究中,研究人员首先使用基于人类生成内容的语言模型进行训练,然后反复向其输入人工智能生成的文本。到了第 10 次迭代时……当他们问它关于英国历史建筑的问题时,它吐出了关于长耳大野兔的胡言乱语。这种现象称为模型崩溃。
该研究(Shumailov 等人,2023 年)使用了小型模型,但问题并不局限于任何单一类型。它在一系列人工智能系统中都很明显,包括高斯混合模型、变分自动编码器和 GPT-4 等大型语言模型。简而言之,在使用先前模型生成的数据进行训练时,问题仍然存在。随着时间的推移,广泛的人工智能生成内容会导致模型质量逐渐下降。随着人工智能生成的内容被重新吸收到训练数据集中,模型与真正的、人类生成的数据失去了联系。这一现象凸显了获取真实的、人类生成的数据对于维护人工智能系统的完整性和有效性的重要性日益增加。
防止模型崩溃的一个关键策略是确保能够访问原始的、人类生成的内容。因此,该研究强调了将真正的人类互动和数据纳入人工智能训练过程的必要性,以维持这些模型的优势,并避免人工智能仅从自身输出中学习的闭环系统的陷阱。然而,问题肯定出现了:我们正在努力区分人工智能和人类生成的材料。
还有进一步令人担忧的问题:模型崩溃的问题在数据不太常见时最为严重。S ophie Bushwick 再次解释道:
…当模型崩溃时,它们更有可能丢失这些远离常态的稀有数据。因此,研究人员担心,这可能会使人工智能对边缘群体的偏见问题更加严重。避免模型崩溃的一种方法可能是仅使用人工整理的数据集。但在一个被生成内容日益淹没的世界里,人工智能最终可能会成为一条吞下自己尾巴的蛇。
如果我们回想一下唐娜·哈拉维的开创性著作《机器人宣言》,我们会发现一个挑战人与机器之间传统界限的框架。具有讽刺意味的是,她的作品因其“人性”而受到赞赏,力求在旧有的忠诚中建立新的联系,为我们提供了一个全新的视角,让我们现在可以通过它来观察人工智能的发展和新兴的后知识经济。最近,在《聊天 GPT》之后,希特·史德耶尔 (Hito Steyerl) 的《平均图像》批判性地分析了人工智能生成的内容如何反映和放大现有的社会偏见和意识形态,而这些内容远非中立。史德耶尔的论述批判了人工智能输出的统计性质,强调它们代表的是平均值(即“均值”)和概率,而不是真相或现实。
无论我们仍在等待哈拉维的机器人时刻(人与机器的融合、数据与肉体的相互作用),还是接受可计算内容的“平均”平均值,如果我们让机器继续运转(类似于斯坦尼斯拉夫·莱姆的《网络世界》),最后的转折点就是奇怪的、野兔般的超现实主义。人工智能的崛起——我们即将到来的新“电子生活”——不仅是一场技术革命,也是一场劳动力和经济革命。但可能并不像我们想象的那样。回到后知识经济的起点,讽刺的是:随着我们越来越依赖人工来支撑新经济,对人类生成和人类耕种数据的必要性将需要越来越多的人类劳动力。换句话说:为了防止人工智能陷入无意义的境地,需要人为干预。这种劳动无疑是不稳定且报酬过低的,它呈现出一种悖论:技术本应减轻人类的工作量,却以看不见的方式增加了人类的工作量。
RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/4656