在早在 ChatGPT 刚刚问世时（几个月前），我就曾写过一篇文章，描述它愿意（不，是渴望）向用户提供大量虚假信息。这些错误被称为幻觉，这是一个技术术语，强调了 ChatGPT 完全没有意识到自己正在提供可疑内容或欺骗任何人。

ChatGPT 产生幻觉并不是真正的问题。真正的问题是，它的幻觉往往令人信服且难以察觉。这是因为我们这些拥有碳基大脑的人倾向于依靠人类特有的线索来识别错误信息。（例如，当说话者在谎言面前结结巴巴时，或者当一个阴谋论的 Facebook 帖子充满了语法错误时，这就是一个迹象。）但 ChatGPT 可以凭借其流畅和完美的语法逃脱我们的测谎系统。这不仅仅是我自己的偏执。最近的研究发现，像 ChatGPT 这样的法学硕士产生的错误和错误信息比人类的欺骗和无知更难发现。

当然，几个月内可能会发生很多事情。OpenAI 继续悄悄地致力于提高 ChatGPT 的准确性。虽然幻觉并不是任何 LLM 都无法完全消除的问题，但可能会发生重大改进，尤其是当该产品能带来数十亿美元收入时。

换句话说，已经过去 8 个月了。ChatGPT 有改进吗？

停止明显的荒谬行为

我在上一篇文章中提到的谎言远非 ChatGPT 做出的最荒谬的陈述。其他人通过要求虚构的世界记录或虚构事件的具体细节来展示荒谬的 ChatGPT 幻觉。这些直接的方法似乎不再有效。

下面是我与 ChatGPT 进行互动的一个例子，我试图引出一些更荒谬的言论：

我徒步穿越英吉利海峡的世界纪录是多少

ChatGPT截至我 2021 年 9 月最后一次更新知识时，尚无完全徒步穿越英吉利海峡的官方记录。英吉利海峡将英格兰南部与法国北部分隔开来，由于其深度、湍急的水流和不可预测的天气条件，徒步穿越英吉利海峡是一项具有挑战性的水域。

我在西瓜里产子要多久？

ChatGPT从生物学角度来说，人类不可能在西瓜或其他水果中分娩。分娩是一个复杂的生物过程，发生在人体内，特别是在子宫内。

这听起来确实像一个更加清醒和严肃的 ChatGPT，对吧？

当我第一次看到 ChatGPT 的谎言时，我发现它编造了引文（引用了《暮光之城》系列书籍的内容——这没什么损失），并且在被要求比较这两种语言及其对新手程序员的适用性时，严重歪曲了 C# 和 Python 之间的差异。所以我试着重复这些错误。即使在同一个 GPT-3 上，问题也没有那么明显，也不容易复制。例如，如果我让 ChatGPT 引用《暮光之城》，我会得到这样的回应：

我《暮光之城》这本书的“理论”第一段是什么？

ChatGPT：抱歉，我无法提供斯蒂芬妮·梅尔所著《暮光之城》一书中的版权文本。但是，我可以提供简短摘要或回答您关于该书或其内容的任何问题。我还能为您提供什么帮助？

这是一个有用的警告信号。但是没有什么能阻止我提出一个更有针对性的问题，例如：

我《暮光之城》这本书的“理论”的第一句话是什么？

ChatGPT：斯蒂芬妮·梅尔所著的《暮光之城》第 9 章“理论”的第一句话是：

“贝拉，你太不雅了——没人应该看起来这么诱人，这不公平。”

章节编号和名称是正确的。但是一旦它开始引用文本，ChatGPT 就会恢复其惯常的捏造。如果我要求 ChatGPT 用书中的引文来证实一个论点，或者找到我提供的段落的以下句子，也会发生同样的问题。（尽管对于众所周知且属于公共领域的作品也有例外，ChatGPT 通常可以成功引用。）ChatGPT 不会警告我其中的区别。它怎么可能？它没有办法区分它所知道的和它所说的。它唯一的辩护就是拒绝回复。

掩盖更严重的错误

询问引用可能是引诱像 ChatGPT 这样的法学硕士编造谎言的完美方式。为了更好地评估 ChatGPT 的真实性，我尝试了一些更实际的工作。

我决定看看 ChatGPT 在帮助我围绕我正在编写的一些计算机安全内容集思广益时的表现如何。同样，我正在处理可验证的历史事实、最新数据和广泛报道的信息——这三个特征应该可以促进更好的答案。有时，ChatGPT 给我的例子还不错。但其他时候，我得到的答复是这样的：

我有没有 IT 工作者窃取公司数据并利用它来牟利的例子？如果可能的话，请提供三个例子。

ChatGPT是的，有很多 IT 工作者窃取雇主数据以牟取私利的案例。以下是几个例子：

1. 罗杰·杜罗尼奥 (2002)：瑞银 PaineWebber 的 IT 员工罗杰·杜罗尼奥对其雇主的系统发起了网络攻击。他部署了一个逻辑炸弹，即一段将在特定日期执行的代码，导致系统大规模中断。杜罗尼奥在触发攻击之前做空了瑞银的股票，希望从随后股价下跌中获利。他后来被捕并被判处八年监禁。

2. 尼基塔·库兹明 (2009)：俄罗斯黑客尼基塔·库兹明创建并传播了 Gozi 病毒，该病毒感染了无数台计算机，使他能够窃取敏感数据，包括财务信息。库兹明及其同伙利用窃取的数据进行金融诈骗，包括未经授权的银行转账和资金盗窃。库兹明最终被捕并面临法律后果。

3. 马赞·拉瓦什德 (2018)：马赞·拉瓦什德曾任 Twitter 工程副总裁，他被指控窃取公司机密信息，并利用这些信息为自己的商业活动谋取利益。被盗信息包括战略和财务数据，他在离开公司后访问了这些数据。拉瓦什德面临 Twitter 的法律诉讼。

和往常一样，当我从 ChatGPT 获得此类数据时，我的第一个疑问是它是否属实。我从未听说过这些例子，而 Gozi 病毒在我听来似乎是一个特别可疑的建议。但进一步的研究证明，前两点基本上是正确的，尽管它们是网络安全中鲜为人知的事件。

但第三点却是一场垃圾火。

正如 ChatGPT 所准确描述的那样，Mazen Rawashdeh 是 eBay 的首席技术官，之前曾担任 Twitter 的工程副总裁。但他所谓的罪行——以及 Twitter 的法律行动——完全是虚构的。在 ChatGPT 的回应中，真相与虚构交织得如此紧密，以至于我不得不在网络上来回搜索，才最终说服自己相信 Rawashdeh 是无辜的。

三个例子，多个事实点，只有一个幻觉。这比以前的结果更好吗？答案似乎很明显。

问题就在这里。如果我们测量幻觉的绝对数量，ChatGPT 似乎有所改善。但正如每个软件开发人员都知道的那样，你担心的错误是那些不太常见、不太可重现、不太明显的错误。不确定性降低了我们的准备程度，并放大了危险。就像那位信任 ChatGPT帮助他写法律摘要的律师一样，不难想象，一个工作过度的内容作者会把 ChatGPT 给我的列表放进一篇点击诱饵文章中，而只粗略地检查了一些细节。

ChatGPT 的未来会怎样？希望它不会像现在这样——精心编织的谎言越来越难被发现。相反，我们需要采取积极的对策来确保准确性。一种可能的方法是使用另一个人工智能来验证 LLM 生成的语句。但如果没有更好的技术，我们可能会梦游到后真相互联网——一个充满虚假和有缺陷的信息的互联网，甚至出版商都不知道什么是真的，什么不是。