7 月 16 日消息，近日有网友发现，如果将美国最重要的法律文件美国宪法输入一些专门用来检测人工智能写作的工具中，会得到一个令人惊讶的结果：美国宪法几乎肯定是由人工智能写的。除非詹姆斯·麦迪逊是时间穿越者，否则这显然是不可能的。那么为什么这些 AI 检测工具会出现这样的错误呢？外媒 Arstechnica 采访了几位专家，以及 AI 检测工具 GPTZero 的开发者，来揭开其中的原因。
在教育领域，人工智能写作引发了不少争议。教师们长期以来一直使用传统的教学方法，将论文作为评估学生对某一主题掌握程度的工具。证据迄今表明，依靠 AI 工具来检测 AI 生成的写作的许多老师发现并不可靠。由于存在误报的情况，AI 检测工具如 GPTZero、ZeroGPT 和 OpenAI 的文本分类器都不靠谱，不能用来判断文章是否是由大型语言模型（LLM）生成的。
当将美国宪法的一部分输入 GPTZero 时，GPTZero 会称这段文字“很可能完全由 AI 写成”。在过去的半年里，多次有类似结果的截图通过其他AI检测工具广泛传播在社交媒体上。实际上，如果输入《圣经》中的一些内容，也会出现同样的情况。要理解这些工具为何会犯如此明显的错误，首先我们需要了解它们的工作原理。
据IT之家了解，不同的人工智能写作检测器使用略有不同的检测方法，但基本原理相似：通过一个人工智能模型，在大量文本（包括数百万个写作示例）和一套假定的规则（用来确定写作是更可能由人类还是人工智能生成）上进行了训练。
例如，GPTZero 的核心是一个神经网络，它在“一个大型、多样化的语料库上进行了训练，该语料库包括人类写作和人工智能生成的文本，重点是英语散文”。接下来，该系统使用“困惑度”和“突发性”等属性来评估文本并进行分类。
在机器学习中，困惑度是衡量一段文本与一个人工智能模型在训练过程中所学习内容之间偏离程度的指标。测量困惑度的思路是，当人工智能模型写作时，它们会自然地选择它们最熟悉的内容，这些内容来自于它们的训练数据。输出越接近训练数据，困惑度就越低。人类则是更混乱的写作者，人类也可以用低困惑度来写作，尤其是当模仿法律或某些类型的学术写作中使用的正式风格时。而且，我们使用的很多短语都出奇地常见。
作为例子，让我们尝试推测这个句子中下一个词："我想要一杯_____"。”大多数人会用“水”、“咖啡”或“茶”来填空。一个在大量英语文本上进行训练的语言模型也会这样做，因为这些短语在英语写作中经常出现，这些结果中的任何一个都会有很低的困惑度。
GPTZero 测量的文本的另一个属性是“突发性”，它是指某些单词或短语快速连续出现或在文本中“突发”的现象。本质上，突发性评估整个文本中句子长度和结构的可变性。人类作家经常表现出动态的写作风格，导致文本具有可变的句子长度和结构，而人工智能生成的文本往往更加一致和统一。然而，突发性也不是检测人工智能生成内容的万无一失的指标。与“困惑度”一样，也有例外。人类作家可能会以高度结构化、一致的风格写作，从而导致突发性得分较低。相反，人工智能模型可以经过训练，在句子长度和结构上模拟更接近人类的可变性，从而提高其突发性得分。事实上，随着人工智能语言模型的改进，研究表明它们的写作看起来越来越像人类的写作。
以上是人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的的详细内容。更多信息请关注PHP中文网其他相关文章！
