超级智能的发展是科学家们争论不休的话题。超级智能是从更传统的通用人工智能(AGI)概念演变而来的。在未来十年内，这种功能强大的技术有可能出现，既能够解决全球重要问题，也有可能导致人类权利的流失或消失。
OpenAI(美国人工智能研究公司)的战略包括创建一个具有人类水平能力的自动对齐研究人员，并利用大量计算资源迭代地训练和对齐超级智能。该过程被称为超级智能对齐，要求进行人工智能对齐技术的创新、广泛验证以及对抗性压力测试。
为了应对这一挑战，OpenAI正投入大量资源和研究，并积极鼓励杰出的研究人员和工程师共同合作。然而，术语从通用人工智能到超级智能的转变，是否会对围绕人工智能风险和收益的持续争论产生深远影响，还有待观察。
超级智能的潜力是OpenAI强调的，它被认为是有史以来最具影响力的技术之一，有能力解决全球性的重大问题。尽管如此，它也承认与超级智能相关的巨大风险，这可能导致人类失去权力甚至灭绝。
OpenAI相信，虽然超级智能看似遥不可及，但它有可能在接下来的十年内实现。为了应对超级智能与人类意图保持一致的挑战，需要建立新的治理机构来管理这些风险。引人注目的是，OpenAI采用的术语不是传统的通用人工智能(AGI)。他们的理由如下：
我们更加注重超级智能，而不是通用人工智能，以突显更高的能力水平。在未来几年里，我们对这项技术的发展速度有很多不确定性，所以我们选择瞄准更困难的目标，以校准一个更有能力的系统。
目前的人工智能对齐技术，尚无法完全掌控潜在的超级智能人工智能，尽管存在一些方法如强化学习根据人类反馈进行改进。人类无能可靠地对比我们聪明得多的系统进行监管，现有技术也无法在超级智能领域扩展。OpenAI强调需要科学和技术突破来克服这些挑战。
OpenAI的方法旨在开发一个自动对齐研究人员，其能力大致接近于人类水平。大量的计算资源将被用来扩展他们的努力，并迭代地调整超级智能。这项工作的关键步骤包括开发可扩展的训练方法、验证所生成的模型，并对对齐管道进行压力测试。根据OpenAI公告的标题，这个概念被称为超级智能对齐。
为了克服人类评估具有挑战性任务的困难, 可以使用可扩展的监督，借助人工智能系统进行解决。对于验证一致性至关重要，需要将监督应用于无监督任务，并检测有问题的行为和内部结构。训练未对齐的模型也是一种有助于验证对齐技术效果的对抗性测试方法。
OpenAI预计，随着对该问题的了解越来越多，其研究重点将会发生变化，并且他们计划在未来分享他们的路线图。他们形成了一个由顶级机器学习研究人员和工程师组成的团队，专注于解决超级智能对齐的问题。在接下来四年，OpenAI将投入其总计计算能力的20%用于此项工作。
尽管不能保证成功，但OpenAI仍然持乐观态度，认为通过集中一致的努力可以解决这个问题。他们的目标是提供证据和论据，让机器学习和安全社区相信问题已经解决，他们正在积极与跨学科专家合作，考虑更广泛的人类和社会问题。
OpenAI欢迎优秀的研究人员和工程师，即使是那些过去没有参与过对齐工作的人，也能够加入到他们的努力中。他们认为超级智能对齐是最重要的未解决的技术问题之一，并认为这是一个易于处理的机器学习问题，具有重大贡献的潜力。
似乎在人工智能、通用人工智能和涉及实用性和人类毁灭的复杂关联问题上，激烈的争论正在产生新的分歧。如今，词汇已经发生了一些变化，但尚不清楚这是科学还是语义。
以上是超级智能到底是什么？的详细内容。更多信息请关注PHP中文网其他相关文章！
