最近时常被吐槽不够开源的 OpenAI，突然开放了一次。
今天一早，OpenAI 机器学习研究员 Jan Leike 宣布，OpenAI 开放了自己内部一直用于分析 Transformer 内部结构的工具。
GitHub 链接：https://github.com/openai/transformer-debugger
该项目开放才几个小时，虽然没有经过太多宣传，star 数量上涨得也挺快。
Transformer Debugger (TDB) 是由 OpenAI 的对齐团队（Superalignment）开发的一款工具，旨在帮助用户检查小型语言模型的特定行为。据了解，该工具结合了自动可解释性技术和稀疏自动编码器的特点。
具体来说，TDB 能够在需要编写代码之前进行快速探索，并能够干预前向传递，帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如「为什么模型在此提示（prompt）中输出 token A 而不是 token B？」之类的问题或「为什么注意力头 H 会在这个提示下关注 token T？」
其方法包括识别对行为有贡献的特定组件（如神经元、注意力头、自动编码器隐变量），通过展示自动生成的解释来分析导致这些组件最强烈激活的原因，以及追踪组件之间的连接，从而帮助人们发现联系，进而协助进行Transformer的调试工作。
OpenAI 放出了几段视频概述了 TDB 的能力，并展示了如何使用它来进行论文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small》中的工作：
本次，OpenAI 的开源内容包括：
请按照以下步骤安装存储库。请注意，在此之前你需要 python/pip 以及 node/npm。
虽然不是必要，但 OpenAI 建议使用虚拟环境进行操作：
# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate
设置好环境后，请按照以下步骤操作：
git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..
要运行 TDB 应用程序，你需要按照说明设置激活服务器后端和神经元查看器前端。
要验证更改，你需要：
Jan Leike 表示，TDB 目前仍然是一个早期阶段的研究工具，OpenAI 希望通过开源的方式让更多人受益，并期待社区在其基础上不断改进。
以上是OpenAI开源了：Transformer自动Debug工具上线GitHub的详细内容。更多信息请关注PHP中文网其他相关文章！
