近来，《自然》子刊收录了一项能找出神经网络在哪里出错的研究成果。研究团队提供了一种利用拓扑学描述神经网络的推断结果与其分类之间关系的可视化方法。这项成果能够帮助研究人员推断神经网络推理过程中发生混淆的具体情况，让人工智能系统更加透明。
研究人员揭示神经网络推理中的故障点
-
神经网络尖峰揭示推理错误：
- 研究发现神经网络推理中存在数据图尖峰，这些尖峰与判断模糊和产生错误有关。
- 观察尖峰有助于发现人工智能系统中的故障点。
-
神经网络推理过程缺乏透明性：
- 神经网络擅长解决问题，但其推理过程不透明，引发对可靠性的担忧。
- 新研究提供了一种方法，发现神经网络的错误出处。
-
神经网络的「黑盒」特性：
- 神经网络难以理解解决问题的方法，使得判断答案正确性变得困难。
- 研究者无法追踪神经网络对单个样本的决策过程。
-
将决策结果可视化：
- 研究人员没有追踪单个样本的决策，而是将神经网络对整个数据库的所有决策结果与样本之间的关系进行可视化。
- 这有助于识别多分类概率较高的图像。
-
拓扑数据分析：
- 研究人员使用拓扑学绘制推断结果与分类之间的关系图。
- 拓扑数据分析工具可帮助识别数据集之间的相似性。
- 该工具已用于分析乳腺癌亚群和基因的关系。
论文链接：https://www.nature.com/articles/s42256-023-00749-8
在根据新研究成果生成的关系图中：
- 每个点代表神经网络认为有关联的图像组
- 不同分类的图由不同的颜色表示
- 点之间的距离越近，神经网络认为每组图像越相似
这些地图的大部分区域都显示了单一颜色的点群。
異なる色の 2 つの重なり合う点は、複数のカテゴリに属する可能性が高い画像を示します。 「私たちのアプローチは、データの特定の領域にズームインした地図のような関係図を構築することができます。」とグライヒ氏は言います。「これらの領域は、特定のカテゴリの境界が明確ではない場所であり、解決策が明確ではない可能性があります。ただし、新しい方法で生成されたマップでは、ネットワークが分類できない領域を示す可能性があるため、さらなる研究に値する特定のデータ予測が強調表示される可能性があります。この方法は、「研究者が人間の生得的な思考方法を使用してニューラル ネットワークの推論を推測する」方法を提供します。 「これにより、私たちがすでに知っていることに基づいて、ネットワークが新しい入力にどのように反応するかを予測することができます」とグライヒ氏は述べ、ニューラルネットワークは特に胸部X線写真、遺伝子配列などのカテゴリーで混乱を招くパターンを起こしやすいことを発見したと述べた。衣類。たとえば、ネットワークが Imagenette データベース (ImageNet のサブセット) でテストされたとき、車の写真が繰り返しテープ プレーヤーとして分類されました。その原因は、画像がオンライン ショッピングのリストから取得されたものであり、カーオーディオ機器のラベルが含まれていることが原因であることが判明しました。
チームの新しいアプローチは、「何がうまくいかなかったのか」を明らかにするのに役立ちます。 「このレベルでデータを分析することで、科学者は新しいデータに対して有用な予測を行うだけでなく、ニューラル ネットワークがデータをどのように処理するかを深く理解できるようになります。私たちのツールは、発見に非常に優れているようです」とグライヒ氏は述べています。トレーニングデータ自体にエラーが含まれている場合」とグライヒ氏は述べた。 「手動でデータにラベルを付ける場合、人は間違いを犯します。」
この分析戦略の潜在的な用途には、ニューラル ネットワークの特に重要なアプリケーションが含まれる可能性があります。たとえば、敗血症や皮膚がんを研究するためのヘルスケアや医学におけるニューラル ネットワークの応用を考えてみましょう。
批評家は、ほとんどのニューラルネットワークは人間集団に対する既存の偏見を反映した過去の決定に基づいて訓練されているため、AIシステムは最終的に過去の間違いを再現することになると主張しています。新しいツールを使って「予測の偏りや偏りを理解する」方法を見つけられれば、大きな進歩になる可能性があるとグライヒ氏は述べた。
グライヒ氏は、この新しいツールをニューラルネットワークと併用して、「遺伝子変異が有害である可能性があるかどうか」など、小さなデータセットから特定の予測を生成できると述べた。しかし今のところ、研究者はそれを大規模な言語モデルや拡散モデルに適用する方法を持っていません。
詳しくは原著論文をご参照ください。
参考コンテンツ:
https://spectrum.ieee.org/ai-missing
https://www.cs.purdue.edu/homes/liu1740/
https://www.cs.purdue.edu/homes/タマルディ/
https://www.cs.purdue.edu/homes/dgleich/
以上是能找神经网络Bug的可视化工具，Nature子刊收录的详细内容。更多信息请关注PHP中文网其他相关文章！
