이 기사는 신경망에서 상징적 개념의 출현, 즉 "심층 신경망의 표현이 상징적인가?"라는 질문을 논의하기 위한 최근의 두 작품에 초점을 맞췄습니다. '응용 기술 개선'이라는 관점을 우회하고 '과학적 발전'의 관점에서 AI를 재검토한다면, AI 모델에서 상징 출현 현상이 큰 의미를 갖는다는 것은 의심할 여지 없이 증명될 것이다.
1. 우선 현재 해석 가능성 연구의 대부분은 신경망을 "명확한", "의미론적" 또는 "논리적인" 모델로 해석하려고 합니다. 그러나 신경망의 상징적 출현을 증명할 수 없고 신경망의 본질적인 표현 구성 요소에 실제로 많은 혼란스러운 구성 요소가 있다면 대부분의 해석 가능성 연구는 기본적인 사실 기반을 잃게 됩니다.
2. 둘째, 신경망의 상징적 출현을 입증할 수 없다면 딥러닝의 발전은 "구조", "손실 함수", "데이터", "데이터"와 같은 주변 요인 수준에서 정체될 가능성이 높습니다. 등, 지식 수준의 대화형 학습을 달성하기 위해 높은 수준의 인지 수준을 직접 분석할 수는 없습니다. 이러한 방향으로의 발전에는 보다 명확하고 명확한 이론적 지원이 필요합니다.
따라서 이번 글에서는 주로 다음 세 가지 측면에서 소개합니다.
1. 신경망의 상징적 출현 현상을 확실하게 발견하기 위해 신경망으로 모델링된 상징적 개념을 정의하는 방법.
2. 정량화된 상징적 개념이 신뢰할 수 있는 개념으로 간주될 수 있는 이유(희소성, 신경망 표현의 보편적 일치, 전달 가능성, 분류, 역사적 해석 가능성 지표의 해석).
3. 상징적 개념의 출현을 증명하는 방법 - 즉, AI 모델이 특정 상황(가혹하지 않은 조건)에 있을 때 AI 모델의 표현 논리가 해체될 수 있음을 이론적으로 증명하는 방법 매우 적은 수의 전송 가능한 기호로 변환 개념의 분류 유용성(이 부분은 4월 말에 공개적으로 논의될 예정입니다).
논문 주소: https://arxiv.org/pdf/2111.06206.pdf
논문 주소: https://arxiv.org /PDF/ 2302.13080.pdf
이 연구의 저자로는 Shanghai Jiao Tong University의 석사 2년차 Li Mingjie와 Shanghai Jiao Tong University의 박사 과정 3년차 Ren Jie가 있습니다. Li Mingjie와 Ren은 모두. Jie는 Zhang Quanshi 선생님 밑에서 공부했습니다. 그들의 연구실 팀은 일년 내내 신경망의 해석 가능성에 대한 연구를 진행해 왔습니다. 해석 가능성 분야의 경우, 연구자들은 표현 설명, 성능 설명, 상대적으로 신뢰할 수 있고 합리적인 부분, 일부 불합리한 부분 등 다양한 각도에서 분석할 수 있습니다. 그러나 좀 더 논의해 보면 신경망 설명에 대한 두 가지 기본 비전, 즉 "신경망이 모델링한 개념을 명확하고 엄격하게 표현할 수 있는가?" 와 "정확하게 설명할 수 있는가? 찾기"가 있습니다. 신경망의 성능을 결정하는 요소를 알아보세요".
"신경망을 모델로 한 개념을 설명하는 것"이라는 방향에서는 모든 연구자가 직면해야 할 핵심 질문이 있습니다. "신경망의 표현은 상징적으로 개념적인가?"입니다. 이 질문에 대한 대답이 불분명하면 후속 연구를 수행하기가 어려울 것입니다. 즉, 신경망의 표현 자체가 혼란스럽고 연구자가 설명하기 위해 일련의 "기호 개념" 또는 "인과 논리"를 강요하는 경우, 잘못된 방향으로 가고 있는 건가요? 신경망의 상징적 표현에 대한 가정은 이 분야의 심층 연구의 기초이지만, 이 문제를 입증하면 사람들이 시작하지 못하는 경우가 많습니다.
신경망에 대한 대부분의 연구자들의 첫 번째 본능은 “상징적일 수는 없겠죠?”입니다. 신경망은 결국 그래픽 모델이 아닙니다. Cynthia et al.이 작성한 "큰 위험 결정을 위한 블랙박스 기계 학습 모델 설명을 중단하고 대신 해석 가능한 모델을 사용하십시오"라는 논문에서 사람들은 신경망에 대한 사후 설명을 잘못 생각합니다.
그렇다면 신경망의 본질적인 표현이 정말 매우 혼란스럽다는 건가요? 명확하고 희박하며 상징적이기보다는? 이 문제에 착안하여 게임 상호작용을 정의하고[4, 5], 신경망 표현의 병목 현상을 증명하고[6], 시각적 개념의 신경망 표현의 특성을 연구[7, 8]함으로써 상호작용 개념이 다음과 같음을 증명하였다. 신경망과 밀접한 관련이 있으며[9,10,11,12] Shapley 값이 향상되었으나 실험실 초기 단계에서는 탐색만 수행되었습니다. "기호 표현"의 핵심 주변부에 위치하여 직접 탐색할 수 없었습니다 신경망 표현이 상징적인지.
여기서 결론부터 시작합니다. - 대부분의 경우 신경망 표현은 명확하고 희박하며 상징적입니다. 이 결론 뒤에는 많은 이론적 증거와 많은 실험적 증명이 있습니다. 이론적인 측면에서 우리의 현재 연구는 "상징화"를 뒷받침할 수 있는 몇 가지 속성을 입증했지만, 현재의 증거는 "상징화 표현"에 대해 엄격하고 명확한 답변을 제공하기에는 충분하지 않습니다. 앞으로 몇 달 안에 우리는 더욱 엄격하고 포괄적인 증거를 갖게 될 것입니다.
신경망을 분석하기 전에 "네트워크가 모델링한 개념을 어떻게 정의하는지"를 명확히 해야 합니다. 실제로 [14,15] 이전에도 이 문제에 대한 관련 연구가 있었고 실험 결과는 비교적 우수합니다. 그러나 우리는 "개념"의 정의가 이론적으로 "엄격"해야 한다고 믿습니다." . 따라서 네트워크 출력에 대한 개념 S의 유용성을 수량화하기 위해 논문 [1]에서 인덱스 I(S)
를 정의했습니다. 여기서 S는 이 개념 수집을 구성하는 모든 입력 변수를 나타냅니다. 예를 들어 신경망이 있고 입력 문장 x = "I think he is green hand."가 주어지면 각 단어는 네트워크의 입력 변수 중 하나로 간주될 수 있으며 "a"와 "green"이라는 세 단어는 문장에서 "손"은 잠재적인 개념 S={a, green, hand}를 구성할 수 있습니다. 각 개념 S는 S의입력 변수 간의 "AND" 관계를 나타냅니다. 이 개념은 S의 모든 입력 변수가 나타날 때만 트리거되어 네트워크 출력 I(S) 유틸리티에 기여합니다. S의 변수가 가려지면 I(S)의 유틸리티가 원래 네트워크 출력에서 제거됩니다. 예를 들어 S={a, green, hand} 개념의 경우 입력 문장에서 "hand"라는 단어가 차단되면 이 개념은 트리거되지 않으며 네트워크 출력에는 이 개념의 유용성이 포함되지 않습니다. 이다).
우리는 신경망 출력이 항상 트리거된 모든 개념의 효용의 합으로 분할될 수 있음을 증명했습니다. 즉, 이론적으로 n개의 입력 단위를 포함하는 샘플의 경우 최대
다양한 폐색 방법을 사용할 수 있습니다. "소수 개념"의 유틸리티를 "정확하게" 사용할 수 있습니다. fit" 신경망 "모든
유형"은 다양한 폐색 샘플에 대한 값을 출력하여 I(S)
또한 논문 [1]에서 나(S)가 게임 이론의 7가지 속성을 만족한다는 사실을 증명하여 이 지표의 신뢰성을 더욱 입증했습니다. 
또한 게임 상호작용 개념 I(S)가 Shapley 값[16], Shapley 상호작용 지수[17], Shapley 등 게임 이론의 수많은 고전 지표의 기본 메커니즘을 설명할 수 있음을 입증했습니다. -테일러 상호작용 지수 [ 18]. 구체적으로, 우리는 이 세 가지 지표를 상호 작용 개념의 서로 다른 선형 합 형태로 표현할 수 있습니다.
실제로 연구팀의 예비 작업에서는 게임 상호작용 개념 지수[13]를 기반으로 Shapley 가치의 최적 벤치마크 값을 정의하고, 시각적 신경망을 모델로 한 "프로토타입 시각적 개념"을 탐색했습니다. 그리고 그것의 "미학"[8].
이 지표를 사용하여 위에서 언급한 핵심 질문인 신경망이 실제로 훈련 작업의 명확하고 상징적인 표현을 요약할 수 있는지 여부를 더 탐구합니다. ? 정의된 상호 작용 개념이 실제로 의미 있는 "지식"을 나타낼 수 있습니까? 아니면 순전히 수학으로 만들어졌으며 명확한 의미가 없는 까다로운 측정 기준입니까? 이를 위해 우리는 상징적 개념의 표현이 희소성, 샘플 간 전달성, 네트워크 간 전달성, 분류를 만족해야 한다는 네 가지 측면에서 이 질문에 대답합니다.
요구 사항 1(개념 희소성): 신경망에서 모델링한 개념은 희소해야 합니다.
연결주의와는 달리 상징주의의 특징은 사람들이 소수의 희소 개념을 사용하여 많은 수의 조밀한 개념을 사용하는 대신 네트워크를 통해 학습된 지식입니다. 실험에서 우리는 수많은 잠재적 개념 중에서 눈에 띄는 개념의 수가 매우 적다는 것을 발견했습니다. 즉, 대부분의 상호작용 개념의 상호작용 효용 I(S)는 0에 접근하므로 무시할 수 있습니다. 이러한 방식으로 신경망의 출력은 매우 적은 수의 상호작용 효용 I(S)입니다. 소수의 개념의 상호작용 효용에만 의존합니다. 즉, 각 샘플에 대한 신경망의 추론은 소수의 두드러진 개념의 유용성으로 간결하게 설명될 수 있습니다.
요구사항 2(샘플 간 전달성): 신경망으로 모델링한 개념은 서로 다른 샘플 간에 전달 가능해야 합니다.
단일 샘플의 희소성을 만족시키기에는 충분하지 않습니다. 이러한 희박한 개념 표현은 서로 다른 샘플 간에 전송 가능해야 합니다. 동일한 상호작용 개념이 서로 다른 샘플에서 표현될 수 있고, 서로 다른 샘플이 항상 유사한 상호작용 개념을 추출한다면, 이 상호작용 개념은 의미 있고 보편적인 지식을 나타낼 가능성이 더 높습니다. 반대로, 대부분의 상호 작용 개념이 하나 또는 두 개의 특정 샘플에서만 표현된다면, 이러한 방식으로 정의된 상호 작용은 수학적 정의만 있고 물리적 의미는 없는 까다로운 측정 기준이 될 가능성이 더 높습니다. 실험에서 우리는 동일한 카테고리의 샘플에 대해 신경망으로 모델링된 대부분의 개념을 설명할 수 있는 더 작은 개념 사전이 있다는 것을 발견했습니다.
또한 일부 개념을 시각화하여 동일한 개념이 일반적으로 서로 다른 샘플에서 유사한 효과를 생성한다는 사실을 발견했으며, 이는 또한 서로 다른 샘플 간의 개념 전달 가능성도 검증합니다.
요구 사항 3(네트워크 간 전달 가능성): 서로 다른 신경망으로 모델링된 개념 간에 전달 가능성이 있어야 합니다
마찬가지로 이러한 개념은 초기화가 다른 네트워크이든 아키텍처가 다른 네트워크이든 상관없이 다양한 신경망에서 안정적으로 학습할 수 있어야 합니다. 신경망은 완전히 다른 아키텍처와 다른 차원의 모델 기능으로 설계될 수 있지만, 서로 다른 신경망이 동일한 특정 작업에 직면하면 "다른 경로로 동일한 목표"를 달성할 수 있습니다. 즉, 서로 다른 신경망이 유사하게 안정적으로 학습할 수 있다면 일련의 상호작용 개념, 그러면 우리는 이 상호작용 개념 세트가 이 작업의 기본 표현이라고 생각할 수 있습니다. 예를 들어, 서로 다른 얼굴 감지 네트워크가 모두 눈, 코, 입 사이의 상호 작용을 모델링한다면 그러한 상호 작용이 더 "필수적"이고 "신뢰성"이 있다고 생각할 수 있습니다. 실험에서 우리는 더 두드러진 개념이 동시에 다른 네트워크에서 학습하기가 더 쉽고, 두드러진 상호 작용의 상대적 비율이 다른 신경 네트워크에 의해 공동으로 모델링된다는 것을 발견했습니다.
요구 사항 4(개념 분류): 신경망에 의해 모델링된 개념은 분류 가능해야 합니다
마지막으로 분류 작업의 경우 개념이 높은 분류를 갖는 경우 일관된 긍정성을 가져야 합니다. 대부분의 샘플 분류에 대한 영향(또는 일관된 부정적인 영향). 분류 가능성이 높을수록 개념이 분류 작업을 독립적으로 수행할 수 있음을 확인할 수 있으므로 미성숙한 중간 기능이 아닌 신뢰할 수 있는 개념이 될 가능성이 높아집니다. 우리는 또한 이 속성을 검증하기 위한 실험을 설계했으며 신경망으로 모델링된 개념이 더 높은 분류 속성을 갖는 경향이 있음을 발견했습니다.
위의 네 가지 측면을 요약하면 대부분의 경우 신경망의 표현이 명확하고 희박하며 상징적이라는 것을 알 수 있습니다. 물론, 신경망이 항상 이러한 명확하고 상징적인 개념을 모델링할 수 있는 것은 아닙니다. 일부 극단적인 경우에는 신경망이 희박하고 전달 가능한 개념을 학습할 수 없습니다. 자세한 내용은 논문 [2]을 참조하세요.
또한 이 상호 작용을 활용하여 대형 모델을 설명합니다[22].
1. 해석 가능성 분야의 발전 관점에서 볼 때 가장 직접적인 의미는 '신경망을 설명하는' 확실한 근거를 찾는 것입니다. 개념적 수준에서"를 기준으로 합니다. 신경망의 표현 자체가 상징적이지 않다면, 상징적 개념 수준에서 신경망을 설명하는 것은 단지 표면적일 뿐입니다. 설명의 결과는 그럴듯해야 하며 딥러닝의 향후 발전을 실질적으로 추론할 수 없습니다.
2. 2021년부터 점진적으로 게임 상호작용을 기반으로 한 이론적 시스템을 구축해 나갈 예정입니다. 게임 상호작용을 기반으로 "신경망으로 모델링된 지식을 어떻게 정량화할 것인가"와 "신경망의 표현 능력을 어떻게 설명할 것인가"라는 두 가지 핵심 이슈를 일률적으로 설명할 수 있음을 알 수 있었다. "신경망으로 모델링한 지식을 정량화하는 방법"이라는 방향으로, 본 논문에서 언급한 두 가지 작업 외에도 연구팀의 예비 작업은 게임 상호작용 개념 지표를 기반으로 샤플리 가치의 최적 벤치마크 값을 정의해 왔다. 13], 그리고 시각적 신경망[7,8]에 의해 모델링된 "프로토타입 시각적 개념"과 그 "미학"을 탐구합니다.
3. "신경망의 표현 능력을 어떻게 설명할 것인가"라는 방향으로 연구팀은 다양한 상호작용을 표현하는데 있어 신경망의 병목 현상을 증명하고, 신경망이 신경망의 표현 능력을 어떻게 결정하는지 연구했습니다. 신경망에 의해 모델링된 상호작용 개념과 적대적 견고성 및 적대적 전달성[9, 10, 11, 20] 사이의 관계를 연구하는 일반화[12, 19]는 베이지안 신경망이 복잡한 상호 작용 개념을 모델링하기가 더 어렵습니다 [21].
자세한 내용은 다음을 참조하세요.
https://zhuanlan.zhihu.com/p/264871522/
위 내용은 AI 재검토, 신경망에서 기호 출현의 발견과 개념 증명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
