SGD의 탁월함은 딥 러닝의 중요성을 가져옵니다

Produced by Big Data Digest

지난 7월 뉴욕대학교(NYU) 박사후 연구원 나오미 사프라(Naomi Saphra)는 확률적 경사하강법(SGD)과 딥러닝의 관계를 진화론적 관점에서 설명하는 '해석가능성 창조론'이라는 글을 썼습니다. . 관계, 그리고 해석의 관점이 생각을 자극합니다.

예: "인간의 꼬리뼈와 마찬가지로 일부 현상은 모델 훈련 과정에서 원래의 역할을 잃어 퇴화 기관과 유사한 존재로 변할 수 있습니다."

"기생하는 병아리 행동을 연구하는 것인지 신경망 내부 성능을 연구하는 것인지. , 시스템이 어떻게 발전하는지 고려하지 않으면 무엇이 귀중한 정보인지 구별하기 어려울 것입니다.”

다음은 원래의 의미를 바꾸지 않고 편집한 원문입니다. 즐겨주세요.

수세기 전 유럽인들은 둥지에 뻐꾸기 알이 있는 것을 새를 둥지로 두는 영광으로 여겼습니다. 둥지를 틀고 있는 새는 자신의 (쫓겨난) 새끼에게 먹이는 것보다 훨씬 더 부지런히 자신의 "거룩한 손님"에게 열정적으로 먹이를 주기 때문에, 이는 그리스도인 환대 정신에 부합하는 행동입니다.

1859년에 찰스 다윈은 가끔 기생하는 또 다른 핀치새를 연구하여 새의 행동에 대한 낙관적이고 협력적인 개념에 의문을 제기했습니다.

진화론적 관점에서 뻐꾸기의 역할을 고려하지 않고는 둥지를 틀고 있는 새가 뻐꾸기 새끼들의 아낌없는 주인이 아니라 불행한 희생자라는 것을 깨닫기 어렵습니다.

진화생물학자 테오도시우스 도브잔스키(Theodosius Dobzhansky)가 말했듯이, “진화의 빛 없이는 생물학의 어떤 것도 이해할 수 없습니다.”

확률적 경사 하강법은 생물학적 진화의 진정한 형태는 아니지만 기계 학습의 사후 분석은 다음과 유사점이 많습니다. 모델 행동의 기원을 이해해야 하는 생물학의 과학적 방법.

기생 병아리의 행동을 연구하든, 신경망의 내부 성능을 연구하든, 시스템이 어떻게 발전하는지 고려하지 않고는 무엇이 가치 있는 정보인지 구별하기 어렵습니다.

따라서 모델을 분석할 때는 훈련 종료 시의 상태뿐만 아니라 훈련 중 여러 중간 체크포인트에도 주의를 기울이는 것이 중요합니다. 이러한 실험은 최소한의 비용이 들지만 모델의 동작을 더 잘 이해하고 설명하는 데 도움이 되는 의미 있는 발견으로 이어질 수 있습니다.

딱 맞는 이야기

인간은 인과적 사고를 하는 동물이고 과학적 근거가 부족하더라도 사물 사이의 인과관계를 찾는 것을 좋아합니다.

NLP 분야에서 연구자들은 관찰된 행동에 대해 설명 가능한 인과 관계 설명을 제공하는 경향이 있지만 이 설명이 모델의 내부 작동을 실제로 드러내지는 못할 수도 있습니다. 예를 들어, 구문적 주의 분포나 선택적 뉴런과 같은 해석 가능성 인공물에 높은 주의를 기울일 수 있지만 실제로는 모델이 실제로 이러한 행동 패턴을 사용하고 있는지 확신할 수 없습니다.

이 문제를 해결하려면 인과 모델링이 도움이 될 수 있습니다. 모델의 동작에 미치는 영향을 테스트하기 위해 모델의 특정 기능과 패턴을 개입(수정 또는 조작)하려고 할 때 이 개입은 명백하고 특정 유형의 동작만을 대상으로 할 수 있습니다. 즉, 모델이 특정 기능과 패턴을 어떻게 사용하는지 이해하려고 할 때 이러한 동작 중 일부만 관찰하고 기본적이고 덜 명확한 다른 동작은 무시할 수 있습니다.

따라서 실제로는 표현의 특정 단위에 대해 특정 유형의 사소한 개입만 수행할 수 있으며 기능 간의 상호 작용을 올바르게 반영하지 못할 수 있습니다.

모델의 동작에 미치는 영향을 테스트하기 위해 모델의 특정 기능과 패턴을 개입(수정 또는 조작)하려고 할 때 분포 변화가 도입될 수 있습니다. 상당한 분포 변화로 인해 불규칙한 동작이 발생할 수 있으므로 허위 해석 가능성 아티팩트로 이어지지 않는 이유는 무엇입니까?

역자 주: 분포 변화는 훈련 데이터에 대해 모델이 설정한 통계 규칙과 개입 후 데이터 간의 차이를 나타냅니다. 이러한 차이로 인해 모델이 새로운 데이터 분포에 적응하지 못하고 불규칙한 동작이 나타날 수 있습니다.

다행히도 생물학적 진화를 연구하는 방법은 모델에서 발생하는 일부 현상을 이해하는 데 도움이 될 수 있습니다. 인간의 꼬리뼈와 마찬가지로 일부 현상은 모델 훈련 과정에서 원래의 역할을 잃어 퇴화 기관과 같은 현상이 될 수 있습니다. 일부 현상은 상호 의존적일 수 있습니다. 예를 들어 동물이 복잡한 눈을 발달시키기 전에 기본적인 빛 감지 능력이 필요한 것처럼 훈련 초기에 특정 특성의 출현이 다른 특성의 후속 발달에 영향을 미칠 수 있습니다.

특성 간의 경쟁으로 인해 발생할 수 있는 현상도 있습니다. 예를 들어 후각 능력이 강한 동물은 시각에 크게 의존하지 않아 시각 능력이 약화될 수 있습니다. 또한 일부 현상은 우리 게놈의 정크 DNA와 유사한 훈련 과정의 부작용일 수 있습니다. 이는 게놈의 큰 부분을 차지하지만 우리의 외모와 기능에 직접적인 영향을 미치지 않습니다.

모델을 훈련하는 과정에서 사용하지 않은 일부 현상이 나타날 수 있으며, 이 현상을 설명할 수 있는 많은 이론이 있습니다. 예를 들어, 정보 병목 가설은 훈련 초기에 입력 정보가 ​​기억된 다음 모델에서 압축되어 출력과 관련된 정보만 유지될 것이라고 예측합니다. 이러한 초기 기억은 보이지 않는 데이터를 처리할 때 항상 유용하지는 않지만, 결국 특정 출력 표현을 학습하는 데는 매우 중요합니다.

훈련된 모델의 초기 동작과 후기 동작이 매우 다르기 때문에 기능 저하의 가능성도 고려할 수 있습니다. 초기 모델은 더 간단했습니다. 언어 모델을 예로 들면, 초기 모델은 단순한 n-gram 모델과 유사하지만 이후 모델은 더 복잡한 언어 패턴을 표현할 수 있습니다. 훈련 과정에서 이러한 혼합은 모델 훈련의 중요한 부분으로 쉽게 오해될 수 있는 부작용을 가질 수 있습니다.

Evolutionary Perspective

학습 후 특징만으로 모델의 학습 경향을 이해하는 것은 매우 어렵습니다. Lovering et al.의 연구에 따르면 훈련 초기에 특징 추출의 용이성을 관찰하고 미세 조정 데이터를 분석하는 것은 훈련이 끝날 때 단순히 분석하는 것보다 미세 조정 성능을 이해하는 데 훨씬 더 깊은 영향을 미칩니다.

언어 계층 동작은 분석 정적 모델을 기반으로 한 일반적인 설명입니다. 문장 구조에서 서로 가까운 단어는 모델에서 더 가깝게 표현되고, 구조적으로 더 멀리 떨어져 있는 단어는 더 멀리 표현되는 것으로 제안되었습니다. 그렇다면 모델이 문장 구조의 근접성에 따라 단어를 그룹화하고 있다는 것을 어떻게 알 수 있습니까?

사실 초기 모델은 LSTM(장단기 기억 네트워크) 및 변환기에서 더 많은 로컬 정보를 인코딩하기 때문에 일부 언어 모델이 계층적이라고 더 자신있게 말할 수 있습니다. 그리고 이러한 종속성이 친숙한 짧은 구성 요소에 계층화될 때 더 먼 종속성을 더 쉽게 배울 수 있습니다.

해석적 창조론의 문제를 다루던 중 실제 사례를 접하게 되었습니다. 다양한 무작위 시드를 사용하여 텍스트 분류기를 여러 번 훈련할 때 모델이 여러 다른 클러스터에 분산되어 있음을 관찰할 수 있습니다. 또한 모델이 손실 표면에서 다른 모델과 얼마나 잘 연결되는지 관찰하여 모델의 일반화 동작을 예측할 수 있다는 사실도 발견되었습니다. 즉, 표면적으로 손실이 나타나는 위치에 따라 모델의 일반화 성능이 달라질 수 있습니다. 이 현상은 훈련 중에 사용되는 무작위 시드와 관련이 있을 수 있습니다.

하지만 정말 그런 말을 할 수 있을까요? 클러스터가 실제로 모델의 초기 단계에 해당하면 어떻게 될까요? 클러스터가 실제로 모델의 초기 단계만 나타내는 경우 결국 해당 모델은 일반화 성능이 더 나은 클러스터로 전환될 수 있습니다. 따라서 이 경우 관찰된 현상은 단순히 일부 미세 조정 프로세스가 다른 프로세스보다 느리다는 것을 나타냅니다.

훈련 궤적이 손실 표면의 분지에 속할 수 있음을 보여줌으로써 훈련된 모델의 일반화 동작의 다양성을 설명해야 합니다. 실제로 훈련 중에 여러 체크포인트를 조사한 결과 클러스터 중앙에 있는 모델이 훈련 중에 클러스터의 다른 모델과 더 강력한 연결을 개발한다는 사실이 밝혀졌습니다. 그러나 일부 모델은 여전히 ​​더 나은 클러스터로 성공적으로 전환할 수 있습니다.

제안

연구 질문에 답하려면 훈련 과정을 관찰하는 것만으로는 충분하지 않습니다. 인과관계를 찾으려면 개입이 필요하다. 생물학 분야의 항생제 내성 연구를 예로 들어 보겠습니다. 연구자들은 의도적으로 박테리아를 항생제에 노출시켜야 하며 자연 실험에 의존할 수는 없습니다. 따라서 훈련 역학의 관찰에 기초한 진술에는 실험적 확인이 필요합니다.

모든 진술에서 훈련 과정을 관찰해야 하는 것은 아닙니다. 고대인의 눈에는 많은 기관이 보는 눈, 혈액을 펌핑하는 심장과 같은 명백한 기능을 가지고 있었습니다. 자연어 처리(NLP) 분야에서는 정적 모델을 분석하여 특정 속성이 있을 때 특정 뉴런이 활성화되거나 특정 유형의 정보가 모델에서 여전히 사용 가능하다는 등 간단한 해석을 할 수 있습니다.

그러나 훈련 과정을 관찰하면 정적 모델에서 수행된 많은 관찰의 의미를 명확하게 알 수 있습니다. 이는 모든 문제가 훈련 과정을 관찰해야 하는 것은 아니지만 많은 경우 관찰을 이해하려면 훈련 과정을 이해하는 것이 도움이 된다는 것을 의미합니다.

충고는 간단합니다. 훈련된 모델을 연구하고 분석할 때 훈련 과정에서 최종 결과에만 집중하지 마세요. 대신, 훈련 중에 여러 중간 체크포인트에 분석을 적용해야 합니다. 모델을 미세 조정할 때 훈련 초기와 후반에 여러 지점을 확인하세요. 훈련 중에 모델 행동의 변화를 관찰하는 것이 중요합니다. 이는 연구자가 모델 전략이 합리적인지 여부를 더 잘 이해하고 훈련 초기에 어떤 일이 일어나는지 관찰한 후 모델 전략을 평가하는 데 도움이 될 수 있습니다.

참조 링크: https://thegradient.pub/interpretability-creationism/

위 내용은 SGD의 탁월함은 딥 러닝의 중요성을 가져옵니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!