LLM에서 드문 단가 인 코더를 갖는 피처 회로의 제형-일체 포함-php.cn

LLM에서 드문 단가 인 코더를 갖는 피처 회로의 제형

王林

풀어 주다： 2025-02-26 01:46:08

원래의

616명이 탐색했습니다.

이 블로그 게시물에서는 스파 스 자동 인코더를 사용하여 특히 흥미로운 객체 비방 일관성의 경우 일부 기능 루프를 찾아 모델 구성 요소가 작업에 어떻게 기여하는지 이해합니다. 주요 개념 피처 루프

신경망의 맥락에서 기능 루프는 네트워크가 입력 기능을 결합하여 더 높은 수준에서 복잡한 패턴을 형성하는 방법입니다. 우리는 "루프"의 은유를 사용하여 신경망의 다양한 계층에서 기능이 처리되는 방법을 설명합니다. 이러한 방법은 전자 회로에서 신호를 처리하고 결합하는 프로세스를 상기시켜줍니다.

이러한 특징 루프는 뉴런과 층 사이의 연결을 통해 점차 형성되며, 각 뉴런 또는 층이 입력 특징을 변환하는 데 도움이되며, 이들의 상호 작용은 유용한 기능 조합으로 이어지기 위해 최종 예측을 만듭니다.

다음은 기능 루프의 예입니다. 많은 시각적 신경망에서 "우리는"루프를 다른 각도로 감지하는 단위의 패밀리로서 루프를 찾을 수 있습니다. 곡선 탐지기는 주로 초기, 덜 복잡한 곡선 탐지기로 구성됩니다. 그리고 라인 검출기 구현.이 곡선 검출기는 다음 레이어에서 3D 지오메트리 및 복잡한 모양 감지기를 생성합니다.”[1].

다음 장에서는 LLM의 주제 예측 일관된 작업에 대한 기능 루프를 검사합니다.

오버레이 및 드문 autoencoder

머신 러닝의 맥락에서, 우리는 때때로 모델의 뉴런이 단일의 다른 특징이 아닌 여러 개의 중첩 된 기능을 나타내는 현상을 언급하면서 때때로 중첩을 관찰합니다. 예를 들어, inceptionv1에는 고양이의 얼굴, 차 앞면 및 고양이 다리에 반응하는 뉴런이 들어 있습니다.

이것은 스파 스 autoencoder (SAE)가하는 일입니다. SAE는 네트워크의 활성화를 희소 한 기능 세트로 차단 해제하는 데 도움이됩니다. 이 희소 기능은 종종 인간이 이해할 수 있으므로 모델을 더 잘 이해할 수 있습니다. LLM 모델의 숨겨진 계층 활성화에 SAE를 적용함으로써 모델의 출력에 기여하는 기능을 분리 할 수 있습니다.

이전 블로그 게시물에서 SAE의 작동 방식에 대한 세부 정보를 찾을 수 있습니다.

사례 연구 : 주제 예측 일관성 주제 예측 일관성 주제 예측 일관성은 영어로 된 기본 문법 규칙입니다. 문장의 주제와 술어 동사는 수량, 즉 단수 또는 복수형이 일관되어야합니다. 예를 들면 :

는 를 실행합니다." ~~"고양이 run ."~~
이제 LLM 양식 이이 작업에 대한 기능 루프를 찾을 수 있습니다. 빌드 기능 루프 이제 기능 루프 생성 프로세스를 구축 해 봅시다. 우리는 4 단계로 진행할 것입니다 :

우리는 먼저 모델에 문장을 입력합니다. 이 사례 연구에서는 다음 문장을 고려합니다.

"고양이가 달린다." ~~"고양이가 달린다"(복수 주제)~~

우리는 숨겨진 활성화를 얻기 위해이 문장에 대한 모델을 실행합니다. 이러한 활성화는 모델이 각 계층에서 문장을 처리하는 방법을 나타냅니다.

우리는 SAE에 활성화를 전달하여 기능을 "압축 압축"합니다.

우리는 기능 루프를 계산 다이어그램으로 구성합니다. 입력 노드는 단수 및 복수 문장을 나타냅니다.

숨겨진 노드는 입력을 처리하는 모델 레이어를 나타냅니다.

희소 노드는 SAE에서 얻은 기능을 나타냅니다.

출력 노드는 최종 결정을 나타냅니다. 이 경우 실행 또는 실행.

장난감 모델

우리는 먼저 장난감 언어 모델을 구축하는데, 이는 다음 코드에 의미가 없을 수 있습니다. 이것은 두 개의 간단한 레이어가있는 신경망입니다.

주제 예측 일관성의 경우 모델은 다음과 같습니다

단수 또는 복수형 동사로 문장을 입력하십시오.

숨겨진 레이어는이 정보를 추상적 표현으로 변환합니다.

~~모델은 올바른 동사 양식을 출력으로 선택합니다.~~

숨겨진 레이어 내부에서 무슨 일이 일어나고 있는지는 명확하지 않습니다. 따라서 우리는 다음과 같은 드문 autoencoder를 도입했습니다

우리는 "고양이 달리기", "아기 달리기"와 같은 다른 단수 및 복수형 동사를 나타내도록 설계된 문장을 사용하여 원래 모델을 대상으로 한 모델을 훈련시킵니다. 그러나 이전과 마찬가지로 장난감 모델의 경우에는 의미가 없습니다.

이제 기능 루프를 시각화합니다. 앞에서 언급했듯이 기능 루프는 특정 기능을 처리하는 데 사용되는 뉴런 단위입니다. 우리의 모델에는 기능이 포함됩니다

는 언어 속성을 추상적 표현의 숨겨진 계층으로 변환합니다.

Sae

는 동사 대상일 일관성 작업에 직접 기여합니다.
그림에서 기능 루프를 그래프로 시각화하는 것을 볼 수 있습니다.
그러나 그러나, 우리는이 접근법이 여전히 인간의 개입이 필요하다는 것을 인정해야합니다. 왜냐하면 우리는 적절한 설계없이 루프를 실제로 형성 할 수 있는지 항상 알지 못하기 때문입니다.

참조 [1] 줌 : 회로 소개
이미지 자리 표시자를 보존했으며 제공된 URL에서 이미지에 액세스 할 수 있다고 가정했습니다 변하지 않은 상태로 유지하십시오.