전이 학습의 전략, 단계, 차이점 및 개념을 이해합니다.

전이 학습은 기존 기계 학습 작업에서 훈련된 모델을 사용하여 새로운 작업을 해결하는 방법입니다. 기존 모델에 대한 지식을 새로운 작업으로 이전하여 새로운 작업에 필요한 훈련 데이터의 양을 줄일 수 있습니다. 최근에는 자연어 처리, 이미지 인식 등의 분야에서 전이학습이 널리 활용되고 있다. 이번 글에서는 전이학습의 개념과 원리를 자세히 소개하겠습니다.

전통적인 전이 학습 전략

작업 영역과 데이터 가용성에 따라 다양한 전이 학습 전략과 기술을 적용합니다.

1. 귀납적 전이 학습

귀납적 전이 학습은 모델이 처리하는 특정 작업이 다르지만 소스 도메인과 대상 도메인이 동일해야 합니다. 이러한 알고리즘은 소스 모델에 대한 지식을 활용하고 이를 적용하여 대상 작업을 개선하려고 시도합니다. 사전 훈련된 모델은 이미 도메인 기능에 대한 전문 지식을 갖추고 있으므로 처음부터 훈련하는 것보다 더 나은 시작점이 됩니다.

귀납적 전이 학습은 소스 도메인에 레이블이 지정된 데이터가 포함되어 있는지 여부에 따라 두 개의 하위 범주로 더 나뉩니다. 여기에는 각각 다중 작업 학습과 자기 주도 학습이 포함됩니다.

2. 전달적 전이 학습

소스 작업과 대상 작업의 필드가 정확히 동일하지는 않지만 서로 관련되어 있는 시나리오에서는 전달적 전이 학습 전략을 사용할 수 있습니다. 소스 작업과 대상 작업 간에 유사점을 그릴 수 있습니다. 이러한 시나리오는 일반적으로 원본 도메인에 레이블이 지정된 대량의 데이터가 있고 대상 도메인에는 레이블이 지정되지 않은 데이터만 있습니다.

3. 비지도 전이 학습

비지도 전이 학습은 귀납적 전이 학습과 유사합니다. 유일한 차이점은 알고리즘이 감독되지 않는 작업에 초점을 맞추고 소스 및 대상 작업 모두에 레이블이 지정되지 않은 데이터 세트를 포함한다는 것입니다.

4. 도메인 유사성을 기반으로 하고 훈련 데이터 샘플 유형에 독립적인 전략

• 동형 전이 학습

동일한 특성을 가진 도메인을 처리하기 위한 동형 전이 학습 방법이 개발 및 제안됩니다. 우주상황. 동형 전이 학습에서는 영역의 한계 분포가 약간만 다릅니다. 이러한 방법은 표본 선택 편향 또는 공변량 이동을 수정하여 영역을 조정합니다.

• 이종 전이 학습

이종 전이 학습 방법은 서로 다른 기능 공간과 서로 다른 데이터 분포 및 레이블 공간과 같은 기타 문제가 있는 소스 및 대상 도메인의 문제를 해결하도록 설계되었습니다. 이종 전이 학습은 언어 간 텍스트 분류, 텍스트-이미지 분류 등과 같은 도메인 간 작업에 적용됩니다.

전이 학습 6단계

1. 사전 학습된 모델 획득

첫 번째 단계는 작업에 따라 학습의 기초로 유지하려는 사전 학습된 모델을 선택하는 것입니다. . 전이 학습을 위해서는 사전 훈련된 소스 모델에 대한 지식과 대상 작업 영역 간의 강력한 상관관계가 호환되어야 합니다.

2. 기본 모델 만들기

기본 모델은 첫 번째 단계에서 작업과 밀접하게 관련된 아키텍처를 선택하는 것보다 최종 출력 레이어에 더 많은 뉴런이 있는 상황이 있을 수 있습니다. 사용 사례에서는 필요한 수량입니다. 이 경우 최종 출력 레이어를 제거하고 이에 따라 변경해야 합니다.

3. 시작 레이어 고정

사전 학습된 모델의 시작 레이어를 고정하는 것은 모델이 기본 기능을 학습하지 못하도록 하는 데 중요합니다. 초기 레이어를 고정하지 않으면 발생한 모든 학습이 손실됩니다. 이는 모델을 처음부터 훈련하는 것과 다르지 않아 시간, 리소스 등이 낭비됩니다.

4. 새로운 훈련 가능한 레이어 추가

기본 모델에서 재사용되는 유일한 지식은 특징 추출 레이어입니다. 모델의 특수 작업을 예측하려면 특징 추출 레이어 위에 추가 레이어가 필요합니다. 이는 일반적으로 최종 출력 레이어입니다.

5. 새 레이어 훈련

사전 훈련된 모델의 최종 출력이 우리가 원하는 모델 출력과 다를 가능성이 매우 높으며, 이 경우 모델은 새로운 출력으로 훈련되어야 합니다. 층.

6. 모델의 성능을 향상하기 위해 모델을 미세 조정

합니다. 미세 조정에는 기본 모델의 일부를 고정 해제하고 매우 낮은 학습 속도로 전체 데이터 세트에 대해 전체 모델을 다시 교육하는 작업이 포함됩니다. 학습률이 낮으면 과적합을 방지하면서 새로운 데이터 세트에 대한 모델 성능이 향상됩니다.

기존 머신 러닝과 전이 학습의 차이점

1. 기존 머신 러닝 모델은 처음부터 학습해야 하며, 고성능을 달성하려면 많은 양의 계산과 데이터가 필요합니다. 반면에 전이 학습은 계산적으로 효율적이며 작은 데이터 세트를 사용하여 더 나은 결과를 얻는 데 도움이 됩니다.

2. 기존 머신러닝은 격리된 학습 방법을 사용하며, 각 모델은 특정 목적을 위해 독립적으로 학습되며 과거 지식에 의존하지 않습니다. 이와 대조적으로 전이 학습은 사전 훈련된 모델에서 얻은 지식을 사용하여 작업을 처리합니다.

3. 전이 학습 모델은 기존 ML 모델보다 더 빠르게 최적의 성능에 도달합니다. 이는 이전에 훈련된 모델의 지식(특성, 가중치 등)을 활용하는 모델이 이미 이러한 특성을 이해하고 있기 때문입니다. 신경망을 처음부터 훈련시키는 것보다 빠릅니다.

심층 전이 학습의 개념

많은 모델의 사전 훈련된 신경망과 모델이 딥 러닝의 맥락에서 전이 학습의 기초를 형성하는데, 이를 심층 전이 학습이라고 합니다.

딥러닝 모델의 프로세스를 이해하려면 해당 모델의 구성 요소를 이해해야 합니다. 딥 러닝 시스템은 다양한 계층에서 다양한 기능을 학습할 수 있는 계층형 아키텍처입니다. 초기 레이어는 더 높은 수준의 기능을 컴파일하며, 네트워크에 더 깊이 들어가면서 세분화된 기능으로 범위가 좁아집니다.

이 레이어는 마지막 레이어에 연결되어 최종 출력을 얻습니다. 이는 마지막 레이어를 다른 작업을 위한 고정 특징 추출기로 사용하지 않고도 널리 사용되는 사전 훈련된 네트워크를 사용하는 데 한계가 있습니다. 핵심 아이디어는 사전 훈련된 모델의 가중치 계층을 활용하여 특징을 추출하되, 새로운 작업에 대한 새로운 데이터로 훈련하는 동안 모델의 가중치를 업데이트하지 않는 것입니다.

심층 신경망은 조정 가능한 하이퍼파라미터가 많은 계층 구조입니다. 초기 레이어의 역할은 일반적인 기능을 캡처하는 반면, 이후 레이어는 당면한 명시적인 작업에 더 중점을 둡니다. 기본 모델의 고차 기능 표현을 미세 조정하여 특정 작업과 더 관련되도록 만드는 것이 합리적입니다. 훈련 중에 일부 동결을 유지하면서 모델의 특정 계층을 다시 훈련할 수 있습니다.

모델 성능을 더욱 향상시키는 방법은 분류기를 훈련하는 동안 사전 훈련된 모델의 최상위 계층에 대한 가중치를 다시 훈련하거나 미세 조정하는 것입니다. 이렇게 하면 모델의 소스 작업에서 학습된 공통 기능 맵에서 가중치가 업데이트됩니다. 미세 조정을 통해 모델은 과거 지식을 적용하고 대상 도메인에서 무언가를 다시 학습할 수 있습니다.

또한 전체 모델보다는 상위 레이어 몇 개를 미세 조정하는 것이 좋습니다. 처음 몇 개의 레이어는 거의 모든 유형의 데이터에 일반화할 수 있는 기본적인 일반 기능을 학습합니다. 미세 조정의 목적은 일반적인 학습을 재정의하는 것이 아니라 이러한 특수 기능을 새로운 데이터 세트에 적용하는 것입니다.

위 내용은 전이 학습의 전략, 단계, 차이점 및 개념을 이해합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!