Keras Dense Layer 입력의 모양이 예기치 않게 변경되는 이유는 무엇입니까?

Keras Dense Layer 입력의 예기치 않은 재구성: 수수께끼 풀기

Keras에서 Dense 레이어는 신경망에 일반적으로 사용되는 빌딩 블록입니다. . 그러나 사용자는 레이어 작업을 적용하기 전에 입력이 평면화되지 않는 예기치 않은 동작에 직면할 수 있습니다.

제공된 코드 조각에서:

input1 = layers.Input((2,3))
output = layers.Dense(4)(input1)

입력 텐서 input1을 평면화하는 대신 차원 (2,3)에서 우리는 놀랍게도 차원 (?, 2, 4)의 출력 텐서 출력을 관찰합니다. 이는 순위가 2보다 큰 입력이 평면화되어야 한다는 문서의 주장과 모순됩니다.

그러나 현재 Keras 구현을 조사하면 다른 동작이 드러납니다. 즉, Dense 레이어가 실제로 입력 텐서의 마지막 축에 적용됩니다. 이는 주어진 예에서 input1의 각 2D 행이 조밀하게 연결된 레이어를 독립적으로 통과한다는 것을 의미합니다. 결과적으로 출력은 첫 번째 차원을 유지하고 지정된 단위 수(4)를 마지막 차원에 추가합니다.

문서에서 벗어난 이러한 내용은 다음과 같은 중요한 의미를 갖습니다.

• 동등한 작업 다차원 입력에 대한 TimeDistributed(Dense(...)) 및 Dense(...).
• Dense 계층의 단위 전체에 걸쳐 공유 가중치 행렬.

예 :

model = Sequential()
model.add(Dense(10, input_shape=(20, 5)))

model.summary()

결과 모델 요약에는 10개의 단위가 있는 조밀하게 연결된 레이어에도 불구하고 훈련 가능한 매개변수가 60개만 표시됩니다. 이는 각 단위가 동일한 가중치를 가진 각 행의 5개 요소에 연결되기 때문입니다.

시각적 일러스트레이션:

[이미지: Dense 레이어를 적용한 시각적 일러스트레이션 Keras에서 2차원 이상의 입력]

결론적으로 Keras의 Dense 레이어는 입력 텐서의 마지막 축에 독립적으로 적용되어 특정 시나리오에서 출력이 평탄화되지 않습니다. 이 동작은 모델 설계 및 매개변수 공유에 영향을 미칩니다.

위 내용은 Keras Dense Layer 입력의 모양이 예기치 않게 변경되는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!