[TIL] How to avoid overfitting 오버피팅을 막는 방법

오버피팅을 막는 방법

1. 많은 데이터 셋 준비

2. 가중치 감소 기법

3. 드롭아웃 기법

 

 

가중치 감소(Weight decay)

학습 과정에서 큰 가중치에 대해서는 그에 상응하는 큰 패널티를 부과하여 오버피팅을 억제하는 방법이다.

오버피팅은 가중치 값이 커서 발생하는 경우가 많기 때문이다.

 

드롭아웃(Dropout)

신경망 모델이 복잡할때 가중치 감소만으로 대응하기 어렵다.

뉴런을 임의로 삭제하면서 학습하는 방법이다.

훈련 때 은닉층의 뉴런을 무작위로 골라 삭제한다.

삭제된 뉴런은 신호를 전달하지 않게 된다.

테스트 때에는 모든 뉴런에 신호를 전달한다.