인공지능 이론(7주차) - 학습 관련 기술 Ⅱ

배치 정규화 

각 층의 활성화 값을 적당히 퍼뜨리도록 강제.  
미니배치 단위로 정규화 작업을 진행(데이터 분포가 평균 0, 분산이 1이 되도록 정규화) 
- 학습속도 개선 
- 초기값에 크게 의존하지 않음 
- 오버피팅 억제 
배치 정규화를 적용한 것만으로도 정확도가 빠르게 좋아지게 됨.

 

오버피팅 

학습 데이터에 대해서 너무 맞춰서 학습이 된 경우를 말한다. 새로운 데이터를 넣었을 경우에는 정확도도 많이 떨어지고 손실도 줄어들지 않는 현상이 생긴다. 
오버피팅이 발생하는 경우 : 매개변수가 많고 표현력이 높은 모델, 훈련 데이터가 적음 

오버피팅 억제 방법에는 데이터 수를 늘려주는 방법이 가장 쉽고 간단하다.  하지만 데이터를 늘리기 어려운 경우에는 가중치 감소를 적용한다.

 

가중치 감소

오버피팅이 가중치가 크면 발생활 확률이 높다. 
가중치 매개변수의 값을 최대한 작게하는 것이 오버피팅의 확률을 줄여준다. 
하지만 성능은 크게 좋아지지 않는다.

 

드롭아웃 

신경망 모델이 복잡해지면 가중치 감소만으로는 오버피팅 억제가 어렵다. 학습을 할 때, 임의로 히든레이어의 노드를 삭제하면서 학습을 한다. 학습할 때 몇퍼센트를 드롭할 것이냐를 옵션으로 주게 된다. 

 

하이퍼파라미터 최적화 

각 층의 노드의 수, 히든 레이어의 수, 배치 사이즈, 학습률(adam, adagrad, 등), 손실함수. 옵티마이저, 가중치 초기값, 에폭 등 모델의 성능에 영향을 미치는 모든 값들. 

검증데이터 : 하이퍼파라미터 조정용 데이터이며 하이퍼파라미터의 적절성을 평가하는 데이터 

하이퍼파라미터 최적화 

1. 하이퍼파라미터 값의 범위를 설정한다.
2. 설정된 범위에서 하이퍼파라미터 값을 무작위로 추출한다.
3. 샘플링한 하이퍼파라미터 값을 사용하여 학습하고 , 검증데이터로 평가한다.(에폭값은 작게)
4. 2,3번을 반복하며, 하이퍼파라미터 범위를 좁혀나간다. 

 

학습률(러닝 레이트) 

학습률을 적절하게 설정해야 효율적으로 손실함수의 최솟값을 찾아나갈 수 있다.