인공지능 수업 정리

1.신경망에서 학습이란

- 학습이란? : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것
- 학습의 목표 :  손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것
- 학습 지표 : 손실 함수

2. 활성화 함수

- 시그모이드

기울기 소실 : 오차역전파법에 의해 시그모이드 함수의 미분값을 곱해나가면 역전파의 기울기가 작아지다가 사라짐

Xavier 초기값 사용 시 각 층의 활성화 값이 고루 분포된다.
- ReLu : 0보다 작을때는 0으로 0보다 클때는 x로

ReLu 함수는 He 초기값을 활용한다.

3. 출력층 함수

 

회귀 : 항등 함수

분류 : 2클래스 분류 -> 시그모이드, 다중 클래스 분류 -> 소프트맥스 

4. 데이터 세트

- 훈련 매개변수 학습
- 검증 하이퍼파라미터 성능 평가

하이퍼파라미터를 검증 데이터를 통해 적절성을 평가한다.

- 시험 신경망의 범용 성능 평가

반복 학습의 횟수를 결정 또는 학습 중단 시점 결정

5. 손실함수

 

신경망이 학습할 수 있도록 해주는 지표

신경망 성능의 '나쁨'을 나타내는 지표

- 평균 제곱 오차 : 각 원소의 출력과 정답 레이블의 차를 제곱한 후 그 총합 계산

- 교차 엔트로피 오차 : 교차 엔트로피 오차는 정답일 떄의 출력이 전체 값을 정하게 됨

 

* 정확도를 지표로 삼아서는 안되는 이유?

미분 값이 대부분의 장소에서 0이 되서 매개변수 갱신이 어렵다.

 

6. 미니 배치와 에포크

 

미니 배치 : 전체 훈련 데이터의 대표로 무작위로 선택한 작은 덩어리

배치 사이즈 : 몇 문항을 풀고 해답을 맞출 것인가?(가중치 갱신)

에포크 : 학습에서 훈련 데이터를 모두 소진했을 때의 횟수

(100회 반복했을 떄 모든 훈련 데이터를 소진하면 100회가 1에폭)

 

7. 경사하강법

 

복잡한 손실 함수 그래프에서 현재 위치의 순간 기울기는 알 수 있으므로, 기울기 방향으로 조금씩 내려간다면 기울기가 최소인 지점으로 향할 수 있을 것

문제점 : 지역 최소값에 빠져 전역 최소값에 도달하지 못하고 학습 종료

 

8. 딥러닝에서 역전파 알고리즘이 기여한 점

- 수식이나 이론적 배경은 제외

히든 레이어의 가중치를 올바른 방향으로 갱신하기 위해서는 결과로 부터 가중치를 갱신해나가야 한다.

히든 레이어를 각각 합성 함수라고 생각하고, 미분의 연쇄법칙에 따라서 역방향으로 노드의 미분값들을 알아나갈 수있다.

9. 최적화 기법

 

매개변수의 최적값을 찾는 문제가 최적화이다.

손실함수 최적화 : 확률적 경사 하강법, 모멘텀, AdaGrad, Adam

 

10. 오버피팅

 

한 데이터 세트에만 지나치게 최적화된 상태

학습 데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상

오버피팅 억제 방법

1. 데이터를 늘린다.

2. 가중치를 감소 시켜서 오버피팅을 억제한다.

3. 노드를 임의로 삭제하면서 학습한다.(드롭아웃)

 

11. CNN: 합성곱 계층과 풀링 계층의 특징

 

일반적인 완전 연결 계층은 이미지 데이터의 형상이 무시된다. 합성곱 계층은 이와 다르게 형상을 유지하여 이미지의 특징을 학습하게 된다.

 

풀링은 가로, 세로의 공간을 줄이는 연산이다. 대상 영역에서 특정 값을 취하게 된다. 

풀링 계층의 특징

1. 학습해야 할 매개변수가 없다.

2. 채널 수가 변하지 않는다.

3. 입력의 변화에 영향을 적게 받는다.

 

12. 전이학습의 전략

 

13. 강화학습