제주 탈출 일지

1.신경망에서 학습이란 - 학습이란? : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 - 학습의 목표 : 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것 - 학습 지표 : 손실 함수 2. 활성화 함수 - 시그모이드 기울기 소실 : 오차역전파법에 의해 시그모이드 함수의 미분값을 곱해나가면 역전파의 기울기가 작아지다가 사라짐 Xavier 초기값 사용 시 각 층의 활성화 값이 고루 분포된다. - ReLu : 0보다 작을때는 0으로 0보다 클때는 x로 ReLu 함수는 He 초기값을 활용한다. 3. 출력층 함수 회귀 : 항등 함수 분류 : 2클래스 분류 -> 시그모이드, 다중 클래스 분류 -> 소프트맥스 4. 데이터 세트 - 훈련 매개변수 학습 - 검증 하이퍼파라미터 성능 ..

배치 정규화 각 층의 활성화 값을 적당히 퍼뜨리도록 강제. 미니배치 단위로 정규화 작업을 진행(데이터 분포가 평균 0, 분산이 1이 되도록 정규화) - 학습속도 개선 - 초기값에 크게 의존하지 않음 - 오버피팅 억제 배치 정규화를 적용한 것만으로도 정확도가 빠르게 좋아지게 됨. 오버피팅 학습 데이터에 대해서 너무 맞춰서 학습이 된 경우를 말한다. 새로운 데이터를 넣었을 경우에는 정확도도 많이 떨어지고 손실도 줄어들지 않는 현상이 생긴다. 오버피팅이 발생하는 경우 : 매개변수가 많고 표현력이 높은 모델, 훈련 데이터가 적음 오버피팅 억제 방법에는 데이터 수를 늘려주는 방법이 가장 쉽고 간단하다. 하지만 데이터를 늘리기 어려운 경우에는 가중치 감소를 적용한다. 가중치 감소 오버피팅이 가중치가 크면 발생활 확..

신경망에서의 학습 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 의미한다. 그렇다면 학습이 제대로 이루어지는 것을 어떻게 확인하는가? 그것은 손실함수를 통해 이루어진다. 즉, 손실함수는 신경망이 학습할 수 있도록 해주는 지표라고 할 수 있고, 학습의 목표는 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이라고 할 수 있다. 데이터 세트 데이터 세트는 훈련 데이터, 검증 데이터, 시험 데이터가 존재한다. 훈련 데이터 : 매개변수 학습을 위한 데이터 검증 데이터 : 하이퍼파라미터 성능 평가를 위한 데이터 시험 데이터 : 신경망의 범용 성능 평가를 위한 데이터 검증 데이터 사용 이유 학습 방법을 결정하는 파라미터를 하이퍼파라미터라고 함.(각 층의 뉴런 수, 배치 ..

인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. - 위키피디아 인공신경망 개요 딥러닝에서의 인공신경망은 그림과 같은 요소들로 되어 있다! 데이터를 입력(input)에 넣게 되면 어떤 가중치를 곱하여 모두 더하고, 그 값을 활성화 함수에 넣게 된다. 활성화 함수에서 나온 출력이 Output으로 나오고 있는 것을 볼 수 있다. 인공신경망은 이 노드를 하나의 층이라고 부른다. 다음 그림에서 입력층은 단순히 데이터를 넣는 것을 입력층이라고 표현한 것이기 때문에, 히든레이어 2층 그리고 출력층으로 이루어진 3층 신경망이다. 입력층부터 시작해서 화살표들이 뻗어나..

인공지능(AI), 머신러닝(ML), 딥러닝(DL)의 관계 인공지능 : 사고나 학습 등 인간이 가진 지적 능력을 컴퓨터를 통해 구현하는 기술 머신러닝 : 컴퓨터가 스스로 학습하여 인공지능의 성능을 향상 시키는 기술 방법 딥러닝 : 인간의 뉴런과 비슷한 인공신경망 방식으로 정보를 처리 인공지능이 가장 넓은 범위이며, 딥러닝이 가장 좁은 범위의 영역이라고 할 수 있다. 딥러닝은 머신러닝의 한 영역이다. 머신러닝 머신러닝은 태스크(T)에 대해 꾸준한 경험(E)를 통해 T에 대한 성능(P)를 높이는 것 - Tom M. Mitchell - 머신러닝은 지도학습, 비지도학습, 강화학습 3가지 분류로 학습방법이 존재한다. 지도학습 알고리즘에 주입하는 훈련 데이터에 레이블(Label)이라는 원하는 답을 함께 줘서 학습을 ..

google colab에서 진행한 실습이다. 타이핑이 귀찮다면 실습 파일을 다운받아 열어보길 바란다. 1. 필요한 라이브러리들을 import한다. import numpy as np import matplotlib.pyplot as plt from keras.models import Sequential from keras.layers import Dense #케라스가 sequential 방식 functional api 방식 두가지 존재. 당분간 sequential 방식 사용. #dense -> 모든 노드를 다 연결한 레이어의 종류, fully-connected numpy는 데이터 세트와 같이 데이터를 처리할 떄, matplotlib는 그래프를 그리기 위해 불러온다. keras.models 중 Sequent..

학습 관련 기술 1. 최적화 기법 2. 가중치 초기값 3. 배치 정규화 4. 오버피팅 5. 하이퍼파라미터 최적화 이번 포스팅에는 1번과 2번에 대해서 다룰 예정이다. 최적화 기법 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것이다. 신경망이 학습할 수 있도록 해주는 지표는 손실함수이고, 이 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표라고 할 수 있다. 그렇다면 어떻게 해야 매개변수의 최적값을 빠르게 찾을 수 있을 것인가? 이 최적값을 빠르게 찾는 문제가 최적화 기법 의 이슈이다. 최적화 기법 - 확률적 경사 하강법 : 지난 포스팅에 언급했던 것처럼, "지금 서있는 장소에서 가장 크게 기울어진 방향으로 가자!" 는 방법 방법이 단순하여 구현이 쉬우..

이 내용은 머신러닝에서 입력데이터로 이미지를 사용할 때 python에서 opencv를 사용하게 되기 때문에 배우는 것. 이미지의 종류 : 바이너리, 그레이 스케일 이미지, 컬러 이미지. 크게 3가지 바이너리 이미지 : 0 또는 1로만 픽셀을 표현 그레이 스케일 이미지 : 하나의 픽셀값을 0~255로 표현 컬러 이미지 : 한 픽셀당 0~255사이의 값을 3개 조합하여 표현 (컬러 스페이스 종류 : RGB, HSV 등) 여기서 HSV는 색은 1바이트만 표현하고 나머지 바이트는 명도와 채도를 표현함. (이미지에서 한가지 색상만 추출하기 위해 컬러모델을 HSV로 변환하면 프로그램이 간단해지게 된다.) 이미지 데이터 는 3차원 배열로 처리한다. 형태는 [세로화소수][가로화소수][3(컬러채널)] 이다. 1920 *..

5주차 부터 올리는 이유는 게을러서 공부를 안했기 떄문이다. 천천히 짬날떄마다 이전 주차 강의들에 대한 정리를 올릴 예정이다. 이전차시 복습 신경망 학습의 지표 : 손실 함수 신경망 학습은 가중치와 편향과 같은 최적의 매개변수를 찾아나가는 과정이다. 손실함수를 작게 만드는 매개변수 값을 찾아나감. -> 손실 함수에 대해서 미분함.(가중치를 조금 변화시켰을 때 손실함수가 어떻게 변하는 가?) 손실 함수의 미분 값은 손실 함수의 기울기와 같다고 말할 수 있겠다. 경사하강법(Gradient Descent) 그래서 기울기를 통해 최소인 지점을 찾는 경사하강법이라는 하나의 방법이 제시된다. (손실 함수 그래프의 전체적인 모양은 알 수 없지만 현재 위치의 순간 기울기는 알 수 있음.) 기울기 방향으로 조금씩 내려가..