제주 탈출 일지

소잃고 외양간을 고치게 되었다. 준비를 나름 한것이 문제였다. 다음에는 열심히 준비해야 한다. 꼼꼼하게! 그래도 외양간을 일단 고쳐야 다음에 소를 키우게 될 수 있는법이니.. (대체적으로 xpath문제를 못풀었다. 4번 이외에는 크게 어려웠던 문제는 없었다.) - 천천히 업데이트 예정 - 1. 네이버의 실시간 검색어 순위 20위까지 크롤링 1-1) css selector 기능을 활용하여 크롤링하고 다음과 같은 형태로 표시하고 데이터프레임으로도 저장하라 1-2) xpath를 이용해서 위의 과정을 수행하라 2. 카카오(daum) 포털의 웹툰 만화 이름 저자를 크롤링하고 데이터로 저장하라. 3.data.go.kr의 국토교통부 아파트 매매 실거래가데이터를 open API를 이용해서 수집하고 분석해보자. 3-1)..

배치 정규화 각 층의 활성화 값을 적당히 퍼뜨리도록 강제. 미니배치 단위로 정규화 작업을 진행(데이터 분포가 평균 0, 분산이 1이 되도록 정규화) - 학습속도 개선 - 초기값에 크게 의존하지 않음 - 오버피팅 억제 배치 정규화를 적용한 것만으로도 정확도가 빠르게 좋아지게 됨. 오버피팅 학습 데이터에 대해서 너무 맞춰서 학습이 된 경우를 말한다. 새로운 데이터를 넣었을 경우에는 정확도도 많이 떨어지고 손실도 줄어들지 않는 현상이 생긴다. 오버피팅이 발생하는 경우 : 매개변수가 많고 표현력이 높은 모델, 훈련 데이터가 적음 오버피팅 억제 방법에는 데이터 수를 늘려주는 방법이 가장 쉽고 간단하다. 하지만 데이터를 늘리기 어려운 경우에는 가중치 감소를 적용한다. 가중치 감소 오버피팅이 가중치가 크면 발생활 확..

신경망에서의 학습 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 의미한다. 그렇다면 학습이 제대로 이루어지는 것을 어떻게 확인하는가? 그것은 손실함수를 통해 이루어진다. 즉, 손실함수는 신경망이 학습할 수 있도록 해주는 지표라고 할 수 있고, 학습의 목표는 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이라고 할 수 있다. 데이터 세트 데이터 세트는 훈련 데이터, 검증 데이터, 시험 데이터가 존재한다. 훈련 데이터 : 매개변수 학습을 위한 데이터 검증 데이터 : 하이퍼파라미터 성능 평가를 위한 데이터 시험 데이터 : 신경망의 범용 성능 평가를 위한 데이터 검증 데이터 사용 이유 학습 방법을 결정하는 파라미터를 하이퍼파라미터라고 함.(각 층의 뉴런 수, 배치 ..