제주 탈출 일지

1.신경망에서 학습이란 - 학습이란? : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 - 학습의 목표 : 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것 - 학습 지표 : 손실 함수 2. 활성화 함수 - 시그모이드 기울기 소실 : 오차역전파법에 의해 시그모이드 함수의 미분값을 곱해나가면 역전파의 기울기가 작아지다가 사라짐 Xavier 초기값 사용 시 각 층의 활성화 값이 고루 분포된다. - ReLu : 0보다 작을때는 0으로 0보다 클때는 x로 ReLu 함수는 He 초기값을 활용한다. 3. 출력층 함수 회귀 : 항등 함수 분류 : 2클래스 분류 -> 시그모이드, 다중 클래스 분류 -> 소프트맥스 4. 데이터 세트 - 훈련 매개변수 학습 - 검증 하이퍼파라미터 성능 ..

이전 소셜 네트워크 분석1에서는 소셜 네트워크에 대해 이해할 수 있도록 개념들을 간단하게 정리해보았다. 이번 포스팅에서는 그래프를 R에서 그리는 방법들에 대해서 포스팅하도록 하겠다. 간단한 그래프 작성 (1)간단한 무방향 그래프 library(igraph) g

소셜 네트워크 분석 전에 알아야 할 내용 먼저 네트워크란 다수의 점과 점들을 연결하는 다수의 선으로 구성된 망이다. 여기서 점을 그래프에서의 노드 혹은 정점(vertex)라고 하고 선을 링크 또는 엣지(edge)라고 한다. 네트워크에는 방향성이 있는 방향 네트워크, 방향이 없는 무방향 네트워크가 있다. 소셜 네트워크란 액터 간 사회적으로 연결된 망을 말한다. 즉, 액터 간 상호의존적 관계에 의해 만들어지는 사회적 관계 구조를 말한다. 소셜 네트워크 분석이란? 소셜 네트워크 분석은 소셜 개체들 간의 사회적 관계를 구조적으로 분석하여 내재된 관계를 파악하는 것이다 (사회 연결망 분석이라고도 한다.) 그래프 1. 그래프의 정의 그래프 G란 개체를 나타내는 정점 V와 개체를 연결하는 엣지 E의 집합이다. 2. ..

오랜만에 R 관련 포스팅을 진행하는 것 같다. 하지만 이전에 했던 wordcloud 예제와 크게 다르지 않다. 이 과정을 전처리 + 시각화로 나누어 본다면, 시각화는 동일한 형태인 것이다. 그럼 시작하겠다. 아래 코드는 전체 코드이다. library(httr) library(stringr) library(XML) library(RCurl) library(KoNLP) library(wordcloud2) setwd("C:\\Rwd") client_id = "api id를 입력해주세요." client_secret = "api secret key를 입력해주세요." api_url = "https://openapi.naver.com/v1/search/blog.xml" query = URLencode(iconv("이..

+ github 링크 : https://github.com/zdlghtjdz/healthcheckup_guide zdlghtjdz/healthcheckup_guide Contribute to zdlghtjdz/healthcheckup_guide development by creating an account on GitHub. github.com 후기 별거 없는 것 같지만 그래도 할만큼 했으니 후회는 없다. 나름대로 많은 도움이 되었고, 좋은 경험이었다. 다음은 안드로이드 개발을 해보고 싶다.

현재 상황 1. AWS 기초 서버 세팅, FLASK를 활용한 API 서버 구축 완료 - 코드 계속 수정중. 2. Nugu Play VUX 플로우 기초 공사 완료. (현재 API 서버와 통신하여, 생년월일과 성별을 알면 어떤 건강검진에 해당되는지 알 수 있다.) 3. 상세 기획서 초안 작성 완료 4. 서비스 기획서 초안 완료(다른 팀원이 진행중) 남은 작업 1. API 서버 데이터베이스 구축 및 코드 작성 2. Nugu Play 등록 및 서비스 정확도 개선 3. 상세 기획서 완료 4. Github에 저장소 등록 후, README 작성. 후기 빨리 이거 끝내고 다른 작업을 하러....가고 싶다.

소잃고 외양간을 고치게 되었다. 준비를 나름 한것이 문제였다. 다음에는 열심히 준비해야 한다. 꼼꼼하게! 그래도 외양간을 일단 고쳐야 다음에 소를 키우게 될 수 있는법이니.. (대체적으로 xpath문제를 못풀었다. 4번 이외에는 크게 어려웠던 문제는 없었다.) - 천천히 업데이트 예정 - 1. 네이버의 실시간 검색어 순위 20위까지 크롤링 1-1) css selector 기능을 활용하여 크롤링하고 다음과 같은 형태로 표시하고 데이터프레임으로도 저장하라 1-2) xpath를 이용해서 위의 과정을 수행하라 2. 카카오(daum) 포털의 웹툰 만화 이름 저자를 크롤링하고 데이터로 저장하라. 3.data.go.kr의 국토교통부 아파트 매매 실거래가데이터를 open API를 이용해서 수집하고 분석해보자. 3-1)..

배치 정규화 각 층의 활성화 값을 적당히 퍼뜨리도록 강제. 미니배치 단위로 정규화 작업을 진행(데이터 분포가 평균 0, 분산이 1이 되도록 정규화) - 학습속도 개선 - 초기값에 크게 의존하지 않음 - 오버피팅 억제 배치 정규화를 적용한 것만으로도 정확도가 빠르게 좋아지게 됨. 오버피팅 학습 데이터에 대해서 너무 맞춰서 학습이 된 경우를 말한다. 새로운 데이터를 넣었을 경우에는 정확도도 많이 떨어지고 손실도 줄어들지 않는 현상이 생긴다. 오버피팅이 발생하는 경우 : 매개변수가 많고 표현력이 높은 모델, 훈련 데이터가 적음 오버피팅 억제 방법에는 데이터 수를 늘려주는 방법이 가장 쉽고 간단하다. 하지만 데이터를 늘리기 어려운 경우에는 가중치 감소를 적용한다. 가중치 감소 오버피팅이 가중치가 크면 발생활 확..

신경망에서의 학습 학습은 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 의미한다. 그렇다면 학습이 제대로 이루어지는 것을 어떻게 확인하는가? 그것은 손실함수를 통해 이루어진다. 즉, 손실함수는 신경망이 학습할 수 있도록 해주는 지표라고 할 수 있고, 학습의 목표는 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이라고 할 수 있다. 데이터 세트 데이터 세트는 훈련 데이터, 검증 데이터, 시험 데이터가 존재한다. 훈련 데이터 : 매개변수 학습을 위한 데이터 검증 데이터 : 하이퍼파라미터 성능 평가를 위한 데이터 시험 데이터 : 신경망의 범용 성능 평가를 위한 데이터 검증 데이터 사용 이유 학습 방법을 결정하는 파라미터를 하이퍼파라미터라고 함.(각 층의 뉴런 수, 배치 ..

인공신경망(人工神經網, 영어: artificial neural network, ANN)은 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. - 위키피디아 인공신경망 개요 딥러닝에서의 인공신경망은 그림과 같은 요소들로 되어 있다! 데이터를 입력(input)에 넣게 되면 어떤 가중치를 곱하여 모두 더하고, 그 값을 활성화 함수에 넣게 된다. 활성화 함수에서 나온 출력이 Output으로 나오고 있는 것을 볼 수 있다. 인공신경망은 이 노드를 하나의 층이라고 부른다. 다음 그림에서 입력층은 단순히 데이터를 넣는 것을 입력층이라고 표현한 것이기 때문에, 히든레이어 2층 그리고 출력층으로 이루어진 3층 신경망이다. 입력층부터 시작해서 화살표들이 뻗어나..