deeplearning (20) 썸네일형 리스트형 Optimization - Momentum, RMSProp, Adam 최근 예전에 공부했던 딥러닝 optimization 메커니즘이 조금씩 헷갈리기 시작한다. 그래서 헷갈리던 부분만 조금 정리를 해보려한다. 1. Exponentially Weighted Averages Theta(t) : t 시점의 값 v(t) : Exponentially Weighted Average 지금까지의 값들(여기서는 gradient)의 mean을 구하되 Beta를 1보다 작게(주로 0.9와 1 사이 값) 주어 최근 gradient의 영향을 더 많이 반영하는 mean을 구한다. 이를 알아야 뒤에 나오는 Optimization을 이해할 수 있다. 2. Momentum dW : Loss function에서 W에 대해 편미분한 값 vdw : gradient의 exponentially weighted a.. Graph Convolutional Neural Networks (GCN) 이번 글에서는 Semi-supervised classification with Graph Convolutional Networks - Thomas N. Kipf, Max Welling 라는 논문에서 제시하는 GCN model의 코드를 분석해보고자 한다. 이론적 내용은 논문을 참고하자. 이 논문의 목적은 거대한 그래프에서 노드들 중 아주 일부만 레이블이 달려있을 때 노드를 잘 분류하는 모델을 만드는 것이다. - graph based semi supervised learning 간단하게(?) GCN을 설명하자면 graph에서 node들 중 edge로 연결된 node들 끼리만 연산을 하는 Neural Network이다. 이는 아래의 식으로 쉽게 표현가능하다. 여기서 A는 인접행렬을 의미하고, 가장 아래의 식에.. Gensim Word2Vec Fine-tuning fine tuning은 이미 학습된 레이어의 parameter를 조금씩 수정을 하는 방식으로 이루어진다. 단, finetuning 시 추가되는 데이터의 속성과 양 혹은 레이어의 추가 여부 등에 따라 overfitting을 발생시킬 수 있기 때문에 모델의 기존 purpose와 performance를 그대로 유지하되 몇 가지만 추가할 목적으로 finetuning을 진행하는 것은 옳지 않은 선택일 수 있다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 .. (연습)Multilingual-BERT를 이용해 크롤링한 영화 댓글 감성 분류 하기 #COLAB 1 2 3 4 5 6 7 8 #Crawling test(html 구조 파악하기) import requests from bs4 import BeautifulSoup test_url = "https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&page=1" resp = requests.get(test_url) html = BeautifulSoup(resp.content, 'html.parser') html 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 .. 이전 1 2 3 다음
