본문 바로가기

DEEP LEARNING/Fundamental Concept

RNN 2020. 3. 31. 14:57 RNN (Recurrent Neural Networks) 히든 노드가 방향을 가진 엣지로 연결돼 순환구조를 이루는(directed cycle) 인공신경망의 한 종류 음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델 시퀀스 길이에 관계없이 인풋과 아웃풋을 받아들일 수 있는 네트워크 구조이기 때문에 필요에 따라 다양하고 유연하게 구조를 만들 수 있음 구조 내 weight 값이 항상 같음 (같은 weight를 share함으로써 문장의 길이가 길어도 네트워크 사이즈가 달라지지 않음) 기본구조 현재 상태의 output yt는 input xt와 hidden state인 ht를 전달받아 갱신 state의 활성함수(activation function)은 비선형 함수인 하이퍼볼릭탄젠트(tanh) Langua..
Semantic Segmentation 2020. 3. 30. 17:39 이미지 내의 각 픽셀단위로 배경 및 각 개체의 클래스를 분할하고 동시에 예측 무엇(what)이 있는지 확인(semantic) 뿐 아니라 어느 위치(where)에 있는지(location)도 파악 FCN (Fully Convolutional Networks for Semantic Segmentation) 기검증된 네트워크(AlexNet, VGGNet, CoocLeNet) 등 이용 fully connected layer를 1x1 convolution으로 바꿈으로 네트워크 전체가 convolution층으로 이뤄지게 됨 어떤 크기의 H x W 이미지도 입력될 수 있음 여러 층의 컨볼루션층들을 거치고 난 후의 특성맵(feature map, H/32 x W/32)의 한 픽셀이 입력 이미지(32 x 32)를 대표함으로..
Object Detection 2020. 3. 25. 08:35 객체 탐지(Object detection)은 어떤 객체(Label)가 어디에(x, y) 어느 크기로(w, h) 존재하는지 찾는 Task Classification + Localization(Bounding Box) Classification Localization -> regression 평가: intersection over union Two-stage Method R-CNN : Regions with CNN features 1. Hypothesize Bounding Boxes (Proposals) - Object가 존재할 적절한 위치에 Bounding Box Proposal (Selective Search) - 2000개의 Proposal 생성 2. Resampling pixels / features..
Modern CNN 2020. 3. 10. 16:33 ResNeXt inception이 계속 발달했으므로 이를 적용해 ResNeXtResNet을 발전시켜서 만듦 multi-branch ResNet residual block은 Inception module과 다르게 각 path마다 모두 동일한 구조를 지니며 dimension 모두 같음 split-transform-merge구조 VGG/ResNets의 반복되는 layers 구조를 가짐 Inception module은 hyper parameter가 많기 때문에 디자인하기 어렵다면 ResNeXt는 단순히 몇 개의 path를 사용하는지만 설정하기 때문에 상당히 간편 cardinality (the size of the set of transformations) 똑같은 형태의 빌딩 블록(building block)의 ..
Convolutional Neural Network 2020. 3. 3. 11:22 이미지 인식에서 널리 사용되는 네트워크 convolution, pooling layer → feature extraction fully-connected layer → classification Convolution Convolution filters 필터의 특징이 연산되어 이미지 변형(엠보싱, 엣지, 블러, 샤프닝 등) 딥러닝에서는 특징을 찾아낼 필터를 알아서 학습해서 사용 CNN 동작원리 필터를 이동시켜 특징을 찾음 특징에 대한 점수표가 나옴 다음 layer로 갈수록 더 크게 확장해서 봄 2D Convolutional Layer channel (depth) height, width : filter의 크기 stride : filter이 이동거리 input의 채널 수와 filter의 채널 수는 같아야 함..
Training Neural Networks 2020. 2. 24. 00:18 Activation Functions Sigmoid $f(x) = \frac{1}{1+e^{-x}}$ S 모형 곡선 인간의 뉴런에서 firing 하는 거랑 비슷하다고 여겨짐 (과거, 현재는 relu) 모든 입력을 0에서 1사이의(squashing) 양수로 출력 (학습속도에 영향(느리게 함)) exp계산이 많이 들어가서 속도 느려짐 saturation → kill the gradients (가장 큰 문제) 결과가 0 중심으로 분포하지 않음 (0~1) w가 모두 양수거나 모두 음수가 됨 우상향 방향으로만 움직여야 하므로 지그재그로 움직이고 따라서 학습이 느려짐 배치단위기 때문에 큰 영향은 없음 exp() → compute expensive (결정적인 문제는 아님) Tanh $f(x) = tanh x = \f..
Linear Regression & Logistic Regression 2020. 2. 12. 02:12 Linear Regression 입력값: discrete, continuous한 값을 모두 받아 출력값으로 continuous 한 값 예측 input값을 사용하여 가장 잘 예측하는 선을 찾는 것 (주어진 데이터를 선형함수에 근사) 딥러닝으로는 하나의 퍼셉트론을 이용한 모델 모형의 평가지표 cost function으로 MSE 사용 cost function 최소화시킬 수 있는 weight와 bias를 찾기 위해 미분 회귀분석이란 loss function을 최소화하는 지점, 즉 미분해서 미분값이 0이 되는 지점을 찾는 것 Gradient Descent minimum을 바로 구하지 않고, 현재 loss에 대한 w의 gradient(경사도)를 구해서 gradient x learning rate만큼 w를 업데이트 ..
What is AI? 2020. 2. 2. 04:49 Introduction to Deep Learning & Neural networks History of Deep Learning(AI) 1943: Neural networks 1957-62: Perceptron 1970-86: Backpropagation, RBM, RNN 1979-98: CNN, MNIST, LSTM, Bidirectional RNN 2006: “Deep Learning”, DBN 2009: ImageNet + AlexNet 2014: GANs 2016-17: AlphaGo, AlphaZero 2017-19: Transformers AI 이세돌의 알파고와 Ke jie의 알파고 하드웨어 차이 Dota2 & StarCraft2; 알파고와 다른 점이 상대방이 뭘 하는지 모르며 팀플레이로 진..

티스토리툴바