shine_hyun shine_hyun

Style GAN A Style-Based Generator Architecture for Generative Adversarial Networks Network - intermediate latent vector 기본 genterator : 생성된 latent vector를 바로 GAN generator에 사용하게되면, train dataset에 entangle하게됨. style gan : 반면 latent vector를 8개의 FC layer에 통과시킨 intermediate latent vector를 사용하므로써, train dataset에 disentangle함 - style vector 본 논문에서는 intermediate vector를 affine transform 통해 style vector..

RNN LSTM GRU Transformer BERT RNN LSTM GRU RNN Transformer BERT 와... 역시 내가 많이 안해본 sequential쪽은 어렵다 그래도 하나씩 차근히 해보면, 사실 엄청나게 어려운 것은 아닐것이다. 겁부터 먹지말자

Convolution Neural Network (CNN) Pretrained CNN Segmentation Object detection 실습 Convolution Neural Network (CNN) Convolution 커널을 이동시키며 Input을 선형모델과 합성시키는 구조. 변환에 이용되는 parameter 수가 적다는 특징이 있다. 예시 32*32*3 --> 28*28*4로 변환시키기위해 4*5*5*3 사이즈의 kernel만 있으면 가능하다. Convolution Neural Network (CNN) CNN은 주로 convolution layer, pooling layer, fully connected layer 로 구성되어있다. Convolution & pooling layer : featu..

Convolution 연산 이해 Covolution back propagation Convolution 연산 이해 convolution 연산의 수학적 의미는 신호( input)를 커널을 이용해 국소적으로 증폭 또는 감소시키는 것을 의미한다. 여기서 f(z), g(z)는 커널이다. 여기서 알수 있듯이 커널은 변하지 않는다. Covolution back propagation 다음과 같은 사이즈가 5인 인풋벡터가 있고, 커널사이즈가 3이라하자. Output은 sigma(Wj Xi+j-1)로 계산이 된다. 이때 W1, W2, W3의 gradient descent를 구해보자. W1에 대해서 구하고자하는 delta L/delta W1 은 다음과 같이 계산이 될 수 있다. 이것을 W1,W2,W3에 대해 모두 반복하면..

Optimization Ensemble Optimizer Regularization Optimization (최적화) 모델을 학습시킬 때, 이 모델이 잘 동작하는가?를 알기위한 몇몇의 개념들 Generalization Unseen data (test data)에서 얼마나 동작하는가 Underfitting vs overfitting Underfitting : 모델이 너무 간단하기 때문에 학습 오류가 줄어들지 않는 현상 Overfitting : 모델이 실제 분포보다 학습 샘플들 분포에 더 근접하게 학습되는 현상 Cross validation 모델의 generalization 을 높이기 위한 방법중 하나. 주로 데이터 셋이 적을때 오버피팅이 나지 않도록 사용하는 경우가 많다. 딥러닝에서는 CV를 통해 최적의 ..

조건부 확률 베이즈 정리 Confusion Matrix Naiive Bayse 조건부 확률 조건부확률 조건부확률 P(A|B)는 사건 B가 일어난 상황에서 사건 A가 일어날 확률을 의미한다. 조건부확률과 인과관계 많은 사람들이 조건부확률을 인과관계로 해석한다. 예를들어 P(A|B) 가 0.9로 높은 확률이라하자. 그렇다면 A와 B는 강한 인과관계를 가지고 있다고 할수 있을까? 아니다. 조건부 확률은 유용한 통계적 해석을 제공하지만, 인과관계를 추론할때 함부로 사용해서는 안된다. 왜냐하면 '중첩요인'에 의해 '가짜 연관성'이 생길수 있다. 예를들어, 치료법 a,b의 완치율에 대한 인과관계를 파악하고자 한다고 하자. (R : 완치(1), A : 치료법 a, B : 치료법 b) 보다싶이 신장 결석 크기에 상관없..

확률변수 확률분포, 결합확률분포 조건부 확률 기댓값 몬테카를로 샘플링 딥러닝에서의 확률론 노랑색 : 내용 추가 (개인적으로 더 알아볼것) 분홍색 : 질문 (이해가 안되는 부분) 파랑색 : 스스로 찾아볼 것 확률변수 확률변수 표본공간 내에 있는 각 원소에 하나의 실수값을 대응 시키는 함수 (확률 변수 == 함수) 확률변수는 1개일 필요가 없다. - 확률변수 1개일때 - 확률변수 2개일때 이산확률변수 확률변수 X가 취할 수 있는 값이 유한하기 때문에 셀 수 있는 확률변수 예시 sample space에 동전을 2번 던져나온 조합들이 있다고 하자. 확률변수 X를 앞면수라고 정한다면, sample space의 데이터는 함수인 확률변수 X 에 의해 실수 값으로 대응된다. 여기서 X가 취할수 있는 값을 셀수 있으므로..

Softmax 활성화 함수 역전파 (backpropagation algorithm) 소프트 맥스 함수 (softmax) 출력벡터에 소프트 맥스 함수를 합성하면 특정 클래스에 속할 확률로 해석할 수 있다. def softmax(output): denum = np.exp(output - np.max(vec,axis=-1, keepdims=True)) num = np.sum(denum, axis=-1, keepdims=True) val = denum/num return val 활성화 함수 선형 함수 여러개가 비선형성을 띌 수 있도록 합성하는 함수 여러 활성함수가 있지만, 믿고 쓰는 Relu.. 선형모델에 활성함수를 합성한 함수를 신경망(perceptron)이라 부른다. 다중 퍼셉트론 (Multi Layer P..