PyTorch Basics Tensor 다차원 Arrays를 표현하는 Pytorch 클래스 사실상 numpy의 ndarray와 동일(Tensorflow의 Tensor와도 동일) Tensor를 생성하는 함수도 거의 동일 numpy는 ndarray라는 객체를 사용하고 pytorch에서는 tensor라는 객체를 사용 example #numpy - ndarray import numpy as np n_array = np.arange(10).reshape(2,5) print(n_array) print("n_dim:",n_array.ndim, "shape: ",n_array.shape) -> [[0 1 2 3 4] [5 6 7 8 9]] n_dim: 2 shape: (2, 5) ---------------------..
많은 딥러닝 프레임워크가 있었지만 Facebook의 PyTorch와 Google의 Tensorflow가 리더로 자리잡았다. Pytorch와 Tensorflow의 가장 큰 차이점 Pytorch Dynamic Graph backward propagation을 쓸 때 autograd(자동미분)를 할 때 실행시점에서 그래프를 정의한다. computational_graph Define by Run 실행하면서 그래프를 생성한다. 즉시확인(디버깅)이 가능하다 -> pythoninc code Tensorflow Static Graph Define and Run 기법을 사용한다. 그래프를 먼저 정의하는 코드를 작성하고 실행시점에 데이터를 feed시킨다.
Latent Variable Models D.Kingma의 "VariationalInference and Deep Learning: A New Synthesis" 논문을 앞부분 조금 읽어보자 우리가 일반적으로 알고있는 Auto Encoder는 과연 generative model일까? -> 그렇지않다. 무엇때문에 Variational Auto Encoder가 Generative 모델이 될 수 있는지 살펴본다 VAE(Variational Auto - Encoder) Variational inference 목적은: Posterior distribution을 찾는거다. Posterior distribution은 observation이 주어졌을 때 내가 관심있어하는(찾고자하는) random variable의 확률..
과제하고 느낀점 Optimization 성능 비교를 하면서 Adam이 가장 빨리 minimum 값에 도달하는것을 확인할 수 있었다. 이미지또한 시퀀셜한 데이터로 생각할 수 있다는 사실을 알게되었다. 피어세션 정리 이번주 월,화에는 시간이 그냥 흘러간 기분이 들어서 다음주부터는 복습 차원에서 한개씩 전주에 했던 학습 리뷰와 당일에 배운 것들을 같이 정리해보는 시간을 갖기로했다. 학습 회고 GAN이라는 개념과 Transformer라는 개념이 조금 어려웠지만 설명을 잘 해주셔서 계속 되감기로 보며 조금은 이해가됐다. 이번주 주말에 마스터해서 꼭 익히도록 할 예정이다.
Generative Model 우리가 만약 강아지 사진이 있다면 강아지 사진의 분산 p(x)를 예측한다 Generation: (training set에 없는)강아지와 같은 이미지를 여러개를 생성할 수 있다 (sampling) Density Estimation: p(x) 어떤 이미지가 들어왔을 때 강아지같은지, 고양이같은지, 강아지가 아닌것같은지 구분해낸다 (anomaly detection - 이상행동감지) 이러한 모델을 explicit model이라한다. explicit model: 어떤 값이 주어졌을 때 확률값을 얻어낼 수 있는 모델 implicit model: 단순히 generation만 할 수 있는모델 Unsupervised representation learning: 귀가 있는지 등의 특성이있다...
Transformer Sequential model의 문제점이 있다 trimmed sequence: 문장의 길이는 항상 달라질 수 있다 (뒤에 몇개가 없거나) omitted sequence: 중간에 몇개가 없을수도있고, 어순이 몇개 없을수도있다. permuted sequence: 중간에 밀려서 순서가 바뀔 수도 있다. transformer는 재귀적이지 않다 Attention이라는 구조를 활용함 입력 seq와 출력seq의 수가 다를 수 있고 입력 도메인과 출력 도메인도 다를 수 있다. Transformer에서 중요한 세가지 n개의 단어가 어떻게 한번에 인코더에서 처리가 되는지 디코더와 인코더 사이에 어떤정보를 주고받는지 디코더가 어떻게 generation 할 수 있는지 encoder는 self attent..
Sequential Model 몇개의 입력이(이미지, 단어)가 들어오더라도 작동해야함 입력이 몇개 들어왔을 때 다음값을 예측해본다 \begin{equation} p\left(x_{t} \mid x_{t-1}, \ldots, x_{t-\tau}\right) \end{equation} Markov Model (first-order auto regressive model) 위의 문제를 가장 간단하게 해결하는 모델 \begin{equation} p\left(x_{1}, \ldots, x_{T}\right)=p\left(x_{T} \mid x_{T-1}\right) p\left(x_{T-1} \mid x_{T-2}\right) \cdots p\left(x_{2} \mid x_{1}\right) p\left(x_{..
Semantic Segmentation 어떤 이미지가 있을 때 이 이미지를 pixel마다 분류한다 Fully Convolutional Network Fully Convolutional Network로 이미지의 heatmap을 얻을 수 있는 가능성이 생김 Deconvolution (conv transpose) 100 X 100 이미지가 여러개의 Layer를 거쳤기 대문에 10X10으로 줄었기 때문에 이를 다시 펼쳐주는 기술 Conv를 역연산한다. 하지만 엄밀히 말하면 역 연산은 불가능하다. parameter count와 network 입력과 출력은 똑같다. fully connect한 결과로 Deconv한다. Detection 바운딩박스로 영역에 어떤 객체가 있는지를 카테고리해준다. R-CNN 이미지안에서 ..
