1. Cascade RCNN 1.1 Contribution Faster RCNN을 training할 때 positive와 negative를 나누는 기준의 threshold가 0.5였는데 0.5에 대한 background는 아무런 근거가 없었다 그래서 이를 바꿔서 학습해보는 연구가 시행됨 -> Input IoU가 높을수록 높은 IoU threshold에서 학습된 model이 더 좋은 결과를 냄 - IoU threshold에 따라 다르게 학습되었을 때 결과가 다름 - 전반적인 AP의 경우 IoU threshold 0.5로 학습된 model이 성능이 가장 좋음 - 그러나 AP의 IoU threshold가 높아질수록 (ex. AP70, AP90) IoU threshold가 0.6, 0.7로 학습된 model의 ..
Transformer Sequential model의 문제점이 있다 trimmed sequence: 문장의 길이는 항상 달라질 수 있다 (뒤에 몇개가 없거나) omitted sequence: 중간에 몇개가 없을수도있고, 어순이 몇개 없을수도있다. permuted sequence: 중간에 밀려서 순서가 바뀔 수도 있다. transformer는 재귀적이지 않다 Attention이라는 구조를 활용함 입력 seq와 출력seq의 수가 다를 수 있고 입력 도메인과 출력 도메인도 다를 수 있다. Transformer에서 중요한 세가지 n개의 단어가 어떻게 한번에 인코더에서 처리가 되는지 디코더와 인코더 사이에 어떤정보를 주고받는지 디코더가 어떻게 generation 할 수 있는지 encoder는 self attent..
우리가 사용하는 자연어를 컴퓨터가 알아듣게 하려면 word embedding이라는 작업이 필요합니다. word embedding에는 여러가지 시도가 있어왔고 2017년부터 Transformer라는 방법을 기반으로 하고있습니다. Transformer Transformer에 대해 간단하게 설명하겠습니다. 기존에 많이 사용되던 Word2Vec과의 차이점은 output으로 나오는 벡터값이 단어냐 문장이냐 입니다. Word2Vec은 단어에 대한 벡터값이 나오고 Transformer는 문장에 대한 벡터값이 나오게됩니다. 그렇기때문에 Transformer는 문장 맥락에 대한 이해가 가능합니다. 하지만 속도가 느리다는 단점이 존재합니다. 이미지 출처: https://wikidocs.net/31379 Transforme..
