Paper Link: https://arxiv.org/pdf/1608.00367.pdf Image super-resolution(SR) 태스크에서 SRCNN이 좋은 성능을 거두었지만 real-time 서빙을 하기에는 연산 비용이 너무 크다는 문제가 있다. 이 논문에서는 모래시계 모양의(encoder-decoder 구조를 생각하면 된다.) CNN 구조를 활용하여 기존의 SRCNN을 경량화, 가속화하는 것에 중점을 두었다. 이를 위해서 다음과 같은 3가지 방법을 취하였다. DCGAN, pix2pix 등에서 사용하는 transposed convolution(deconv)을 네트워크의 후반부에 활용하여, 저해상도(LR)의 입력 이미지와 고해상도(HR)의 출력 이미지 간의 매핑이 E2E로 학습가능한 네트워크 구조..

이 포스팅에서 다룰 논문은 2020년에 나온 "GANprintR: Improved Fakes and Evaluation of the State-of-the-Art in Face Manipulation Detection"이라는 논문이다. Introduction DeepFake와 같은 digitial manipulation을 통해 이미지나 비디오 상의 사람 얼굴을 조작하는 기술이 등장함에 따라서 이를 악용하는 사례가 발생해왔고, 이에 대해 많은 사람들은 우려를 표하고 있다. 특히나 일반 대중들도 공개된 얼굴 이미지 데이터 베이스 등에 쉽게 접근할 수 있기 때문에 이러한 문제는 더욱 커질 수밖에 없는 상황이다. 이에 대한 대응으로 fake 이미지 또는 비디오를 판별해내려는 연구 역시 함께 진행이 되고 있는데,..

Motivation 이미지 분류 문제를 풀면서 딥러닝 모델이 과연 어떤 정보에 기반하여 이러한 분류 결과를 냈을까라는 궁금증을 가질 수 있다. 아래의 그림은 "Visualizing and Understanding Convolution Networks"라는 논문에서 가져온 것으로, 완전히 학습된 모델에서 각 layer의 feature map을 시각화 한 것이다. 이와 같은 이전 연구들에서는 CNN 모델의 얕은 층에서는 대상의 edge와 같은 간단한 정보를 찾아내고 깊은 layer에서는 보다 고차원적인 feature를 추출한다는 것을 밝혀냈지만, 모델이 어떤 정보를 통해서 최종적인 분류 결과를 냈는지는 알 수가 없다. Classification 문제를 풀기 위해 모델을 학습하는 동시에 input 이미지의 중..

페이스북 AI 리서치 팀이 2020년도 CVPR에 발표한 논문이다. 기존의 NAS(Neural Architecture Search) 계열 논문들은 고정된 design space 내에서 최적의 뉴럴넷 인스턴스를 찾기 위한 탐색을 하는 것이 일반적이었다. 하지만 이 논문에서는 상당히 새로운 패러다임의 AutoML 방식을 제시한다. 바로 NAS와 같이 개별 네트워크 인스턴스 하나를 찾는 것이 아니라 design principle 자체를 탐색하는 것이다! Introduction LeNet => AlexNet => VGG => ResNet과 같이 뉴럴넷이 발전해온 과정을 보면, 뉴럴넷 모델의 점진적인 발전은 연구자들이 성능 개선에 도움이 될 법한 insight를 얻은 뒤에 그러한 insight를 잘 반영할 수 있..

뉴럴넷의 깊이(layer의 수)와 넓이(레이어 당 파라미터 수)가 커질 수록 더 좋은 accuracy를 얻을 수 있다는 건 여러 연구를 통해서 밝혀진 사실이다. 하지만 GPU 메모리의 한계로 인해서 마냥 큰 모델을 만들 수만은 없다. 이 논문에서는 GPU 메모리 한계를 극복하기 위한 한 가지 방법으로 dataflow graph가 주어졌을 때 operator scheduling, memory allocation, swap decision을 자동으로 생성한다. 1. Introduction 이전의 연구들은 GPU 메모리 사용량을 줄이기 위해서 더 적은 floating point precision을 사용하거나, quantization을 통해서 더 sparse한 모델 파라미터를 생성하는 compression 기법..