이 포스팅에서 다룰 논문은 2020년에 나온 "GANprintR: Improved Fakes and Evaluation of the State-of-the-Art in Face Manipulation Detection"이라는 논문이다. Introduction DeepFake와 같은 digitial manipulation을 통해 이미지나 비디오 상의 사람 얼굴을 조작하는 기술이 등장함에 따라서 이를 악용하는 사례가 발생해왔고, 이에 대해 많은 사람들은 우려를 표하고 있다. 특히나 일반 대중들도 공개된 얼굴 이미지 데이터 베이스 등에 쉽게 접근할 수 있기 때문에 이러한 문제는 더욱 커질 수밖에 없는 상황이다. 이에 대한 대응으로 fake 이미지 또는 비디오를 판별해내려는 연구 역시 함께 진행이 되고 있는데,..

Motivation 이미지 분류 문제를 풀면서 딥러닝 모델이 과연 어떤 정보에 기반하여 이러한 분류 결과를 냈을까라는 궁금증을 가질 수 있다. 아래의 그림은 "Visualizing and Understanding Convolution Networks"라는 논문에서 가져온 것으로, 완전히 학습된 모델에서 각 layer의 feature map을 시각화 한 것이다. 이와 같은 이전 연구들에서는 CNN 모델의 얕은 층에서는 대상의 edge와 같은 간단한 정보를 찾아내고 깊은 layer에서는 보다 고차원적인 feature를 추출한다는 것을 밝혀냈지만, 모델이 어떤 정보를 통해서 최종적인 분류 결과를 냈는지는 알 수가 없다. Classification 문제를 풀기 위해 모델을 학습하는 동시에 input 이미지의 중..

Motivation: 딥러닝 학습시에 왜곡된 이미지를 데이터셋으로 활용하려면 어떻게 해야할까? 이미지의 왜곡을 자동으로 disentangle 해줄 수는 없을까? Introduction 기존 CNN의 한계 CNN은 spatially invariant하지 못하다. 즉 scale, rotation, translation과 같은 위치/공간 상의 변화에 대해서 제대로 대응하지 못한다. Local max pooling을 통해서 이러한 점을 어느 정도 완화할 수도 있지만 pooling size가 작을 수록 그 효과는 미미해진다. 이를 해결하기 위한 것이 Spatial Transformer! Pooling layer와의 차이점은? Pooling layer는 pooling size가 fix 되어 있고 그 범위가 매우 한..

1. 특정 언어 및 IntelliSense 지원 C/C++: 정말 이건 없으면 복잡한 시스템 개발 못함... Python vscode-cudacpp etc... 2. 시각화 관련 Beautify Date & Time: 보통 맥에서 full-screen 모드로 작업해서 시간을 보려고 화면 넘기는 게 귀찮은데 우측하단에 날짜/시간을 보여줘서 좋음 Dracula Official: 가장 선호하는 theme color Highlight Line: 현재 커서가 놓인 라인이 아주 잘 보여서 꼭 필요! Indent-rainbow (눈 아퍼서 잘 안 쓰게 되는 듯) Resource Monitor: 배터리, CPU clock, memory 사용량 등 시스템 정보를 하단바에 항상 보여줘서 시스템 모니터링에 좋음. htop을..

행렬 A: M x K 행렬 B: K x N 행렬 C: M x N 이 글에서는 OpenCL에서 $C = A \times B$를 효율적으로 계산하는 방법에 대한 내용을 다룬다. 총 4가지 버전의 구현이 있으며 설명 순서대로 incrementally 성능이 개선된다. 이 글은 https://cnugteren.github.io/tutorial/pages/page1.html의 많은 내용을 참고해서 작성 되었다. (이 글에서 사용한 행렬곱을 시각화한 그림은 모두 위의 링크에서 가져왔다.) OpenCL 없는 구현 1. naive version 가장 일반적으로 생각 해낼 수 있는 행렬곱 구현이다. for (int i=0; i

페이스북 AI 리서치 팀이 2020년도 CVPR에 발표한 논문이다. 기존의 NAS(Neural Architecture Search) 계열 논문들은 고정된 design space 내에서 최적의 뉴럴넷 인스턴스를 찾기 위한 탐색을 하는 것이 일반적이었다. 하지만 이 논문에서는 상당히 새로운 패러다임의 AutoML 방식을 제시한다. 바로 NAS와 같이 개별 네트워크 인스턴스 하나를 찾는 것이 아니라 design principle 자체를 탐색하는 것이다! Introduction LeNet => AlexNet => VGG => ResNet과 같이 뉴럴넷이 발전해온 과정을 보면, 뉴럴넷 모델의 점진적인 발전은 연구자들이 성능 개선에 도움이 될 법한 insight를 얻은 뒤에 그러한 insight를 잘 반영할 수 있..