인공지능 보안(AI Security)에서 핵심이 되는 논문들 정리 및 리뷰 요약

  인공지능 분야에는 다양한 연구 분야가 있습니다.

  그 중에서, 인공지능 보안(AI Security) 분야는 주로 인공지능 모델이 가지는 보안 취약점을 해결하기 위한 연구 분야입니다.  최근 이러한 인공지능 보안(AI Security) 쪽에 관심을 가지는 분들이 많습니다.

  실제로 인공지능 보안 분야의 대가 중 한 명인 Carlini가 조사한 내용에 따르면,  이미 2020년 1월 ~ 3월에 아카이브에 올라온 인공지능 보안 관련 논문만 1,000 편이 넘습니다.

 

  참조: https://nicholas.carlini.com/writing/2019/all-adversarial-example-papers.html

A Complete List of All Adversarial Example Papers

  이처럼 나날이 논문 등재 수가 증가하고 있으며, 인공지능 학회들(ICML, ICLR, NIPS, CVPR, ICCV 등) 및 보안 학회들(CCS, S&P, NDSS, USENIX Security 등)에서는 별도의 세션을 마련하여 인공지능 보안 분야의 논문들을 게재하고 있습니다.

  국내에서도 많은 랩들이 인공지능 보안 분야로 들어오고 있는 것으로 알고 있는데요. 다른 분야에 비해서 아직 학습용 자료가 많지 않은 것 같아서, 직독직해 논문 리뷰 컨텐츠를 공유하고자 글을 남깁니다. 다음의 유튜브 링크들은, 제가 인공지능 보안 분야의 논문을 100편여 가량 이상을 읽으면서 '가장 핵심이 되는' 좋은 논문을 몇 가지 추려서 리뷰한 동영상들입니다.

  아래에 제시되어 있는 7가지의 논문만 읽어도, 최신 인공지능 보안 분야의 논문들을 따라오는 데에 어려움이 없을 겁니다. 다만 제가 아래 리뷰를 진행함에 있어서 PPT를 준비하여 발표하는 것이 아니라, 직독직해 방식으로 직접 논문의 내용을 차근차근 읽어나갑니다. 그래서 꼼꼼히 공부해보려고 하시는 분들에게 더 많은 도움이 될 수 있을 것 같습니다.

1. Explaining and Harnessing Adversarial Examples (ICLR 2015)

- Adversarial Examples가 존재하는 이유(뉴럴 네트워크 모델의 선형성)에 대해서 설명
- Adversarial Examples를 빠르게 만드는 방법(FGSM)을 제안

링크: https://www.youtube.com/watch?v=99uxhAjNwps&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=1

2. Towards Evaluating the Robustness of Neural Networks (S&P 2017)

- Norm 기반의 매우 강력한 Adversararial Examples을 만드는 방법(CW Attack)에 대해서 소개
- 기존에 존재하던 방어 기법(Defensive Distillation)의 한계점을 지적하고 뚫음

링크: https://www.youtube.com/watch?v=9kRWHKPyfwQ&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=2

3. Towards Deep Learning Models Resistant to Adversarial Attacks (ICLR 2018)

- Adversarial Examples에 대항하기 위한 효과적인 학습 방법(PGD Adversarial Training) 제안
- 아직까지 살아 남은 몇 안 되는 휴리스틱한 방어 기법

링크: https://www.youtube.com/watch?v=6RBpdAC9nwY&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=3

4. Adversarial Examples Are Not Bugs, They Are Features (NIPS 2019)

- Adversarial Examples을 Non-robust Features의 일종으로 보는 새로운 시각 제시
- Robust Dataset과 Non-robust Dataset을 분리할 수 있음을 보임

링크: https://www.youtube.com/watch?v=Y7O47Kq8pmU&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=4

5. Certified Robustness to Adversarial Examples with Differential Privacy (S&P 2019)

- Differential Privacy의 개념을 이용해, 수학적으로 '증명된' Norm 기반의 방어 방법(Pixel DP) 제안
- 증명론적인 논문 중에서 상당히 읽기 쉬우며 재미있는 논문

링크: https://www.youtube.com/watch?v=ySJUlEVlXfk&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=5

6. Obfuscated Gradients Give a False Sense of Security (ICML 2018)

- 2018년 이전에 등재된 상당수 방어 기법들이 가지는 문제점을 정리 및 지적
- Adversarial Training을 제외한 사실상 대부분의 방어 기법을 뚫음
- 미분이 불가능한 연산을 우회하여 뚫는 BPDA 제안

링크: https://www.youtube.com/watch?v=0O_Bxln9bTw&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=6

7. Constructing Unrestricted Adversarial Examples with Generative Models (NIPS 2018)

- Norm 기반이 아닌 제약 조건이 없는(Unrestricted) 공격을 제안
- 기존에 존재하던 강력한 방어 방법(Adversarial Training, Certifed Defense 등)을 뚫음

링크: https://www.youtube.com/watch?v=IDtaVjJoV4g&list=PLRx0vPvlEmdBQw6kRaod33aUkJ1YHLz3Y&index=7