적대적 공격 개념 및 유형

 

💬 개인이 여러 자료를 참고하면서 이해한대로 정리한 내용입니다. 오타나 옳지 못한 정보가 있을 경우 댓글로 알려주세요 🙂

 

Adversarial Attack | 적대적 공격

구글링해보니까 적대적 공격의 개념을 크게 두 가지로 정의할 수 있는 것 같다. 두 개 다 말하고자 하는 바는 동일한 것으로 이해했고 표현의 차이가 아닐까 싶다.

 

1. 딥러닝 모델이 있을 때 주어진 데이터에 Adversarial perurbation을 적용하여 Adversarial example을 생성하고, 모델이 Adversarial example에 대해 오분류를 일으키게 하는 공격 방법.

(KISA REPORT, 정보통신기획평가원 적대적 머신러닝 기술 동향에서 일부 발췌)

 

2. 머신러닝 알고리즘 자체의 취약점에 의해 적대적 환경에서 발생할 수 있는 보안 위험

(LG CNS 블로그에서 발췌)

 

◽ targeted attack : 특정 클래스 레이블로 오인식을 유도하는 공격 (특정 클래스 레이블 > 오인식)

예) 판다 이미지를 타조 이미지로 인식하게 하는 것이 목표

 

◽ untargeted attack : 단순 오인식을 유도하는 공격 ( 특정 클래스 레이블 < 오인식)

예) 판다 이미지를 판다를 제외한 다른 어떤 이미지로 인식하도록 만드는 것이 목표

 

Evasion Attack | 회피 공격

입력 데이터에 perturbation을 추가하여 모델을 속이는 공격 방법으로, 데이터에 추가되는 perturbation은 맨눈으로 구별하기 힘든 노이즈다. 아래 사진을 보면 오른쪽의 팬더 사진은 변조되었음에도 불구하고 육안으로 봤을 때는 원본과 차이가 없어보인다.

 

개인적으로는 모델이 정답을 피해가게 만드는 공격이기 때문에 회피 공격이 아닐까? 라고 생각했다.

출처: Ian J. Goodfellow et al. "Explaining and Harnessing Adversarial Examples"

 

Poisoning Attack | 중독/오염 공격

학습 데이터에 의도적으로 악의적인 데이터를 주입하는 공격 방법이다. 회피 공격과 다르게 모델의 학습 과정을 공격해서 모델에게 영향을 준다는 특징이 있으며 마이크로소프트사의 인공지능 챗봇 '테이(Tay)'가 대표적인 사례이다. 

 

Inversion Attack | (모델) 전도 공격

모델에 쿼리를 계속 던졌을 때 나오는 결과를 분석해 모델 학습에 사용된 데이터를 추출하는 방법. 머신러닝 모델이 입력에 대한 분류 결과와 신뢰도를 함께 출력한다는 점을 이용해 출력값으로부터 학습 데이터를 복원해내는 방식이다.

 

Extraction Attack | (모델) 추출 공격

Inversion Attack과 동일하게 머신러닝 모델에 쿼리를 던져 나온 결과를 분석하지만 학습 데이터를 추출하는 것이 아니라 모델 자체를 알아내는 공격 방법이다. 쿼리를 많이 던지면서 공격 대상인 모델과 유사한 모델을 만들어 낸다.

 

참고 자료

LG CNS, "적대적 공격", https://blog.lgcns.com/2191

BLOTER, "적대적 공격 유형", https://www.bloter.net/newsView/blt202011110014

KISA REPORT. (2020). 인공지능(AI) 기반의 정보보호 기술 동향