[ART] adversarial_training_mnist.ipynb 코드 분석

✅ 코드 : 

https://github.com/Trusted-AI/adversarial-robustness-toolbox/blob/main/notebooks/adversarial_training_mnist.ipynb

GitHub - Trusted-AI/adversarial-robustness-toolbox: Adversarial Robustness Toolbox (ART) - Python Library for Machine Learning S

 

Load prereqs and data

각종 모듈 import 및 load_dataset()을 이용해 MNIST 데이터셋을 불러오는 과정은 여러 사이트에서 확인 가능한 MNIST 예제와 동일

 

 

Train and evaluate a baseline classifier

 

path = get_file('mnist_cnn_original.h5', extract=False, path=config.ART_DATA_PATH,
                url='https://www.dropbox.com/s/p2nyzne9chcerid/mnist_cnn_original.h5?dl=1')
classifier_model = load_model(path)
classifier = KerasClassifier(clip_values=(min_, max_), model=classifier_model, use_logits=False)

1. classifier_model = load_model(path)

path에서 지정한 모델을 가져오겠다는 의미이다. 'mnist_cnn_original.h5' 모델을 쓰겠다는 뜻인데 저 모델 구조를 확인하고 싶었는데 h5 파일 읽기가 어려워서 포기..ㅎ

 

대신 original이라는 키워드, tensorflow를 import 한 점을 생각해 TensorFlow MNIST 예제를 찾아봤다. flatten 레이어 전까지 각 층의 output shape가 TensorFlow 공식 사이트 예제와 동일한 것으로 봐서 해당 모델의 구조를 참고한 것 같다.

 

✅ 코드(TensorFlow MNIST 예제) : https://www.tensorflow.org/tutorials/images/cnn?hl=ko

합성곱 신경망  |  TensorFlow Core

 

# adversarial examples 생성
attacker = FastGradientMethod(classifier, eps=0.5)
x_test_adv = attacker.generate(x_test[:100])

1. x_test_adv = attacker.generate(x_test[:100])

FGSM 방법으로 100개의 adversarial example을 생성한다. FastGradientMethod 클래스의 generate 메소드는 adversarial example을 가지고 있는 배열을 반환한다. 

 

🧐 x_test_adv 확인을 위한 간단한 코드 추가

adversarial example이니까 예측을 잘못 할 줄 알았으나! 제대로 한 것이 의문. 이렇게 나오는 게 맞는지 잘 모르겠다.

100개의 adversarial examples에 대해 제대로 분류한 경우가 훨씬 많긴 한데 이미지에 perturbation이 들어가있는건가,,?

 

 

Adversarially train a robust classifier

일단 robust classifier에 대해 내가 이해한 내용은 adversarial example에 대해서도 제대로 된 분류를 하는 classifier이다.

(아직 AI보안 관련 개념 정립이 완벽하게 되지 않은 상태라 잘못된 이해일 수 있습니다. 틀린 내용일 경우 댓글로 남겨주세요!)

 

# 첫번째 dense layer의 유닛 수를 제외하고 위에서 사용한 모델과 구조 동일
path = get_file('mnist_cnn_robust.h5', extract=False, path=config.ART_DATA_PATH,
                url='https://www.dropbox.com/s/yutsncaniiy5uy8/mnist_cnn_robust.h5?dl=1')
robust_classifier_model = load_model(path)
robust_classifier = KerasClassifier(clip_values=(min_, max_), model=robust_classifier_model, use_logits=False)

 

(좌) baseline classifier (우) robust classifier

 

attacks = BasicIterativeMethod(robust_classifier, eps=0.3, eps_step=0.01, max_iter=40)

# We had performed this before, starting with a randomly intialized model.
# Adversarial training takes about 80 minutes on an NVIDIA V100.
# The resulting model is the one loaded from mnist_cnn_robust.h5 above.

# Here is the command we had used for the Adversarial Training

trainer = AdversarialTrainer(robust_classifier, attacks, ratio=1.0)
trainer.fit(x_train, y_train, nb_epochs=83, batch_size=50)

1. attacks = BasicIterativeMethod(robust_classifier, eps=0.3, eps_step=0.01, max_iter=40)

BasicIterativeMethod는 FGM과 FGSM의 Iterative version을 구현해놓은 것이다. ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD라는 논문에서 Basic Iterative Method에 대한 내용이 나오는데 이 논문은 이번주 중으로 읽어봐야겠다.

 

2. trainer = AdversarialTrainer(robust_classifier, attacks, ratio=1.0)

art/defences/trainer → adversarial_trainer.py

 

adversarial_trainer 클래스는 모델 구조와 하나 이상의 공격 방법에 기반하여 adversarial training을 수행하는 클래스-

라고 되어 있는데 주석으로 달린 설명을 그대로 파파고에 넣어서 나온 문장이고 아직 이해 불가 🙂 이번에는 파라미터만 간단하게 살펴보도록 한다.

 

◽ classifier : adversarially train을 적용할 모델 

◽ attacks : adversarial training에서 data augmentation을 위해 사용할 공격 방법

◽ ratio : 각 batch에서 adversarial counterparts로 대체할 샘플의 비율. 1이면 adversarial samples에 대해서만 학습을 한다는 의미

 

 

✅ 원본 코드에서는 train 관련 코드 두 줄이 주석 처리되어 있다. NVIDIA V100 기준 학습 시간이 80분이었다는데 연구실 컴퓨터(NVIDIA GeForce RTX 3090)로 한 6시간+a 걸릴 것 같다. (83 epochs 중에 25 epochs까지 오는 데에 2시간 정도 걸렸고 아직 돌아가는 중)

 

 

Evaluate the robust classifier

Evaluate baseline classifier 부분과 큰 차이가 나는 부분은 없다.