Adversarial Examples: 사람 눈에는 안 보이는데 AI는 속는 입력

Adversarial Example(적대적 예제)은 사람이 보기엔 정상 입력과 거의 구별이 안 되지만, 아주 미세한 조작만으로 AI 모델이 완전히 잘못된 판단을 내리게 만드는 입력이다. 이미지 분류 모델이 판다 사진에 사람 눈에는 보이지 않는 노이즈를 살짝 섞었더니 긴팔원숭이로 분류했다는 초기 연구가 이 분야를 대표하는 사례로 자주 인용된다.

왜 이런 게 가능한가

딥러닝 모델은 사람이 인식하는 방식(형태, 색, 질감)으로 판단하는 게 아니라, 학습 과정에서 최적화된 고차원 공간의 결정 경계(decision boundary)를 기준으로 판단한다. 이 경계는 사람의 직관과 다르게 형성될 수 있어서, 결정 경계 바로 근처의 입력을 아주 조금만 밀어도(사람은 인지 못 할 수준의 변화로) 분류 결과가 반대편으로 넘어갈 수 있다. 즉 모델의 "이해"와 사람의 "이해"가 근본적으로 다른 방식이라는 점을 이용하는 공격이다.

공격 방식

White-box (모델 내부를 아는 경우)

모델의 그래디언트(입력이 조금 바뀔 때 출력이 어떻게 바뀌는지)를 직접 계산해서, 분류를 뒤집는 방향으로 최소한의 변화를 정밀하게 찾아낸다. FGSM(Fast Gradient Sign Method), PGD 같은 기법이 대표적이다.

Black-box (모델 내부를 모르는 경우, API만 접근 가능)

모델 내부 그래디언트를 직접 못 쓰므로, 입력을 조금씩 바꿔가며 출력이 어떻게 변하는지 관찰해서 방향을 추정하거나(query-based), 비슷하게 동작하는 대체 모델(surrogate model)을 별도로 학습시켜서 그 모델에서 찾은 적대적 예제가 원본 모델에도 통하는지 시험하는(transfer-based) 방식을 쓴다.

실제 시나리오

• 이미지 분류 우회: 콘텐츠 필터가 특정 이미지(무기, 노출 콘텐츠 등)를 차단하도록 학습되어 있을 때, 사람 눈엔 똑같아 보이는 변형 이미지로 필터를 통과시킴
• 얼굴 인식 우회: 특수하게 디자인된 패턴의 안경이나 프린트를 착용해서 얼굴 인식 시스템을 오작동시키는 물리적(physical-world) 공격 사례도 연구됨
• 자율주행 표지판 오인식: 정지 표지판에 사람 눈엔 낙서처럼 보이는 스티커를 붙였더니 속도 제한 표지판으로 오분류했다는 연구 — 물리적 세계에서의 적대적 공격이 안전과 직결되는 대표 사례
• 스팸/악성코드 탐지 우회: 텍스트나 파일의 특징(feature)을 미세 조정해서 탐지 모델의 정상/악성 판단 경계를 넘김

방어 방법

• Adversarial Training: 적대적 예제를 학습 데이터에 의도적으로 섞어서, 모델이 이런 미세 조작에도 강건하게(robust) 학습되도록 함. 가장 효과적이지만 학습 비용이 늘고 정상 데이터에 대한 정확도가 살짝 떨어지는 트레이드오프가 있다.
• 입력 전처리: 압축, 리사이즈, 노이즈 제거 같은 전처리로 미세한 적대적 노이즈를 어느 정도 씻어내는 방법. 완벽하진 않지만 저비용 완화책.
• 앙상블/이상치 탐지: 여러 모델의 판단을 종합하거나, 입력이 정상 데이터 분포에서 벗어난 이상치인지 별도로 탐지하는 레이어를 추가.
• Certified Defense: 수학적으로 "이 정도 크기의 변형까지는 분류가 절대 안 바뀐다"는 걸 증명 가능한 형태로 보장하는 연구 분야. 실용성은 아직 제한적이지만 가장 근본적인 접근.

이 분야는 공격과 방어가 계속 번갈아 앞서는(arms race) 구조라, "완전히 해결된 방어"는 아직 없다는 점을 전제로 위험도가 높은 분야(자율주행, 생체인증, 의료 진단)일수록 다중 방어 계층을 겹쳐 쓰는 게 실무 접근이다.