바서슈타인 GAN의 수학적 원리와 구조적 개선: 바서슈타인 거리와 가중치 클리핑을 통한 훈련 안정화

릴리안 웡(Lilian Weng)이 정리한 적대적 생성 신경망 기술 자료에 따르면, 기존 생성적 적대 신경망(Generative Adversarial Network, GAN)의 고질적인 수렴 실패와 훈련 불안정 문제를 개선하기 위해 바서슈타인 거리(Wasserstein Distance)를 목적 함수로 도입한 바서슈타인 GAN(WGAN) 알고리즘이 분석되었다. WGAN은 진짜와 가짜 데이터를 이진 분류하던 판별자(Discriminator)를 데이터 분포 사이의 거리를 측정하는 크리틱(Critic) 구조로 전환했다. 기존의 로그 확률 기반 손실 함수를 칸토로비치-루빈스타인 쌍대성(Kantorovich-Rubinstein duality)에 기반한 선형적 차이 계산으로 대체했으며, 모델이 K-립시츠 연속성(K-Lipschitz continuity)을 만족하도록 매 역전파 단계마다 신경망 가중치를 특정 작은 구간으로 제한하는 가중치 클리핑(Weight Clipping)을 핵심 메커니즘으로 채택했다.

이러한 구조적 변화가 대두된 배경에는 기존 GAN이 지닌 게임 이론적 및 기하학적 한계가 자리 잡고 있다. 기존 GAN은 생성자와 판별자가 동시에 서로의 비용을 독립적으로 갱신하며 내시 균형(Nash Equilibrium)을 찾는 비협조적 게임 구조로 설계되었으나, 살리만스(Salimans) 등의 연구에 명시되었듯 두 모델의 매개변수가 서로 반대 부호로 갱신될 때 심각한 진동이 발생하여 수렴을 보장하지 못한다. 여기에 아르조브스키(Arjovsky)와 보투(Bottou)의 연구에 따르면 실제 데이터 분포(p_r)와 생성 데이터 분포(p_g)는 고차원 공간 내부의 저차원 다양체(Manifold)에 밀집되는 특성을 띤다. 예컨대 100차원의 무작위 잠재 변수(z)로부터 4,096차원에 달하는 64x64 해상도의 이미지를 생성할 때, 두 분포의 지지집합(Support)은 고차원 공간에서 서로 겹치지 않고 분리(Disjoint)될 확률이 압도적으로 높다.

두 분포의 지지집합이 분리되면 완벽한 판별자가 쉽게 구성되어 실제 데이터에는 1을, 가짜 데이터에는 0을 완벽하게 부여하게 된다. 이때 기존 GAN의 판별자 최적값은 젠센-섀넌 발산(JS Divergence)에 귀결되며, 지지집합이 겹치지 않는 구간에서 손실 함수가 상수(2 log 2)로 굳어져 기울기가 소실(Vanishing Gradient)되는 딜레마가 발생한다. 실험적으로도 판별자 훈련이 반복됨에 따라 기울기 노름(Gradient norm)이 4,000회 반복 후 최대 5자리(Orders of magnitude)까지 급격히 감쇠하는 현상이 확인되었다. 결국 판별자가 미흡하면 생성자가 잘못된 피드백을 받고, 판별자가 정확해지면 기울기가 0에 수렴해 학습이 정체되며, 다양한 결과물을 만들지 못하고 동일한 출력을 반복하는 모드 붕괴(Mode Collapse)와 객관적인 평가 지표의 결여 문제가 지속되었다.

WGAN은 분포 간 거리 척도를 젠센-섀넌 발산이나 쿨백-라이블러 발산(KL Divergence) 대신 바서슈타인 거리(또는 흙 이동 거리, Earth Mover's Distance)로 교체하여 이 문제를 해결한다. 바서슈타인 거리는 한 확률 분포의 형태를 다른 분포의 형태로 재배치하는 데 소요되는 최소 운송 비용(이동량과 이동 거리의 곱)으로 정의된다. 1차원 균등 분포 예시에서 두 분포가 분리되어 있을 때 KL 발산은 무한대, JS 발산은 log 2라는 미분 불가능한 상수로 고정되는 반면, 바서슈타인 거리는 두 분포 간의 물리적 거리 차이(|θ|)를 그대로 연속적이고 미분 가능한 값으로 유지한다. 따라서 두 데이터 분포가 고차원 공간에서 완전히 겹치지 않더라도 경사하강법을 안정적으로 유도할 수 있는 유의미하고 매끄러운 기울기를 생성자에 제공할 수 있다.

연속 확률 공간에서 모든 결합 분포의 하한을 직접 탐색하는 계산 불가능성을 극복하기 위해, WGAN은 칸토로비치-루빈스타인 쌍대성을 활용해 1-립시츠 연속 함수에 대한 상한(Supremum) 최적화 수식으로 목적 함수를 변환했다. 이로 인해 판별자는 시그모이드 활성화 함수와 로그 손실을 제거하고 실수 형태의 값을 출력하는 크리틱(f_w)으로 재설계된다. 신경망이 K-립시츠 조건을 강제하도록 만들기 위해 매 경사하강법 갱신 직후 가중치 매개변수를 [-c, c], 구체적으로는 [-0.01, 0.01]과 같은 고정된 좁은 구간으로 강제 제한하는 클리핑 방식이 적용되었다. 더불어 학습 안정성을 유지하기 위해 아담(Adam)과 같은 모멘텀 기반 최적화 알고리즘 대신 RMSProp 옵티마이저를 크리틱 학습에 사용하는 방식이 기본 설정으로 권장되었다.

이러한 메커니즘 전환은 신경망 학습을 다루는 개발자 환경에 유의미한 변화를 가져온다. 기존에는 훈련 안정화를 위해 피처 매칭(Feature Matching), 미니배치 샘플 간 유사도를 집계하는 미니배치 판별(Minibatch Discrimination), 매개변수의 급격한 변화를 억제하는 히스토리컬 애버리징(Historical Averaging), 타깃 라벨을 0.9나 0.1로 완화하는 편측 라벨 스무딩, 고정 기준 배치를 활용하는 가상 배치 정규화(VBN), 판별자 입력에 연속 잡음을 주입하는 기법 등 여러 경험적 완화책을 조합해야 했다. 반면 WGAN은 크리틱의 손실값이 실제 데이터 분포와 생성 분포 사이의 바서슈타인 거리에 비례하여 수치화되므로, 손실 함수의 감소 자체가 생성 품질의 향상과 수렴 진행도를 직접 반영하는 정량적 평가 지표 역할을 수행할 수 있게 되었다.

다만 WGAN 역시 설계 자체의 한계와 실무적 제약을 내포하고 있다. 원문의 기술 분석과 원논문 저자진이 직접 밝혔듯이, 가중치 클리핑은 립시츠 연속성을 강제하기 위한 지극히 조악한 우회책이다. 클리핑 윈도우 크기(c)를 너무 크게 설정하면 최적 경계에 도달하기까지의 수렴 속도가 비정상적으로 느려지고, 반대로 너무 작게 설정하면 역전파 과정에서 심각한 기울기 소실이 재발해 학습이 정체되는 민감성을 지닌다. 또한 모멘텀 최적화 도구와의 상충으로 인해 RMSProp으로 선택지가 좁아지는 제약이 뒤따른다. 이에 따라 굴라자니(Gulrajani) 등의 후속 연구(2017)에서는 가중치 클리핑의 한계를 보완하기 위해 기울기 규제항을 도입하는 기울기 페널티(Gradient Penalty) 기반의 WGAN-GP 기법이 후속 대안으로 제시되었다.