저복잡도 선박 음향 분류를 위한 적대적 양자화 기반 지식 증류

Abstract

해양 모니터링 시스템으로 선박 음향 분류는 핵심 기술로 주목받고 있다. 하지만, 하드웨어의 성능 제약으로 많은 연산과 전력을 필요로 하는 고성능 복잡한 모델은 실시간 처리가 제한된다. 이때, 특징 기반 지식 증류를 활용하면, 복잡도는 높지만 성능이좋은 teacher모델의 추론과정을 낮은 복잡도의 student모델로 근사화하여 경량화된 모델을 학습할 수 있다. 본 연구는 보다 효율적인 student모델 학습을 위해, 적대적 양자화 기반 지식증류(Adeversarial Quantization Distillation, AQD)을 제안한다. 제안하는 AQD는 생성적 적대 신경망(Generative Adversarial Network)[1]을 적용하여 teacher모델과 student모델 간의 지식증류 방식에 더해 Quantization-Aware Training(QAT)[2,3]으로 student모델을 효율적으로 학습한다. 가장 먼저, AQD 프레임워크를 적용한student모델이 아무런 지식증류나 압축없이 훈련한 FP32 student모델의 Accuracy 와 F1-score 대비 0.72%p, 0.83%p 초과 달성하였다. 이는 AQD 프레임워크가 양자화로 인해 발생하는 노이즈와 Discriminator의 적대적 학습으로 과적합을 방지하며 일반화 성능을 극대화한 것을 입증하였다. 또한, 효율성 측면에서도 AQD 모델이FP32 student모델 대비 모델 크기를 0.63MB 에서 0.28MB 로 55% 감소시켰으며, CPU 추론 속도를 33.80ms 에서 21.10ms 로 1.6배 향상시켰다. 결론적으로, 본 연구에서 제안하는 AQD 프레임워크가 저전력 선박 분류에 있어서 모델의 효율성을 극대화 하면서도 원본 FP32 student모델 보다 높은 정확도를 달성하는 것을 증명하였다. 추후의 연구에서는 다양한 teacher, student모델을 적용하고 더 나은 효율성과 성능으로 개선할 계획이다.