NA-Search: Differentiable Search of Normalization and Activation
Abstract
본 연구에서는 온디바이스 환경에서 요구되는 효율성과 경량 설계를 동시에 달성하기 위해 정규화-활성화 연산을 대상으로 하는 새로운 미분 기반 신경망 구조 탐색 프레임워크인 NA-Search를 제안한다. 기존 미분 가능한 신경망 구조 탐색 방법은 탐색 과정에서 모든 후보 연산을 평가하여 계산 및 메모리 오버헤드를 발생시키며, 자원 제약이 있는 장치에서의 적용성을 제한한다. 이러한 한계 해결을 위해 NA-Search는 정규화-활성화 조합을 중심으로 탐색 공간을 재구성하고, 단 k 개의 후보만 선택하는 k-샘플링 전략을 적용함으로써 신경망 평가의 계산 및 메모리 비용을 크게 줄일 수 있다. CIFAR-10 데이터셋 실험 결과, 제안된 모델은 단 0.124M 매개변수로 89.75% 정확도를 달성하여 정확도-효율성 측면에서 널리 사용되는 경량 신경망을 능가할 수 있었다. 추가적인 분석을 통해 탐색 중 k 값 조정이 안정성 향상과 최종 성능 개선에 기여함을 확인하여, 제안된 샘플링 기반 탐색 설계의 효과성을 입증하였다.
Fields of Study & Subjects
Advanced Neural Network Applications
Machine Learning and Data Classification
Neural Networks and Applications
Publication details
- Journal / source
- Journal of the Korea Society of Computer and Information
- Volume
- 31
- Issue
- 1
- Pages
- 59–68
- Publication date
- 31 January 2026
- Language
- EN