Edge AI 강의 노트

Edge AI

모델 경량화 (Model Compression)

• SW적으로 Edge AI를 달성하는 것을 배운다.
• 모델 경량화 기법:
  • 모델 구조 최적화
  • 가지치기 (Pruning)
  • 양자화 (Quantization)
  • 지식 증류

모델 구조 최적화

• Depthwise Convolution

Depthwise Separable Convolution

• Depthwise convolution을 적용한 이후 1x1 convolution을 다시 적용하여 값들을 서로 섞는다.
• 2단계로 나눠서 처리하는 방식.
• 채널의 출력 수 만큼 연산량이 줄어든다.
• 각 채널들은 다른 입력 채널의 값을 알지 못하기 때문에 기존 Convolution보다는 성능이 떨어진다.

MobileNet

• Google에서 제안한 CNN 구조
• 모바일 및 임베디드 환경에서의 실시간 추론을 목표로 설계
• [Depthwise + Pointwise] 블록 구조

Pruning (가지치기)

• Pruning + Fine-tuning 적용하면 기존 모델의 10%만 사용해도 기존의 성능을 낼 수 있다.
• 작은 가중치 값은 모델에 기여도가 낮기 때문에 제거한다.

Tiny ML