모델 스케일링

CNN 깊이 또는 너비를 임의로 늘리거나 훈련 및 평가에 더 큰 입력 이미지 해상도를 사용하는 것

• 정확도를 향상 시키지만 일반적으로 지루한 수동 튜닝이 필요함, 최적의 성능을 발휘하지 않음

EifficientNet 제안 방법

• 간단한 복합 계수를 사용하여 보다 체계적인 방식으로 CNN을 확장하는 새로운 모델 스케일링 방법 제안
• 너비, 깊이 및 해상도와 같은 네트워크 dimensions을 임의로 스케일링하는 기존의 접근 방식과 달리 고정된 스케일링 계수 coefficients로 each dimension을 uniformly scales함
• AutoML과 함께 EfficientNets 모델 개발
  • 최고 10배 더 높은 효율로 최첨단 정확도를 능가함
• AutoML

복합 모델 스케일링:CNN을 확장하는 더 좋은 방법

• 네트워크 스케일링의 영향을 이해하기 위해 모델의 다른 차원 스케일링의 영향을 체계적으로 연구
• 개별 차원의 크기를 조정하면 모델 성능이 향상 되지만 가용 리소스에 대한 네트워크의 모든 차원(폭, 깊이 및 이미지 해상도)의 균형을 조정하면 전체 성능이 가장 향상됨

복합 스케일링 방법

• 그리드 검색을 수행하여 고정된 리소스 제약 조건에서 기준 네트워크의 다양한 스케일링 dimensions 사이의 관계를 찾는 것
• 각 차원에 대한 적절한 스케일링 coefficients를 결정함
  • 적용 시 기준 네트워크를 원하는 대상 모델 크기 또는 계산 예산으로 확장함
• 단일 차원을 임의의 크기로 조정하는 기존의 스케일링 방법 b,d 달리 복합 스케일링 방법은 원칙적으로 모든 차원을 균일하게 확장함