머신러닝 개발자의 러닝머신

모델 경량화란? 모델 경량화는 모델의 정확도 손실(accuracy loss)을 기존 모델 대비 최소화하면서 모델의 크기와 연산량을 줄이는 기술이다. 이를 통해 요구되는 메모리와 에너지, 연산량을 줄여 학습, 추론의 효율성을 높인다. 모델 경량화의 필요성 딥러닝 네트워크가 매우 깊은 layer의 구조와 수백MB를 넘는 많은 파라미터를 가지기 때문에 학습 과정뿐만 아니라 추론 시에도 많은 양의 연산이 필요하다. 이는 실시간 처리가 필요한 응용 애플리케이션, 모바일 환경, 온디바이스 등과 같이 사용 가능한 자원에 제한이 있는 경우 필요한 자원이 부족한 경우가 있다. 이러한 경우에 더 적은 연산량으로 추론할 수 있도록 해야 한다. 1. Neural Network Pruning (가지치기) Neural Netwo..

인공 신경망(Artificial Neural Network, ANN)이란? 인공 신경망은 사람의 되 속 뉴런의 작용을 본떠 패턴을 구성한 컴퓨팅 시스템의 일종이다. 쉽게 말해, 인공 신경망은 학습할 수 있는 수학적 모델로, 가중치를 적용한 방향성 그래프라고 생각하면 된다. 인간의 뇌 기본 구조인 퍼셉트론에서부터 다층 퍼셉트론인 다층 인공 신경망까지 인공 신경망에 포함되는 개념이다. 퍼셉트론(Perceptron) 인공 신경망 퍼셉트론 인공 신경망은 가장 단순한 유형의 인공 신경망으로, 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이다. 퍼셉트론의 구조는 다음과 같으며 x는 입력값, w는 가중치, y는 출력값이다. 입력값 x는 각각의 가중치 w와 함께 인공 뉴런에 전달된다. 이때, 각각의 입력값에 각각..