머신러닝 개발자의 러닝머신

0. 모델 성능 평가를 수행하는 이유 모델 성능 평가는 모델을 학습하고 최적의 모델을 만들어가는 과정에서 필수적입니다. 올바른 성능 평가가 이루어져야 모델의 완성도를 측정하고 학습 데이터에 과적합되지 않은 최적의 모델을 판단할 수 있습니다. 모델을 만드는 이유는 주어진 데이터를 학습하여 알려지지 않은 데이터/상황에 대한 예측을 수행하기 위함입니다. 따라서 이를 위해 다양한 알고리즘으로 모델을 학습하고 현재 데이터에서 최적의 성능을 보이는 모델을 찾아갑니다. 이렇게 학습 데이터에서 최적의 성능을 보이는 모델을 찾았다면, 이 모델이 실제로 알려지지 않은 새로운 데이터에 대해서도 예측을 잘 수행하는지를 평가해서 해당 모델을 최종적으로 선택할 지를 결정합니다. 이를 위해 데이터, 태스크의 목적에 따라 다양한 평..

안녕하세요 😄 오늘은 교차검증과 가장 많이 사용되는 k-fold 기법에 대해서 알아보겠습니다. 데이터의 편향을 고려해 이를 방지하고 검증의 신뢰를 높이기 위한 방법인데요, 자세한 원리와 구조에 대해 알아보겠습니다.~ 교차검증이란? 교차검증이란 데이터를 반복해서 여러 모델을 학습하여 모델의 성능을 평가하는 방법입니다. 조금 더 쉽게 말하자면 모델의 파라미터를 수정하는 과정에서 validation 데이터를 이용해 모델의 성능을 평가하게 되는데, test set을 제외한 전체 데이터에서 validation과 train 데이터를 달리 하면서 학습과 평가를 진행하여 모델의 성능을 평가하는 방법입니다. K-fold Cross Validation은 이러한 교차검증 방법론 중에 하나로, 가장 많이 사용하는 기법입니다...

/ 안녕하세요-🤓 오늘은 "회귀"의 개념과 선형 회귀, 로지스틱 회귀에 대해서 알아보겠습니다. 분류 문제에 주로 사용되는 로지스틱 회귀가 왜 연속 변수의 값을 예측하는 회귀의 문제인지 헷갈리는 일이 많이 많습니다. 그래서 회귀란 무엇인지, 선형회귀, 로지스틱 회귀의 비교, 로지스틱 회귀의 파라미터 추정과 결과 해석까지 알아보겠습니다. / 회귀(Regression)란? 회귀란 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법입니다. 즉, 독립변수와 종속변수 간의 상관관계를 모델링하여 알려진 데이터를 이용해 미래의 사건을 예측하는 방법입니다. 선형 회귀 (Linear Regression) 선형 회귀는 주어진 데이터 집합 X에 대해 종속변수 Y 사이의 관계를 선형식으..

인공신경망의 학습: 순전파와 역전파 딥러닝의 학습은 크게 순전파와 역전파 두 단계로 진행된다. 1) 순전파(Feedforward) 순전파(feedforward)는 네트웨크에 훈련 데이터가 들어와 입력츨-은닉층-출력층을 거쳐 예측값을 계산하기 위해 신경망의 연산이 수행되는 과정이다. 즉, 각 뉴런(노드)이 이전 층의 뉴런에서 수신한 정보에 가중합 및 활성화 함수를 적용해 다음 층의 뉴런으로 값을 전달하는 과정이다. 모든 층의 연산을 거쳐 최종 출력단에서 출력값이 도출된다. 2) 오차 추정 그 다음, 이렇게 순전파 과정을 거쳐 나온 네트워크의 출력을 정답값과 비교해 손실(오차)를 추청한다. 이때, 앞서 포스팅 한 다양한 손실 함수를 적용할 수 있다. -> 손실함수 포스팅 https://eunsun-devel..

손실 함수(Loss Function) 란? 손실 함수는 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이가 나는지를 말하는 지표로, 학습률(learning rate)과 손실 함수의 순간 기울기를 이용해 오차를 최소화 하는 방향으로 인공신경망의 가중치를 업데이트 한다. [경사 하강법] 손실 함수의 값이 클수록 정답과 출력 데이터와의 오차가 크다는 것을 의미하고, 반대로 이 값이 '0'에 가까울수록 완벽하게 추정할 수 있다는 의미이다. 대표적인 손실 함수로는 평균제곱오차(Mean Squared Error, MSE)와 크로스 엔트로피 오차(Cross Entropy Error, CEE)가 있다. 1. 평균 제곱 오차(Mean Squared Error, MSE) 평균 제곱 오차는 가장 많이 쓰이는 손..

활성화 함수란? 활성화 함수는 전달 함수에서 전달받은 값을 출력할 때 일정 기준에 따라 출력값을 변화시키는 비선형 함수이다. 활성화 함수는 모델의 복잡도를 올리고 퍼셉트론의 비선형 문제를 해결하지 못하는 한계를 극복하기 위해 사용된다. 이를 통해 인공 신경망을 깊이 쌓으며 고성능에 도달할 수 있는 구조를 만들어준다. 그 이유는 만약 활성화 함수가 선형 함수 f(x) = ax 라고 한다면, 3층의 인공신경망의 출력은 f(f(f(x))) = cx 로 선형 출력만 가능할 뿐, 데이터의 비선형적인 관계를 표현할 수 없고 아무리 여러 층의 신경망을 쌓아도 결과적으로 한 층의 신경망 구조가 나타내는 출력과 다르지 않다. 따라서 비선형 함수인 활성화 함수 덕분에 인공 신경망을 깊게 쌓아 모델의 복잡도를 올려 더욱 어..

최적화 알고리즘이란? 최적화 알고리즘은 딥러닝 학습과정에서 손실함수의 값을 최소화하는 함수로, 손실을 줄이기 위해 가중치 및 학습률과 같은 신경망의 속성을 변경하는 데에 사용된다. 모델의 가중치를 어떻게, 얼마나, 언제 변경하는 지를 함수에 따라 결정한다. 다음과 같이 다양한 최적화 알고리즘이 있으며 각각의 작동, 장단점을 이해하고 사용하는 것이 중요하다. Adagrad Adam Momentum Nestrov Accelerated Gradient(NAG) RMSProp Gradient Descent Stochastic Gradient Descent(SGD) Mini Batch Stochastic Gradient Descent (MB-SGD) SGD with momentum 1. Adagrad Adagra..

모델 경량화란? 모델 경량화는 모델의 정확도 손실(accuracy loss)을 기존 모델 대비 최소화하면서 모델의 크기와 연산량을 줄이는 기술이다. 이를 통해 요구되는 메모리와 에너지, 연산량을 줄여 학습, 추론의 효율성을 높인다. 모델 경량화의 필요성 딥러닝 네트워크가 매우 깊은 layer의 구조와 수백MB를 넘는 많은 파라미터를 가지기 때문에 학습 과정뿐만 아니라 추론 시에도 많은 양의 연산이 필요하다. 이는 실시간 처리가 필요한 응용 애플리케이션, 모바일 환경, 온디바이스 등과 같이 사용 가능한 자원에 제한이 있는 경우 필요한 자원이 부족한 경우가 있다. 이러한 경우에 더 적은 연산량으로 추론할 수 있도록 해야 한다. 1. Neural Network Pruning (가지치기) Neural Netwo..