머신러닝 개발자의 러닝머신

0. 모델 성능 평가를 수행하는 이유 모델 성능 평가는 모델을 학습하고 최적의 모델을 만들어가는 과정에서 필수적입니다. 올바른 성능 평가가 이루어져야 모델의 완성도를 측정하고 학습 데이터에 과적합되지 않은 최적의 모델을 판단할 수 있습니다. 모델을 만드는 이유는 주어진 데이터를 학습하여 알려지지 않은 데이터/상황에 대한 예측을 수행하기 위함입니다. 따라서 이를 위해 다양한 알고리즘으로 모델을 학습하고 현재 데이터에서 최적의 성능을 보이는 모델을 찾아갑니다. 이렇게 학습 데이터에서 최적의 성능을 보이는 모델을 찾았다면, 이 모델이 실제로 알려지지 않은 새로운 데이터에 대해서도 예측을 잘 수행하는지를 평가해서 해당 모델을 최종적으로 선택할 지를 결정합니다. 이를 위해 데이터, 태스크의 목적에 따라 다양한 평..

안녕하세요 😄 오늘은 교차검증과 가장 많이 사용되는 k-fold 기법에 대해서 알아보겠습니다. 데이터의 편향을 고려해 이를 방지하고 검증의 신뢰를 높이기 위한 방법인데요, 자세한 원리와 구조에 대해 알아보겠습니다.~ 교차검증이란? 교차검증이란 데이터를 반복해서 여러 모델을 학습하여 모델의 성능을 평가하는 방법입니다. 조금 더 쉽게 말하자면 모델의 파라미터를 수정하는 과정에서 validation 데이터를 이용해 모델의 성능을 평가하게 되는데, test set을 제외한 전체 데이터에서 validation과 train 데이터를 달리 하면서 학습과 평가를 진행하여 모델의 성능을 평가하는 방법입니다. K-fold Cross Validation은 이러한 교차검증 방법론 중에 하나로, 가장 많이 사용하는 기법입니다...

/ 안녕하세요-🤓 오늘은 "회귀"의 개념과 선형 회귀, 로지스틱 회귀에 대해서 알아보겠습니다. 분류 문제에 주로 사용되는 로지스틱 회귀가 왜 연속 변수의 값을 예측하는 회귀의 문제인지 헷갈리는 일이 많이 많습니다. 그래서 회귀란 무엇인지, 선형회귀, 로지스틱 회귀의 비교, 로지스틱 회귀의 파라미터 추정과 결과 해석까지 알아보겠습니다. / 회귀(Regression)란? 회귀란 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법입니다. 즉, 독립변수와 종속변수 간의 상관관계를 모델링하여 알려진 데이터를 이용해 미래의 사건을 예측하는 방법입니다. 선형 회귀 (Linear Regression) 선형 회귀는 주어진 데이터 집합 X에 대해 종속변수 Y 사이의 관계를 선형식으..

안녕하세요🤓 오늘은 데이터 밀도 추정 방법으로 많이 사용되는 최대우도법에 대해서 알아보겠습니다.🔎 우도(likelihood, 가능도)란? 최대 우도법은 말 그대로 우도를 최대화하는 지점을 찾는 것을 의미합니다. 이를 이해하기 위해 우도의 개념에 대해 먼저 알아보겠습니다. 우도 (likelihood, 가능도)는 주어진 관측값(데이터)이 특정 확률분포에서 나왔을 가능성을 의미합니다. 즉, 우도는 데이터가 특정 확률모델과 잘 맞는 정도를 말합니다. 우도는 주어진 데이터에 대한 특정 확률 밀도의 값들을 모두 곱한 값으로 정의합니다. 최대 우도법 (Maximum Likelihood Estimation, MLE) 최대 우도법은 앞에서 언급한 것처럼, 주어진 데이터를 가장 잘 설명하는 확률 분포를 찾는 과정으로, 데..

안녕하세요🤓 오늘은 데이터 분석과 머신러닝에서 자주 등장하는 개념인 주성분 분석, PCA에 대해 알아보겠습니다. 주성분 분석(Principal Componet Analysis)이란? 주성분 분석에 대해 이해하려면 주성분이 무엇인지 알아야겠죠? 주성분이란 어떤 방향의 벡터가 가진 방향으로 데이터를 사영시켰을 때, 사영된 데이터들의 분산이 최대화되는 방향벡터를 의미합니다. 이때, 분산은 데이터가 퍼진 정도를 표현하는 통계량으로 분산이 크면 데이터가 평균을 중심으로 흩어져 그 분포를 분석하기에 용이합니다. 반대로, 분산이 작으면 데이터가 평균을 중심으로 밀접해있어 데이터의 중첩이 일어나 데이터의 개개 특징을 파악하기 비교적 어렵습니다. 아래 그림처럼 특정 벡터에 내적한 데이터들(빨간 점)이 왼쪽보다 오른쪽에서..

인공신경망의 학습: 순전파와 역전파 딥러닝의 학습은 크게 순전파와 역전파 두 단계로 진행된다. 1) 순전파(Feedforward) 순전파(feedforward)는 네트웨크에 훈련 데이터가 들어와 입력츨-은닉층-출력층을 거쳐 예측값을 계산하기 위해 신경망의 연산이 수행되는 과정이다. 즉, 각 뉴런(노드)이 이전 층의 뉴런에서 수신한 정보에 가중합 및 활성화 함수를 적용해 다음 층의 뉴런으로 값을 전달하는 과정이다. 모든 층의 연산을 거쳐 최종 출력단에서 출력값이 도출된다. 2) 오차 추정 그 다음, 이렇게 순전파 과정을 거쳐 나온 네트워크의 출력을 정답값과 비교해 손실(오차)를 추청한다. 이때, 앞서 포스팅 한 다양한 손실 함수를 적용할 수 있다. -> 손실함수 포스팅 https://eunsun-devel..

손실 함수(Loss Function) 란? 손실 함수는 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이가 나는지를 말하는 지표로, 학습률(learning rate)과 손실 함수의 순간 기울기를 이용해 오차를 최소화 하는 방향으로 인공신경망의 가중치를 업데이트 한다. [경사 하강법] 손실 함수의 값이 클수록 정답과 출력 데이터와의 오차가 크다는 것을 의미하고, 반대로 이 값이 '0'에 가까울수록 완벽하게 추정할 수 있다는 의미이다. 대표적인 손실 함수로는 평균제곱오차(Mean Squared Error, MSE)와 크로스 엔트로피 오차(Cross Entropy Error, CEE)가 있다. 1. 평균 제곱 오차(Mean Squared Error, MSE) 평균 제곱 오차는 가장 많이 쓰이는 손..

활성화 함수란? 활성화 함수는 전달 함수에서 전달받은 값을 출력할 때 일정 기준에 따라 출력값을 변화시키는 비선형 함수이다. 활성화 함수는 모델의 복잡도를 올리고 퍼셉트론의 비선형 문제를 해결하지 못하는 한계를 극복하기 위해 사용된다. 이를 통해 인공 신경망을 깊이 쌓으며 고성능에 도달할 수 있는 구조를 만들어준다. 그 이유는 만약 활성화 함수가 선형 함수 f(x) = ax 라고 한다면, 3층의 인공신경망의 출력은 f(f(f(x))) = cx 로 선형 출력만 가능할 뿐, 데이터의 비선형적인 관계를 표현할 수 없고 아무리 여러 층의 신경망을 쌓아도 결과적으로 한 층의 신경망 구조가 나타내는 출력과 다르지 않다. 따라서 비선형 함수인 활성화 함수 덕분에 인공 신경망을 깊게 쌓아 모델의 복잡도를 올려 더욱 어..