목록하이퍼볼릭탄젠트 (1)

머신러닝 개발자의 러닝머신

[딥러닝] 활성화 함수(Activation Function)

활성화 함수란? 활성화 함수는 전달 함수에서 전달받은 값을 출력할 때 일정 기준에 따라 출력값을 변화시키는 비선형 함수이다. 활성화 함수는 모델의 복잡도를 올리고 퍼셉트론의 비선형 문제를 해결하지 못하는 한계를 극복하기 위해 사용된다. 이를 통해 인공 신경망을 깊이 쌓으며 고성능에 도달할 수 있는 구조를 만들어준다. 그 이유는 만약 활성화 함수가 선형 함수 f(x) = ax 라고 한다면, 3층의 인공신경망의 출력은 f(f(f(x))) = cx 로 선형 출력만 가능할 뿐, 데이터의 비선형적인 관계를 표현할 수 없고 아무리 여러 층의 신경망을 쌓아도 결과적으로 한 층의 신경망 구조가 나타내는 출력과 다르지 않다. 따라서 비선형 함수인 활성화 함수 덕분에 인공 신경망을 깊게 쌓아 모델의 복잡도를 올려 더욱 어..
ML.AI/ML, DL 2023. 5. 4. 12:44
이전 Prev 1 Next 다음