활성화 함수 개념과 특징 (시그모이드, 소프트맥스, 렐루)

딥러닝 신경망의 기초 개념 중 하나인 활성화 함수에 대해 알아보고,

대표적인 활성화 함수의 종류와 특징에 대해 정리해보았습니다. 

 

활성화 함수란? 

입력 신호의 총합을 출력 신호로 변환하는 함수입니다.

선형의 값이 활성화 함수를 통과하면 비선형으로 변하게 되는데요. 

딥러닝의 핵심이라고도 할 수 있는 은닉층(Hidden Layer)에서 선형적인 산술 계산만 수행한다면

수행 역할이 없는 셈이 되므로 선형 계산을 적당하게 비선형적으로 비틀어 주어야 합니다.

그래야 다음 층의 계산과 단순히 합쳐지지 않고 나름의 역할을 할 수 있기 때문입니다.

 

활성화 함수의 종류

(1) 시그모이드 

시그모이드 함수는 실수 범위의 입력을 (0, 1) 사이의 값으로 압축하는 비선형 함수입니다. 
- 주로 이진 분류 문제에서 사용되며, 로지스틱 함수로도 알려져 있습니다.
- 출력 값이 0.5보다 크면 양성 클래스에 속할 확률이 높다고 해석할 수 있고, 
  작으면 음성 클래스에 속할 확률이 높다고 해석할 수 있습니다.

 

[특징]
1. 입력이 어떤 실수 값이든 (음수든 양수든) 항상 (0, 1) 범위 내의 값을 출력합니다.
2. 입력 값이 크면 1에 가까워지고, 작으면 0에 가까워집니다.
3. 입력이 0일 때, 함수의 값은 0.5가 됩니다.

 

(2) 소프트맥스 

소프트맥스 함수는 입력된 값들을 확률 분포로 변환해주는 함수입니다. 
- 일반적으로 다중 클래스 분류 문제에서 출력층의 활성화 함수로 사용됩니다.
- 소프트맥스 함수는 입력된 값들을 모두 양수로 변환한 뒤, 모든 값을 합치면 1이 되도록 정규화합니다. 
- 이로써 각 클래스에 대한 확률을 나타내는 벡터를 얻을 수 있습니다. 
  이러한 특성은 다중 클래스 분류 문제에서 각 클래스에 속할 확률을 예측하는 용도로 매우 유용합니다.

 

(3) 렐루 함수

이미지 분류 모델(CNN)의 은닉층에 많이 사용하는 활성화 함수입니다.
- 시그모이드 함수는 층이 많을수록 활성화 함수의 양쪽 끝에서 변화가 작기 때문에 학습이 어려워지는 반면,
  렐루함수는 이런 문제가 없으며 계산도 간단합니다.
- 렐루 함수는 입력이 양수일 경우 마치 활성화 함수가 없는 것처럼 그냥 입력을 통과시키고,
  음수일 경우에는 0으로 만듭니다.