Derivative of Sigmoid - 시그모이드 미분 함수

Sigmoid 와 Derivative of Sigmoid를 알아보자

Equation

$$sigmoid(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}$$

$$\frac{d}{dx}sigmoid(x)=sigmoid(x)\cdot(1-sigmoid(x))$$

Derivative of Sigmoid, 시그모이드의 미분에 대한 증명은 다음과 같다.

$$\begin{align}\frac{d}{dx}sigmoid(x) & = \frac{d}{dx}\frac{1}{1+e^{-x}} \\& = \frac{d}{dx}(1+e^{-x})^{-1} \\& = -(1+e^{-x})^{-2}\cdot-e^{-x} \\& = \frac{e^{-x}}{(1+e^{-x})(1+e^{-x})} \\& = \frac{1}{(1+e^{-x})}\cdot\frac{1-1+e^{-x}}{(1+e^{-x})} \\& = \frac{1}{(1+e^{-})}\cdot[\frac{(1+e^{-x})}{(1+e^{-x})}-\frac{1}{(1+e^{-x})}] \\& = sigmoid(x)\cdot(1-sigmoid(x))\end{align}$$

이제 간편한 식을 알았으니 파이선에서도 구해보자

Python

import numpy as np
def sigmoid(x):
    result = 1/(1+np.exp(-x))
    return result

def derivative_sigmoid(x):
    result = sigmoid(x) * (1 - sigmoid(x))
    return result 

그래도 이해가 안된다면? QnA 게시판 바로가기