서론Linear Regression - 선형 회귀 분석 (이하 LR)은 그야말로 통계와 머신러닝의 기본이라고 할 수 있다. 수많은 사람들이 머신러닝 입문시에 배우고 있으며, 숙달된 개발자나 통계학자도 지속적으로 쓸 정도로 잘 정립된 분야라고 할 수 있다. 하지만 LR을 손으로 계산하라고 하면 난색을 표하는 사람들이 필자를 포함해서 많이 있을 것이다. 이번 시리즈는 그야말로 LR의 완전 정복을 지향하는 시리즈로, 대략적인 컨셉부터 수학적인 증명까지, Linear Regression을 완벽하게 파헤쳐 보도록 한다. 이번 시리즈에서 사용될 데이터는 표준편차 포스팅에서도 사용 됬던 인체의 황금비 데이터셋을 활용한다. 해당 포스팅 또는 아래에서 바로 다운 받을 수 있다. Linear? Regression?먼저 선..
Standard Deviation - 표준 편차Standard Deviation (std) 이란 통계에서 아마 평균다음으로 가장 많이 사용되는 항목이라고 생각 되는 매우 중요한 부분이라고 할 수 있다. 너무 많이 사용되다보니 numpy 나 pandas 등에 기본으로 탑재되어 있고, 결과적으로 이게 왜 이런값이 나오는지는 모르는 상황이 벌어진다. Equation먼저 수학적인 공식을 함께 살펴보자 $$\sigma(X) = \frac{1}{m}\sum(x_i-\mu)^2,\ where\ X=\{x_1,\ ...\ ,x_m\}\ for\ m\ \in N \\ s(X) = \frac{1}{n-1}\sum(x_i-\bar{X})^2,\ where\ X=\{x_1,\ ...\ ,x_n\}\ for\ n \in\ N$..
Sigmoid Function (시그모이드 함수)Equation$$sigmoid(x) = \frac{1}{1+e^{-x}}$$Keras # Sigmoid를 따로 불러오는 경우 keras.activation.sigmoid(x) # Layer에서 바로 추가하는 경우 model.add(Dense(N, activation="sigmoid")) Python import math def sigmoid(input): return [1/(1 + math.exp(-x) for x in input]ExplanationSigmoid Function - 시그모이드 함수란? [새 창]
Theories/Statistics 2018. 11. 18. 11:23
서론Linear Regression - 선형 회귀 분석 (이하 LR)은 그야말로 통계와 머신러닝의 기본이라고 할 수 있다. 수많은 사람들이 머신러닝 입문시에 배우고 있으며, 숙달된 개발자나 통계학자도 지속적으로 쓸 정도로 잘 정립된 분야라고 할 수 있다. 하지만 LR을 손으로 계산하라고 하면 난색을 표하는 사람들이 필자를 포함해서 많이 있을 것이다. 이번 시리즈는 그야말로 LR의 완전 정복을 지향하는 시리즈로, 대략적인 컨셉부터 수학적인 증명까지, Linear Regression을 완벽하게 파헤쳐 보도록 한다. 이번 시리즈에서 사용될 데이터는 표준편차 포스팅에서도 사용 됬던 인체의 황금비 데이터셋을 활용한다. 해당 포스팅 또는 아래에서 바로 다운 받을 수 있다. Linear? Regression?먼저 선..
Theories/Statistics 2018. 11. 17. 11:18
Standard Deviation - 표준 편차Standard Deviation (std) 이란 통계에서 아마 평균다음으로 가장 많이 사용되는 항목이라고 생각 되는 매우 중요한 부분이라고 할 수 있다. 너무 많이 사용되다보니 numpy 나 pandas 등에 기본으로 탑재되어 있고, 결과적으로 이게 왜 이런값이 나오는지는 모르는 상황이 벌어진다. Equation먼저 수학적인 공식을 함께 살펴보자 $$\sigma(X) = \frac{1}{m}\sum(x_i-\mu)^2,\ where\ X=\{x_1,\ ...\ ,x_m\}\ for\ m\ \in N \\ s(X) = \frac{1}{n-1}\sum(x_i-\bar{X})^2,\ where\ X=\{x_1,\ ...\ ,x_n\}\ for\ n \in\ N$..
Theories/Statistics 2018. 10. 16. 16:46
Hyperbolic tangent - 쌍곡탄젠트는 아래와 같이 다양하게 나타낼 수 있다:$$ tanh(x) = \frac{sinh(x)}{cosh(x)} = \frac{e^{2x}-1}{e^{2x}+1} $$ 또한, tanh 는 sigmoid로도 만들 수 있다:$$\begin{align}tanh(x) & = \frac{e^{2x}-1}{e^{2x}+1} \\Let\ y=2x\ such\ that: &= \frac{e^y-1}{e^y+1} \\& = \frac{e^y}{1+e^y}-\frac{1}{1+e^y} \& = \frac{e^y}{1+e^y}-[1-\frac{e^y}{1+e^y}] \\& = 2\frac{e^y}{1+e^y}-1 \\& and\ since\ \frac{e^y}{1+e^y} = sig..
Theories/Statistics 2018. 10. 16. 16:26
Sigmoid 와 Derivative of Sigmoid를 알아보자 Equation$$sigmoid(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}$$ $$\frac{d}{dx}sigmoid(x)=sigmoid(x)\cdot(1-sigmoid(x))$$ Derivative of Sigmoid, 시그모이드의 미분에 대한 증명은 다음과 같다. $$\begin{align}\frac{d}{dx}sigmoid(x) & = \frac{d}{dx}\frac{1}{1+e^{-x}} \\& = \frac{d}{dx}(1+e^{-x})^{-1} \\& = -(1+e^{-x})^{-2}\cdot-e^{-x} \\& = \frac{e^{-x}}{(1+e^{-x})(1+e^{-x})} \\& = \fra..
Theories 2018. 10. 12. 17:07
Loss Function 리스트로 돌아가기 [새 창]
Theories/Loss 2018. 10. 12. 16:42
Cosine Similarity (코사인 유사도) Equation$$similarity = cos(\theta) = \frac{A\cdot B}{||A||\cdot||B||} = \frac{\sum^{n}_{i=1}A_iB_i}{\sqrt{\sum^{n}_{i=1}A_i^2}\sqrt{\sum^{n}_{i=1}B_i^2}}$$Keraskeras.losses.cosine_proximity(y_true, y_pred) Pytorch torch.nn.functional.cosine_similarity(x1, x2, dim=1, eps=1e-08) ExplanationCosine Similarity - 코사인 유사도란? [새 창]
Theories/Activation 2018. 10. 12. 16:35
Sigmoid Function (시그모이드 함수)Equation$$sigmoid(x) = \frac{1}{1+e^{-x}}$$Keras # Sigmoid를 따로 불러오는 경우 keras.activation.sigmoid(x) # Layer에서 바로 추가하는 경우 model.add(Dense(N, activation="sigmoid")) Python import math def sigmoid(input): return [1/(1 + math.exp(-x) for x in input]ExplanationSigmoid Function - 시그모이드 함수란? [새 창]