Data Analysis for Investment & Control

정보이론에서 같은 잠재적인 이벤트의 세트를 가지는 두 개의 확률 분포 p와 q의 cross entropy는 세트로부터 이벤트를 구분하는데 필요한 비트의 평균을 측정한다... 라고 위키에 나와있다. 여기서 두 가지를 알 수 있는데, 하나는 두 개의 확률 분포를 구분하기 위한 목적으로 사용되는 것이고 다른 하나는 이것을 측정하는 것이라는 것이다. 확률 분포는 변수(x)가 주어질 때 해당 변수의 값에서 이벤트가 발생할 확률을 분포로 나타낸 것이다. 예를 들어 x = {1, 2, ..., 10}의 10개의 값을 가지는 집합이라고 할 때, N번의 카운트에서 x = 1이 될 빈도수, x = 2가 될 빈도수, ... 를 계속 측정한다. 그러면 1

CNN의 발전 과정에 있으면서 Deep Neural Network의 Weight Update의 Vanishing/Exploding 이슈를 해결할 목적으로 도입된 Activation Function의 한 종류이다. Sigmoid나 Hyperbolic Tangent와 달리 |x| 가 큰 값일 경우에 미분 값이 0으로 수렴하는 단점이 없고 수식 구현이 간단하기 때문에 많이 사용된다. 수식은 다음과 같으며, 위의 함수를 그래프로 표시하면 아래와 같다. Geoffrey E. Hinton 교수에 의해 제안되었다고 알려져 있으며 다음은 그 내용이 수록된 논문이다.