Data Analysis for Investment & Control

CNN의 발전 과정에 있으면서 Deep Neural Network의 Weight Update의 Vanishing/Exploding 이슈를 해결할 목적으로 도입된 Activation Function의 한 종류이다. Sigmoid나 Hyperbolic Tangent와 달리 |x| 가 큰 값일 경우에 미분 값이 0으로 수렴하는 단점이 없고 수식 구현이 간단하기 때문에 많이 사용된다. 수식은 다음과 같으며, 위의 함수를 그래프로 표시하면 아래와 같다. Geoffrey E. Hinton 교수에 의해 제안되었다고 알려져 있으며 다음은 그 내용이 수록된 논문이다.

현재 딥러닝 분야에서 CNN과 함께 큰 영역으로 자리매김하고 있는 RNN, Recurrent Neural Network은 그 이름이 의미하는 바와 같이 과거의 값이 이후로 영향을 계속해서 미친다는 구조로 신경망을 설계하는 것이다. 응용 분야로는 시계열 데이터를 처리하는 언어 모델이나 시간에 따른 데이터의 변화가 존재하는 주식 시장 데이터와 같은 곳에 적용해 볼 수 있다. 단순한 RNN 구조는 Weight update시 gradient의 vanishing 문제와 exploding 문제가 발생하는데, 이를 구조적으로 개선한 것이 최근 널리 쓰이고 있는 LSTM, Long-Short Term Memory 구조가 있다. Simple Recurrent Network 구조와 LSTM의 구조 비교 구글링을 해보면 R..

현대 딥러닝 분야에서 가장 포션이 큰 분야 중 하나라면 CNN을 들 수 있다. 하드웨어 성능이 발전하면서 단위 연산 당 가격이 엄청나게 저렴해 졌기 때문에 전에는 컴퓨팅 성능이 따라주지 못해서 구현할 수 없었던 알고리즘들이 ImageNet 대회와 같은 대회를 통해 세상에 알려지면서 많은 기술적 진보를 이루어 내고 있다. 이미 CNN에 관한 많은 학습자료들이 웹에 존재하기 때문에 여기서는 굳이 상세한 설명은 하지 않으며, 회사에서 자체 세미나 과정을 거치면서 개인적으로 추천할만한 과정이나 블로그 또는 논문 등을 정리하려한다. CNN에 대해서 다는 아니지만 공부를 해본 결과, 동물이나 사람의 시신경 및 뇌를 통해 입력된 시각적 시그널에 대한 반응과 이를 기반으로한 분류(인지)하는 과정을 모델링 하는 것이라고..