Data Analysis for Investment & Control

정보이론에서 같은 잠재적인 이벤트의 세트를 가지는 두 개의 확률 분포 p와 q의 cross entropy는 세트로부터 이벤트를 구분하는데 필요한 비트의 평균을 측정한다... 라고 위키에 나와있다. 여기서 두 가지를 알 수 있는데, 하나는 두 개의 확률 분포를 구분하기 위한 목적으로 사용되는 것이고 다른 하나는 이것을 측정하는 것이라는 것이다. 확률 분포는 변수(x)가 주어질 때 해당 변수의 값에서 이벤트가 발생할 확률을 분포로 나타낸 것이다. 예를 들어 x = {1, 2, ..., 10}의 10개의 값을 가지는 집합이라고 할 때, N번의 카운트에서 x = 1이 될 빈도수, x = 2가 될 빈도수, ... 를 계속 측정한다. 그러면 1

CNN의 발전 과정에 있으면서 Deep Neural Network의 Weight Update의 Vanishing/Exploding 이슈를 해결할 목적으로 도입된 Activation Function의 한 종류이다. Sigmoid나 Hyperbolic Tangent와 달리 |x| 가 큰 값일 경우에 미분 값이 0으로 수렴하는 단점이 없고 수식 구현이 간단하기 때문에 많이 사용된다. 수식은 다음과 같으며, 위의 함수를 그래프로 표시하면 아래와 같다. Geoffrey E. Hinton 교수에 의해 제안되었다고 알려져 있으며 다음은 그 내용이 수록된 논문이다.

이 포스팅을 지속적으로 업데이트가 되는 글입니다. latest update at 2018.08.28 1. 바이오 산업 분류 바이오 쪽에 관한 전문지식이 부족한 관계로 산업에 대한 세부 분류가 적절하게 정리되지 않을 수도 있다. 계속해서 관련 산업을 공부해보고 분류를 더 체계화 시키도록 업데이트 할 예정이다. - 의약품- 면역치료- 유전자치료- 줄기세포- 진단- 뇌질환- 미용시술 ※ KRX를 통해 알 수 있는 '의약품 제조업', '의료용품 및 기타 의약 관련제품 제조업', '기초 의약물질 및 생물학적 제제 제조업', '의료용 기기 제조업' 등 업종 분류에 따른 상장 기업만 해도 200여개 수준이며, 비상장 회사까지 더하면 훨씬 그 수가 더 많아질 것이다. 따라서 한꺼번에 모든 기업을 분류하고 정리하는 작업..

이 포스팅은 안트로젠 관련 소식이 들려올 때 마다 업데이트 될 수 있음을 밝힙니다. latest update at 2018/09/09 1. 설립배경 이성구 안트로젠 대표 2000년 미국 보스톤에 설립된 연구소를 바탕으로 국내에서는 처음으로 골수줄기세포 및 지방줄기세포를 이용한 제품화 연구를 시작하였고 2012년 1월 세계 최초로 지방줄기세포지료제 '큐피스템'을 상품화 하였다. 줄기세포치료제 연구개발의 오랜 경험과 축적된 기술을 바탕으로 함몰흉터치료제 '아디포셀', 피하지방결손치료제 '퀸셀', 크론성누공치료제 '큐피스템'을 개발하였다. 2. 주력제품 안트로젠은 의약품 개발 뿐만 아니라 화장품 및 원료 개발도 병행하고 있다. 아마도 줄기세포를 통한 미용 쪽의 니즈를 충족시킬 수 있는 가능성 때문일 것이다. ..

이 포스팅은 테고사이언스 관련 소식이 들려올 때 마다 업데이트 될 수 있음을 밝힙니다. latest update at 2018/08/27 1. 설립배경 테고사이언스 전세화 대표이사 2001년 현 CEO인 전세화 대표 체제로 세워진 테고사이언스는 2002년 자기유래 배양피부인 홀로덤의 판매 허가를 시작으로 2005년에는 동종유래피부인 칼로덤의 판매 허가를 획득함으로써 세포치료제 시장의 선두주자가 되었다. 전세화 대표이사는 서울대 화학과를 졸업하고 유학길에 올라 1995년 미국 위스콘신 의대에서 종양학 박사 학위를 취득했다. 이후 피부세포치료제의 세계적 권위자인 하버드 의대의 하워드 그린 박사 연구실에서 5년간 연구원으로 활동했다. 당시 세포생물학 연구와 배양피부의 제품화 과정에 참여하면서 첨단 세포치료제를..

이 포스팅은 바이로메드 관련 소식이 들려올 때 마다 업데이트 될 수 있음을 밝힙니다. latest update at 2018/08/29 1. 설립배경 바이로메드는 각종 질병의 진단, 치료, 경감 및 예방 또는 건강증진을 목적으로 하는 의약품의 연구, 개발, 제조, 판매를 목적으로 하는 제약산업 중 DNA, 단백질, 세포 등의 생물학적 소재를 활용하여 의약품을 개발하는 바이오의약품 분야에 속해 있다. 주된 사업영역은 1) 바이오의약품 사업, 2) 천연물 사업으로 크게 나눌 수가 있다. 바이오의약품 사업은 활용 소재에 따라 DNA 치료제, 단백질 치료제 등으로 나눌 수 있으며 암, 심혈관질환, 신경계 질환 등 불치병, 난치병 치료를 위한 혁신적인 바이오 기술을 연구하고 사업화 하고 있다. 천연물 사업은 자연..

현재 딥러닝 분야에서 CNN과 함께 큰 영역으로 자리매김하고 있는 RNN, Recurrent Neural Network은 그 이름이 의미하는 바와 같이 과거의 값이 이후로 영향을 계속해서 미친다는 구조로 신경망을 설계하는 것이다. 응용 분야로는 시계열 데이터를 처리하는 언어 모델이나 시간에 따른 데이터의 변화가 존재하는 주식 시장 데이터와 같은 곳에 적용해 볼 수 있다. 단순한 RNN 구조는 Weight update시 gradient의 vanishing 문제와 exploding 문제가 발생하는데, 이를 구조적으로 개선한 것이 최근 널리 쓰이고 있는 LSTM, Long-Short Term Memory 구조가 있다. Simple Recurrent Network 구조와 LSTM의 구조 비교 구글링을 해보면 R..

현대 딥러닝 분야에서 가장 포션이 큰 분야 중 하나라면 CNN을 들 수 있다. 하드웨어 성능이 발전하면서 단위 연산 당 가격이 엄청나게 저렴해 졌기 때문에 전에는 컴퓨팅 성능이 따라주지 못해서 구현할 수 없었던 알고리즘들이 ImageNet 대회와 같은 대회를 통해 세상에 알려지면서 많은 기술적 진보를 이루어 내고 있다. 이미 CNN에 관한 많은 학습자료들이 웹에 존재하기 때문에 여기서는 굳이 상세한 설명은 하지 않으며, 회사에서 자체 세미나 과정을 거치면서 개인적으로 추천할만한 과정이나 블로그 또는 논문 등을 정리하려한다. CNN에 대해서 다는 아니지만 공부를 해본 결과, 동물이나 사람의 시신경 및 뇌를 통해 입력된 시각적 시그널에 대한 반응과 이를 기반으로한 분류(인지)하는 과정을 모델링 하는 것이라고..

이 포스팅은 위키백과의 내용을 참고해서 작성하였음을 알려드립니다. 베이즈 정리Bayes' Rule은 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리이다. 베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 사용된다. 확률 이론에 대한 사전 지식은 다음 포스팅을 참조 >> Probability Theory, 확률 이론 수학적으로 다음의 수식이 성립한다. P(A)는 A의 Prior(사전 확률, 사전 지식)으로 B에 대한 어떠한 정보도 알지 못하는 것을 의미한다. Classification 문제에서 A라는 클래스가 얻어질 확률이 P(A)라는 말이다. P(A|B)는 B가 주어졌을 때 A가 나올 Posterior(사후 확률)이다. 즉, B라는 입력 데이터가 주어졌을 때 이 데이터가..

최대가능도 추정의 정의 최대가능도추정, Maximum Likelihood Estimation 혹은 최대우도법이라고 불리우는 이 방법은 어떤 확률 변수가 있을 때 주어진 데이터를 토대로 그 확률 변수의 모수 혹은 System Identification 분야에서 시스템 파라미터를 구하는 방법이다. 최근에는 Unsupervised Learning 분야 중 하나인 Generative Model 분야에서도 활발히 사용되고 있다. 어떤 미지의 값 θ 혹은 시스템 파라미터가 있다고 할 때 이를 기반으로 나올 수 있는 데이터가 확률 분포를 보인다고 하자. 주어진(관측된) 데이터가 이런 확률 분포를 통해서 나온 값이라고 할 때 이 데이터를 통해 미지의 θ 혹은 시스템 파라미터를 추정하는 방법이다. 통계학에서 주로 많이 ..