Data Analysis for Investment & Control

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. Python을 이용해서 웹 크롤링하고 유효한 정보를 추출하게 된다면 이를 정리해서 DB에 저장해야 한다. 이번 포스트에서는 Python에서 MySQL 서버에 접속하여 데이터를 입출력하는 내용을 다룰 것이다. MySQL은 C/C++이나 C# 등의 언어로 접근할 수 있도록 하는 Connector를 제공한다. 마찬가지로 Python에도 Connector를 제공하는데, 이에 대한 설명이나 설치 방법, 설치 파일 등은 다음의 링크를 참조하자. >> MySQL Connector/Python Developer Guide 다운로드 사이트에서 설치된 Python 버전과 OS를 확인하여 적당한 것을 받아 설치한다. 나는 Windows..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 이번 포스트는 지난 글에서 언급했었던 클래스의 사용이라는 주제로 작성하고자 한다. 다른 프로그래밍 언어와 마찬가지로 Python을 배울 때, 언어의 특징, 자료형, 제어문, 입출력 등을 배우게 되는데 클래스 형태의 프로그래밍도 다른 기초 내용과 같이 잘 정리되어 있는 사이트들이 많다. 그 중 하나를 추천하자면 다음의 링크를 통해 클래스에 대한 기초적인 내용을 학습하기 바란다. >> 파이썬 프로그래밍의 핵심, 클래스 여기서는 클래스를 코딩할 때 다음과 같이 유의해야 할 사항들을 중심으로 정리하려고 한다. - 기본 인자(Parameter) self- 생성자 __init__(self)- 멤버변수 선언 기본 인자 self ..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 이번 포스트는 지난 포스트(BeautifulSoup4를 이용한 크롤링 준비하기)의 연장으로 웹 크롤링을 하기위해 기본이 되는 HTML 문서의 특정 태그 파싱에 대해 알아보고자 한다. 이를 위한 HTMLParser라는 모듈을 사용할 것이다. HTMLParser가 Python 기본 라이브러리인지 헷깔리는데, 만약 C:\Python27\Lib\site-packages\ 에 HTMLParser.py가 없다면 다음과 같이 PIP를 이용해 설치하자 이미 어느 정도 작성이 되어있는 코드를 가지고 설명을 할 건데, 이 코드는 class 형태로 작성이 되어 있다. Python의 class에 대한 설명은 따로 포스트를 작성할 예정이니..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 이번 글에서는 평소부터 관심 있었던 웹 크롤링Web Crawling이라는 주제를 가지고 Python을 이용하여 구현해 보는 것을 다루어 보는데, 그 과정에서 필요한 몇 가지 라이브러리를 소개하고자 한다. 구글링을 통해 Python 웹 크롤링이라는 것을 검색해 보면 나오는 라이브러리가 BeautifulSoup과 Scrapy라는 것이 있다. Scrapy에 대해서는 나중에 기회가 되면 따로 다루기로 하고, BeautifulSoup이라는 것은 웹 페이지의 Html 포맷 문서를 처리하기 쉽게 전처리 해주는 라이브러리라고 알려져 있는데 이를 이용해 특정 웹 사이트의 웹 문서를 얻어오는 것을 다루어 보고자 한다. 우선 PIP를 ..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 지난 글(Python 개발환경 설정)에 이어 Python을 개발하기 위한 환경을 설정하는 작업을 해보자. 지난 시간에 한대로 Python을 설치하면 기본적으로 Python 명령 코드를 실행하기 위한 콘솔 창과 기본적인 에디트 환경(IDLE)을 제공하지만 본격적으로 프로그래밍을 하기에는 많이 부족해 보인다. 그래서 보통 다른 통합 개발 환경을 많이들 사용하는데, 대표적으로 이클립스Eclipse를 설치하고 Python 개발에 맞춰서 세팅을 한다. 여기서는 PyCharm이라는 Python을 위한 전용의 프로젝트 레벨의 프로그래밍 에디터를 설정하는 법을 기록해 둔다. 우선 다운로드는 다음의 링크를 통해 받는다 : https..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 사실 Python을 처음 접했을 때를 떠올려보자면 2007년도 석사 1년차에 AI 수업을 들었을 때 Python을 이용한 과제 제출이 있었기 때문이다. 당시 교수님은 버클리 공대에 일년 정도 가게시면서 제어 공학의 트렌드가 AI 쪽으로 흘러가고 있다라는 걸 인지하시고 학교로 돌아와 비선형 제어에서 인공지능 쪽으로 선회하셨는데, 그 당시에는 Python이라는게 그저 학교에서 장난처럼 가볍게 느껴져서 이렇게 까지 활용도가 높아질 거라곤 생각하지 못했다. (그러니 내 통찰력이 그 정도 수준인 거지.ㅋㅋ) 원래부터 인공지능에는 관심이 있었지만 익숙해 지는 속도가 너무 느려 금방 흥미를 잃었는데, 지금 생각하면 그 때 꾸준히..